CN117420967B - 一种软件采集数据存储性能提升方法和系统 - Google Patents
一种软件采集数据存储性能提升方法和系统 Download PDFInfo
- Publication number
- CN117420967B CN117420967B CN202311744962.3A CN202311744962A CN117420967B CN 117420967 B CN117420967 B CN 117420967B CN 202311744962 A CN202311744962 A CN 202311744962A CN 117420967 B CN117420967 B CN 117420967B
- Authority
- CN
- China
- Prior art keywords
- data
- migration
- performance
- software
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013508 migration Methods 0.000 claims abstract description 120
- 230000005012 migration Effects 0.000 claims abstract description 120
- 238000011156 evaluation Methods 0.000 claims abstract description 40
- 238000004140 cleaning Methods 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 37
- 238000012544 monitoring process Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 abstract 1
- 230000009897 systematic effect Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0653—Monitoring storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明公开了一种软件采集数据存储性能提升方法和系统，涉及软件采集的技术领域，该，通过软件数据采集模块能够实时监控云平台的存储情况，通过瓶颈识别技术采集获取迁移瓶颈状态数据信息，以及实时检测缓存调节态势数据信息，这保障了对存储性能的及时了解和数据采集；通过数据清洗模块进一步确保了软件性能数据集中的信息是经过精确处理和有意义提取的，针对软件存储性能预测模型，预先设置评估阈值，并将其与性能态势评估指数对比分析，获取预测结果，以便系统能够根据相应的预测结果制定相应的等级提升策略。总之，该系统的提出填补了现有解决方案的不足，通过细致的数据采集、清洗以及对数据迁移中的瓶颈和缓存进行系统分析和预测。
Description
技术领域
本发明涉及软件采集的技术领域，具体为一种软件采集数据存储性能提升方法和系统。
背景技术
在当今数字化时代，云计算技术的迅猛发展已经成为企业数据管理和存储的核心。随着企业规模的扩大和数据量的不断增加，如何高效地管理和优化云平台中的存储性能成为一个日益重要的挑战。
然而，当前云平台存储性能的提升并非一帆风顺，传统的存储性能优化方法往往局限于单一维度，在实际应用中，企业常常面临着数据迁移过程中的瓶颈问题，缓存调控不足导致性能下降等挑战。这使得存储系统在面对大规模数据迁移和高并发访问时难以实现稳定和高效的性能。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种软件采集数据存储性能提升方法和系统，解决了上述背景技术中的问题。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种软件采集数据存储性能提升系统，包括软件数据采集模块、数据清洗模块、迁移分析模块、缓存处理模块以及阈值对比模块；
所述软件数据采集模块用于对云平台的存储情况进行实时监控和采集，并利用瓶颈识别技术，采集获取迁移瓶颈状态数据信息，并在缓存设置方面，实时检测缓存调节态势数据信息，建立软件性能数据集；
所述数据清洗模块用于将迁移瓶颈状态数据信息和缓存调节态势数据信息均传输至软件性能数据集内，并将其进行数据清洗和特征提取，并依据无量纲处理技术将处理后的数据信息进行标准化处理；
所述迁移分析模块用于利用云计算技术将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习，以获取瓶颈因子Pjyz，并结合数据迁移时出现的中断次数Zdcs，汇总生成迁移状态系数Pyxs；
所述缓存处理模块用于通过特征提取后的缓存调节态势数据信息，获取块大小Kds和缓存命中率Hcmz，并将所述块大小Kds与所述缓存命中率Hcmz相关联，获取缓存调控系数Tkxs，将所述缓存调控系数Tkxs与所述迁移状态系数Pyxs进行综合分析，并结合Bp神经网络模型后训练生成软件存储性能预测模型，并经过无量纲处理后，以获取性能态势评估指数TSzs，所述性能态势评估指数TSzs通过以下公式获取：
；
式中，Ttlz表示为吞吐量，F1、F2和F3分别表示为缓存调控系数Tkxs、迁移状态系数Pyxs和吞吐量Ttlz的比例系数，其中，0.10≤F1≤0.22，0.15≤F2≤0.36，0.20≤F3≤0.42，且0.55≤F1+F2+F3≤1.0，C表示为第一修正常数；
所述阈值对比模块用于预先设置评估阈值Q，并将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果，针对预测结果获取相应的等级提升策略。
优选的，所述软件数据采集模块包括瓶颈监测单元和缓存单元；
所述瓶颈监测单元用于采集与记录数据迁移过程中，出现有关性能瓶颈的相关参数信息，其中包括迁移速率、网络带宽Wlkd、并发连接数Bflj、错误率、带宽利用率、网络延迟时长、迁移任务的队列状态以及读写速度Dssd；
所述缓存单元用于采集与记录缓存调节态势数据信息，其中包括调整的块大小Kds、缓存命中率Hcmz、缓存技术、缓存容量RLz、缓存中数据的生命周期、缓存过期时间以及是否有缓存预热步骤。
优选的，所述数据清洗模块包括数据预处理单元和标准化单元；
所述数据预处理单元用于利用容错机制，将软件性能数据集中的数据信息进行频繁校准，并监测与处理其内的缺失值和错误，利用信号处理技术，去除数据信息中的高频噪声；
所述标准化单元用于利用无量纲处理技术将软件性能数据集中的一个或两个均转换为相同的单位，并对不同传感器或采集设备产生的数据数值统一在同一范围值内。
优选的，经过无量纲处理后，所述瓶颈因子Pjyz通过以下公式获取：
；
式中，Wlkd表示为网络带宽，Dssd表示为读写速度，Bflj表示为并发连接数，j、h和i分别表示为网络带宽Wlkd、读写速度Dssd和并发连接数Bflj的比例系数，其中，0.05≤j≤0.20，0.15≤h≤0.30，0.33≤i≤0.50，且0.60≤j+h+i+≤1.0，P表示为第二修正常数。
优选的，将所述瓶颈因子Pjyz与所述中断次数Zdcs相关联，并经过无量纲处理后，获取迁移状态系数Pyxs，所述迁移状态系数Pyxs通过以下公式获取：
；
式中，Ysjz表示为已迁移数据量，和/>均表示为比例系数，M1表示为第三修正常数。
优选的，预先设置状态阈值K，并将其与所述迁移状态系数Pyxs进行对比分析，以判定在数据迁移的过程中是否发生异常，具体判定结果如下：
若所述迁移状态系数Pyxs大于或等于状态阈值K时，即Pyxs≥状态阈值K时，表示为此时在数据迁移的过程中发生异常；
若所述迁移状态系数Pyxs小于状态阈值K时，即Pyxs＜状态阈值K时，表示为此时在数据迁移的过程中未发生异常。
优选的，经过无量纲处理后，所述缓存调控系数Tkxs通过以下公式获取：
；
式中，RLz表示为缓存容量，Kds表示为块大小，Hcmz表示为缓存命中率，a1和a2均表示为比例系数，M2表示为第四修正常数。
优选的，所述阈值对比模块包括对比单元和执行单元；
所述对比单元用于将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果：
若所述性能态势评估指数TSzs大于或等于评估阈值Q时，表示为当前云平台的存储性能处于正常状态；
若所述性能态势评估指数TSzs小于评估阈值Q时，表示为当前云平台的存储性能处于非正常状态。
优选的，所述执行单元用于依据所述对比单元中的预测结果，做相应的等级提升策略，其具体等级提升策略内容如下：
若当前云平台的存储性能处于正常状态时，执行第一等级提升方案，此时进行正常存储作业；
若当前云平台的存储性能处于非正常状态时，执行第二等级提升方案，此时将采用回滚操作，在迁移出现问题时能够回到上一个稳定状态，接着采用增量迁移策略，只迁移发生变化的部分数据，以减小迁移任务的规模。
优选的，一种软件采集数据存储性能提升方法，包括以下步骤，
步骤一、首先通过软件数据采集模块对云平台的存储情况进行实时监控和采集，并利用瓶颈识别技术，采集获取迁移瓶颈状态数据信息，并在缓存设置方面，实时检测缓存调节态势数据信息，建立软件性能数据集；
步骤二、通过数据清洗模块将对软件性能数据集中的数据信息进行数据清洗和特征提取，并进行标准化处理作业；
步骤三、接着通过利用云计算技术，将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习，以获取瓶颈因子Pjyz，并结合数据迁移时出现的中断次数Zdcs，汇总生成迁移状态系数Pyxs；
步骤四、然后再通过缓存处理模块将缓存调节态势数据信息进行特征提取，获取块大小Kds和缓存命中率Hcmz，并将所述块大小Kds与所述缓存命中率Hcmz相关联，获取缓存调控系数Tkxs，将所述缓存调控系数Tkxs与所述迁移状态系数Pyxs进行综合分析，并结合Bp神经网络模型后训练生成软件存储性能预测模型，经过无量纲处理后，以获取性能态势评估指数TSzs；
步骤五、最后由阈值对比模块将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果，针对预测结果获取相应的等级提升策略。
（三）有益效果
本发明提供了一种软件采集数据存储性能提升方法和系统，具备以下有益效果：
（1）通过软件数据采集模块能够实时监控云平台的存储情况，通过瓶颈识别技术采集获取迁移瓶颈状态数据信息，以及实时检测缓存调节态势数据信息，这保障了对存储性能的及时了解和数据采集；通过数据清洗模块进一步确保了软件性能数据集中的信息是经过精确处理和有意义提取的，针对软件存储性能预测模型，预先设置评估阈值Q，并将其与性能态势评估指数TSzs对比分析，获取预测结果，以便系统能够根据相应的预测结果制定相应的等级提升策略，进一步提升了对性能的智能评估和优化能力。总之，该系统的提出填补了现有解决方案的不足，通过细致的数据采集、清洗以及对数据迁移中的瓶颈和缓存进行系统分析和预测，为云平台中的存储性能提升提供了稳定的基础。
（2）该系统通过阈预设评估阈值Q，并将其与性能态势评估指数TSzs进行对比分析，能够自动评估当前云平台的存储性能，并根据评估结果执行相应的等级提升策略，这提高了系统的自动化性能管理能力，减轻了人工干预的需求；当存储性能处于非正常状态时，系统能够迅速采取回滚和增量迁移策略，降低了对存储系统的负担，提高了异常情况下的存储效率，确保系统稳定运行。
附图说明
图1为本发明一种软件采集数据存储性能提升系统的框图流程示意图；
图2为本发明一种软件采集数据存储性能提升方法的步骤流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在当今数字化时代，云计算技术的迅猛发展已经成为企业数据管理和存储的核心。随着企业规模的扩大和数据量的不断增加，如何高效地管理和优化云平台中的存储性能成为一个日益重要的挑战。
然而，当前云平台存储性能的提升并非一帆风顺，传统的存储性能优化方法往往局限于单一维度，在实际应用中，企业常常面临着数据迁移过程中的瓶颈问题，缓存调控不足导致性能下降等挑战。这使得存储系统在面对大规模数据迁移和高并发访问时难以实现稳定和高效的性能。
实施例1
请参阅图1，本发明提供一种软件采集数据存储性能提升系统，包括软件数据采集模块、数据清洗模块、迁移分析模块、缓存处理模块以及阈值对比模块；
所述软件数据采集模块用于对云平台的存储情况进行实时监控和采集，并利用瓶颈识别技术，采集获取迁移瓶颈状态数据信息，并在缓存设置方面，实时检测缓存调节态势数据信息，建立软件性能数据集；
所述数据清洗模块用于将迁移瓶颈状态数据信息和缓存调节态势数据信息均传输至软件性能数据集内，并将其进行数据清洗和特征提取，并依据无量纲处理技术将处理后的数据信息进行标准化处理；
所述迁移分析模块用于利用云计算技术将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习，以获取瓶颈因子Pjyz，并结合数据迁移时出现的中断次数Zdcs，汇总生成迁移状态系数Pyxs；
所述缓存处理模块用于通过特征提取后的缓存调节态势数据信息，获取块大小Kds和缓存命中率Hcmz，并将所述块大小Kds与所述缓存命中率Hcmz相关联，获取缓存调控系数Tkxs，将所述缓存调控系数Tkxs与所述迁移状态系数Pyxs进行综合分析，并结合Bp神经网络模型后训练生成软件存储性能预测模型，并经过无量纲处理后，以获取性能态势评估指数TSzs，所述性能态势评估指数TSzs通过以下公式获取：
；
式中，Ttlz表示为吞吐量，F1、F2和F3分别表示为缓存调控系数Tkxs、迁移状态系数Pyxs和吞吐量Ttlz的比例系数，其中，0.10≤F1≤0.22，0.15≤F2≤0.36，0.20≤F3≤0.42，且0.55≤F1+F2+F3≤1.0，C表示为第一修正常数；
所述阈值对比模块用于预先设置评估阈值Q，并将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果，针对预测结果获取相应的等级提升策略。
本系统运行中，软件数据采集模块能够实时监控云平台的存储情况，通过瓶颈识别技术采集获取迁移瓶颈状态数据信息，以及实时检测缓存调节态势数据信息，这保障了对存储性能的及时了解和数据采集；通过数据清洗模块进一步确保了软件性能数据集中的信息是经过精确处理和有意义提取的，针对软件存储性能预测模型，预先设置评估阈值Q，并将其与性能态势评估指数TSzs对比分析，获取预测结果，以便系统能够根据相应的预测结果制定相应的等级提升策略，进一步提升了对性能的智能评估和优化能力。
实施例2
请参照图1，具体的：所述软件数据采集模块包括瓶颈监测单元和缓存单元；
所述瓶颈监测单元用于采集与记录数据迁移过程中，出现有关性能瓶颈的相关参数信息，其中包括迁移速率、网络带宽Wlkd、并发连接数Bflj、错误率、带宽利用率、网络延迟时长、迁移任务的队列状态以及读写速度Dssd；通过详细记录上述参数，系统能够深入了解数据迁移中的性能状况，有助于及时发现潜在的问题和瓶颈。
所述缓存单元用于采集与记录缓存调节态势数据信息，其中包括调整的块大小Kds、缓存命中率Hcmz、缓存技术、缓存容量RLz、缓存中数据的生命周期、缓存过期时间以及是否有缓存预热步骤。
所述数据清洗模块包括数据预处理单元和标准化单元，用于对采集到的数据信息进行精细处理，以确保数据的准确性和一致性。
所述数据预处理单元用于利用容错机制，将软件性能数据集中的数据信息进行频繁校准，并监测与处理其内的缺失值和错误，利用信号处理技术，去除数据信息中的高频噪声；
所述标准化单元用于利用无量纲处理技术将软件性能数据集中的一个或两个均转换为相同的单位，并对不同传感器或采集设备产生的数据数值统一在同一范围值内，这有助于消除软件性能数据集中的单位差异，使得数据更易于比较和分析，进一步提高整体软件性能数据集的一致性。
本实施例中，通过瓶颈监测单元和缓存单元的工作，系统能够多方面了解数据迁移和缓存方面的性能状况，有助于提高存储系统的整体性能；数据清洗模块的数据预处理单元和标准化单元确保了采集到的数据质量，减少了因为缺失值、错误或单位差异带来的影响，为后续的综合分析学习提供了更可靠的基础，从而提高了对存储性能的准确评估和优化能力。
实施例3
请参照图1，具体的：经过无量纲处理后，所述瓶颈因子Pjyz通过以下公式获取：
；
式中，Wlkd表示为网络带宽，Dssd表示为读写速度，Bflj表示为并发连接数，j、h和i分别表示为网络带宽Wlkd、读写速度Dssd和并发连接数Bflj的比例系数，其中，0.05≤j≤0.20，0.15≤h≤0.30，0.33≤i≤0.50，且0.60≤j+h+i+≤1.0，P表示为第二修正常数。
上述的网络带宽Wlkd通过网络流量传感器，实时监控并采集迁移过程中的网络带宽情况。
读写速度Dssd通过磁盘性能传感器，实时监测并采集数据迁移过程中的读写速度信息。
并发连接数Bflj通过连接数监控传感器，监控并采集迁移过程中的并发连接数。
将所述瓶颈因子Pjyz与所述中断次数Zdcs相关联，并经过无量纲处理后，获取迁移状态系数Pyxs，所述迁移状态系数Pyxs通过以下公式获取：
；
式中，Ysjz表示为已迁移数据量，和/>均表示为比例系数，M1表示为第三修正常数。
上述的中断次数Zdcs通过中断监控传感器以及系统日志或性能监控工具，记录中断事件并统计中断次数；
已迁移数据量Ysjz通过迁移日志传感器进行采集获取；
预先设置状态阈值K，并将其与所述迁移状态系数Pyxs进行对比分析，以判定在数据迁移的过程中是否发生异常，具体判定结果如下：
若所述迁移状态系数Pyxs大于或等于状态阈值K时，即Pyxs≥状态阈值K时，表示为此时在数据迁移的过程中发生异常，此时执行第二等级提升方案，此时将采用回滚操作，在迁移出现问题时能够回到上一个稳定状态，接着采用增量迁移策略，只迁移发生变化的部分数据，以减小迁移任务的规模；
若所述迁移状态系数Pyxs小于状态阈值K时，即Pyxs＜状态阈值K时，表示为此时在数据迁移的过程中未发生异常。
本实施例中，通过计算迁移状态系数Pyxs，系统能够及时检测到数据迁移过程中的异常情况；在发生异常时，系统将采用第二等级提升方案，通过回滚操作和增量迁移策略，有效应对异常情况，提高了系统的容错性和稳定性，并采用增量迁移策略，只迁移发生变化的部分数据，有助于减小迁移任务的规模，进一步提高了数据迁移的效率和系统性能。
实施例4
请参照图1，具体的：经过无量纲处理后，所述缓存调控系数Tkxs通过以下公式获取：
；
式中，RLz表示为缓存容量，Kds表示为块大小，Hcmz表示为缓存命中率，a1和a2均表示为比例系数，M2表示为第四修正常数。
上述的缓存容量RLz通过缓存容量传感器进行采集获取；
块大小Kds通过配置信息传感器进行采集获取；
缓存命中率Hcmz通过利用缓存性能监控工具或者缓存性能监控传感器，监测缓存的命中和未命中事件，计算缓存命中率；
所述阈值对比模块包括对比单元和执行单元；
所述对比单元用于将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果：
若所述性能态势评估指数TSzs大于或等于评估阈值Q时，表示为当前云平台的存储性能处于正常状态；
若所述性能态势评估指数TSzs小于评估阈值Q时，表示为当前云平台的存储性能处于非正常状态。
所述执行单元用于依据所述对比单元中的预测结果，做相应的等级提升策略，其具体等级提升策略内容如下：
若当前云平台的存储性能处于正常状态时，执行第一等级提升方案，此时进行正常存储作业；
若当前云平台的存储性能处于非正常状态时，执行第二等级提升方案，此时将采用回滚操作，在迁移出现问题时能够回到上一个稳定状态，接着采用增量迁移策略，只迁移发生变化的部分数据，以减小迁移任务的规模，降低对存储系统的负担，提高迁移效率。
本实施例中，通过阈值对比模块，系统能够自动评估当前云平台的存储性能，并根据评估结果执行相应的等级提升策略，这提高了系统的自动化性能管理能力，减轻了人工干预的需求；当存储性能处于非正常状态时，系统能够迅速采取回滚和增量迁移策略，降低了对存储系统的负担，提高了异常情况下的存储效率，确保系统稳定运行。
实施例5
请参照图1和图2，具体的：一种软件采集数据存储性能提升方法，包括以下步骤，
步骤一、首先通过软件数据采集模块对云平台的存储情况进行实时监控和采集，并利用瓶颈识别技术，采集获取迁移瓶颈状态数据信息，并在缓存设置方面，实时检测缓存调节态势数据信息，建立软件性能数据集；
步骤二、通过数据清洗模块将对软件性能数据集中的数据信息进行数据清洗和特征提取，并进行标准化处理作业；
步骤三、接着通过利用云计算技术，将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习，以获取瓶颈因子Pjyz，并结合数据迁移时出现的中断次数Zdcs，汇总生成迁移状态系数Pyxs；
步骤四、然后再通过缓存处理模块将缓存调节态势数据信息进行特征提取，获取块大小Kds和缓存命中率Hcmz，并将所述块大小Kds与所述缓存命中率Hcmz相关联，获取缓存调控系数Tkxs，将所述缓存调控系数Tkxs与所述迁移状态系数Pyxs进行综合分析，并结合Bp神经网络模型后训练生成软件存储性能预测模型，经过无量纲处理后，以获取性能态势评估指数TSzs；
步骤五、最后由阈值对比模块将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果，针对预测结果获取相应的等级提升策略。
本实施例中，结合步骤一至步骤五的内容，通过监控云平台存储情况，采集迁移瓶颈状态和缓存调节态势数据，进一步获取确最新以及多方面的性能信息，并对迁移瓶颈状态数据进行综合分析学习，获取瓶颈因子Pjyz和迁移状态系数Pyxs，有助于深入理解系统性能瓶颈及迁移状态；并结合缓存调节态势数据信息，获取性能态势评估指数TSzs，并将评估阈值Q与性能态势评估指数TSzs进行对比分析，根据预测结果执行相应等级的提升策略，实现自动化的性能管理，提高系统的智能性和自适应性。
示例：一个某某软件云平台，该软件云平台引入了一种软件采集数据存储性能提升系统，以下是为某某软件云平台的示例：
数据采集：网络带宽Wlkd为12；读写速度Dssd为16；并发连接数Bflj为8；j为0.12；h为0.16；i为0.40；P为0.41；中断次数Zdcs为3；已迁移数据量Ysjz为65；为0.22；/>为0.35；M1为0.78；缓存容量RLz为45；块大小Kds为0.68；缓存命中率Hcmz为0.78；a1为0.25；a2为0.32；M2为0.5；吞吐量Ttlz为21；F1为0.12；F2为0.30；F3为0.26；C为0.54；
通过以上数据，可以进行以下计算：
瓶颈因子Pjyz==11.0；
迁移状态系数=1183.28；34.4
缓存调控系数=506.92；22.5
性能态势评估指数=37.0；
若评估阈值Q为40时，则性能态势评估指数TSzs小于评估阈值Q，表示为当前云平台的存储性能处于非正常状态；
此时执行第二等级提升方案，此时将采用回滚操作，在迁移出现问题时能够回到上一个稳定状态，接着采用增量迁移策略，只迁移发生变化的部分数据，以减小迁移任务的规模。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种软件采集数据存储性能提升系统，其特征在于：包括软件数据采集模块、数据清洗模块、迁移分析模块、缓存处理模块以及阈值对比模块；
所述软件数据采集模块用于对云平台的存储情况进行实时监控和采集，并利用瓶颈识别技术，采集获取迁移瓶颈状态数据信息，并在缓存设置方面，实时检测缓存调节态势数据信息，建立软件性能数据集；
所述数据清洗模块用于将迁移瓶颈状态数据信息和缓存调节态势数据信息均传输至软件性能数据集内，并将其进行数据清洗和特征提取，并依据无量纲处理技术将处理后的数据信息进行标准化处理；
所述迁移分析模块用于利用云计算技术将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习，以获取瓶颈因子Pjyz，并结合数据迁移时出现的中断次数Zdcs，汇总生成迁移状态系数Pyxs；
所述缓存处理模块用于通过特征提取后的缓存调节态势数据信息，获取块大小Kds和缓存命中率Hcmz，并将所述块大小Kds与所述缓存命中率Hcmz相关联，获取缓存调控系数Tkxs，将所述缓存调控系数Tkxs与所述迁移状态系数Pyxs进行综合分析，并结合Bp神经网络模型后训练生成软件存储性能预测模型，并经过无量纲处理后，以获取性能态势评估指数TSzs，所述性能态势评估指数TSzs通过以下公式获取：
；
式中，Ttlz表示为吞吐量，F1、F2和F3分别表示为缓存调控系数Tkxs、迁移状态系数Pyxs和吞吐量Ttlz的比例系数，其中，0.10≤F1≤0.22，0.15≤F2≤0.36，0.20≤F3≤0.42，且0.55≤F1+F2+F3≤1.0，C表示为第一修正常数；
所述阈值对比模块用于预先设置评估阈值Q，并将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果，针对预测结果获取相应的等级提升策略，
其中，经过无量纲处理后，所述瓶颈因子Pjyz通过以下公式获取：
；
式中，Wlkd表示为网络带宽，Dssd表示为读写速度，Bflj表示为并发连接数，j、h和i分别表示为网络带宽Wlkd、读写速度Dssd和并发连接数Bflj的比例系数，其中，0.05≤j≤0.20，0.15≤h≤0.30，0.33≤i≤0.50，且0.60≤j+h+i+≤1.0，P表示为第二修正常数，将所述瓶颈因子Pjyz与所述中断次数Zdcs相关联，并经过无量纲处理后，获取迁移状态系数Pyxs，所述迁移状态系数Pyxs通过以下公式获取：
；
式中，Ysjz表示为已迁移数据量，和/>均表示为比例系数，M1表示为第三修正常数，
经过无量纲处理后，所述缓存调控系数Tkxs通过以下公式获取：
；
式中，RLz表示为缓存容量，Kds表示为块大小，Hcmz表示为缓存命中率，a1和a2均表示为比例系数，M2表示为第四修正常数。
2.根据权利要求1所述的一种软件采集数据存储性能提升系统，其特征在于：所述软件数据采集模块包括瓶颈监测单元和缓存单元；
所述瓶颈监测单元用于采集与记录数据迁移过程中，出现有关性能瓶颈的相关参数信息，其中包括迁移速率、网络带宽Wlkd、并发连接数Bflj、错误率、带宽利用率、网络延迟时长、迁移任务的队列状态以及读写速度Dssd；
所述缓存单元用于采集与记录缓存调节态势数据信息，其中包括调整的块大小Kds、缓存命中率Hcmz、缓存技术、缓存容量RLz、缓存中数据的生命周期、缓存过期时间以及是否有缓存预热步骤。
3.根据权利要求2所述的一种软件采集数据存储性能提升系统，其特征在于：所述数据清洗模块包括数据预处理单元和标准化单元；
所述数据预处理单元用于利用容错机制，将软件性能数据集中的数据信息进行频繁校准，并监测与处理其内的缺失值和错误，利用信号处理技术，去除数据信息中的高频噪声；
所述标准化单元用于利用无量纲处理技术将软件性能数据集中的一个或两个均转换为相同的单位，并对不同传感器或采集设备产生的数据数值统一在同一范围值内。
4.根据权利要求1所述的一种软件采集数据存储性能提升系统，其特征在于：预先设置状态阈值K，并将其与所述迁移状态系数Pyxs进行对比分析，以判定在数据迁移的过程中是否发生异常，具体判定结果如下：
若所述迁移状态系数Pyxs大于或等于状态阈值K时，即Pyxs≥状态阈值K时，表示为此时在数据迁移的过程中发生异常；
若所述迁移状态系数Pyxs小于状态阈值K时，即Pyxs＜状态阈值K时，表示为此时在数据迁移的过程中未发生异常。
5.根据权利要求1所述的一种软件采集数据存储性能提升系统，其特征在于：所述阈值对比模块包括对比单元和执行单元；
所述对比单元用于将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果：
若所述性能态势评估指数TSzs大于或等于评估阈值Q时，表示为当前云平台的存储性能处于正常状态；
若所述性能态势评估指数TSzs小于评估阈值Q时，表示为当前云平台的存储性能处于非正常状态。
6.根据权利要求5所述的一种软件采集数据存储性能提升系统，其特征在于：所述执行单元用于依据所述对比单元中的预测结果，做相应的等级提升策略，其具体等级提升策略内容如下：
若当前云平台的存储性能处于正常状态时，执行第一等级提升方案，此时进行正常存储作业；
若当前云平台的存储性能处于非正常状态时，执行第二等级提升方案，此时将采用回滚操作，在迁移出现问题时能够回到上一个稳定状态，接着采用增量迁移策略，只迁移发生变化的部分数据，以减小迁移任务的规模。
7.一种软件采集数据存储性能提升方法，应用于上述权利要求1~6任一一项所述的一种软件采集数据存储性能提升系统，其特征在于：包括以下步骤，
步骤一、首先通过软件数据采集模块对云平台的存储情况进行实时监控和采集，并利用瓶颈识别技术，采集获取迁移瓶颈状态数据信息，并在缓存设置方面，实时检测缓存调节态势数据信息，建立软件性能数据集；
步骤二、通过数据清洗模块将对软件性能数据集中的数据信息进行数据清洗和特征提取，并进行标准化处理作业；
步骤三、接着通过利用云计算技术，将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习，以获取瓶颈因子Pjyz，并结合数据迁移时出现的中断次数Zdcs，汇总生成迁移状态系数Pyxs；
步骤四、然后再通过缓存处理模块将缓存调节态势数据信息进行特征提取，获取块大小Kds和缓存命中率Hcmz，并将所述块大小Kds与所述缓存命中率Hcmz相关联，获取缓存调控系数Tkxs，将所述缓存调控系数Tkxs与所述迁移状态系数Pyxs进行综合分析，并结合Bp神经网络模型后训练生成软件存储性能预测模型，经过无量纲处理后，以获取性能态势评估指数TSzs；
步骤五、最后由阈值对比模块将评估阈值Q与所述性能态势评估指数TSzs进行对比分析，获取预测结果，针对预测结果获取相应的等级提升策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311744962.3A CN117420967B (zh) | 2023-12-19 | 2023-12-19 | 一种软件采集数据存储性能提升方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311744962.3A CN117420967B (zh) | 2023-12-19 | 2023-12-19 | 一种软件采集数据存储性能提升方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117420967A CN117420967A (zh) | 2024-01-19 |
| CN117420967B true CN117420967B (zh) | 2024-03-12 |
Family
ID=89532949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311744962.3A Active CN117420967B (zh) | 2023-12-19 | 2023-12-19 | 一种软件采集数据存储性能提升方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117420967B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117648141A (zh) * | 2024-01-30 | 2024-03-05 | 北京比格大数据有限公司 | 数据服务接口动态配置方法及装置、设备及存储介质 |
| CN117651045A (zh) * | 2024-01-30 | 2024-03-05 | 北京比格大数据有限公司 | 跨域服务注册方法及系统 |
| CN117891619A (zh) * | 2024-03-18 | 2024-04-16 | 山东吉谷信息科技有限公司 | 基于虚拟化平台的主机资源同步方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294546A (zh) * | 2013-04-03 | 2013-09-11 | 华中科技大学 | 多维度资源性能干扰感知的虚拟机在线迁移方法及系统 |
| CN104519119A (zh) * | 2013-09-27 | 2015-04-15 | 国际商业机器公司 | 虚拟化的云环境中异构迁移会话的反应性节流 |
| CN115914375A (zh) * | 2022-12-07 | 2023-04-04 | 中国工商银行股份有限公司 | 分布式消息平台容灾处理方法及装置 |
| CN117056250A (zh) * | 2023-08-14 | 2023-11-14 | 平安银行股份有限公司 | 一种缓存替换方法、装置、电子设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9432256B2 (en) * | 2014-03-27 | 2016-08-30 | Hitachi, Ltd. | Resource management method and resource management system |
| US11216314B2 (en) * | 2018-11-02 | 2022-01-04 | EMC IP Holding Company LLC | Dynamic reallocation of resources in accelerator-as-a-service computing environment |
| US11327675B2 (en) * | 2019-01-23 | 2022-05-10 | Accenture Global Solutions Limited | Data migration |
-
2023
- 2023-12-19 CN CN202311744962.3A patent/CN117420967B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294546A (zh) * | 2013-04-03 | 2013-09-11 | 华中科技大学 | 多维度资源性能干扰感知的虚拟机在线迁移方法及系统 |
| CN104519119A (zh) * | 2013-09-27 | 2015-04-15 | 国际商业机器公司 | 虚拟化的云环境中异构迁移会话的反应性节流 |
| CN115914375A (zh) * | 2022-12-07 | 2023-04-04 | 中国工商银行股份有限公司 | 分布式消息平台容灾处理方法及装置 |
| CN117056250A (zh) * | 2023-08-14 | 2023-11-14 | 平安银行股份有限公司 | 一种缓存替换方法、装置、电子设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| CloudCache: On-demand Flash Cache Management for Cloud Computing;Dulcardo Arteaga等;Proceedings of the 14th USENIX Conference on File and Storage Technologites;20160225;第355-369页 * |
| Optimizing storage performance in public cloud platforms;Jian-zong WANG等;Journal of Zhejiang University-SCIENCE C (Computers & Electronics);20111231;第951-964页 * |
| 上下文感知的分布式缓存数据重均衡方法;朱鑫;蒲卫;;秦秀磊;张文博;钟华;;计算机工程与设计;20130116(第01期);第207-214页 * |
| 私有云平台测试方案与实践;孙磊;张怡;张志正;;信息技术与标准化;20180610(第06期);第24-28页 * |
| 面向IaaS云计算的虚拟机负载性能优化与保证机制研究;徐飞;中国博士学位论文全文数据库 信息科技辑;20150715;第2-4章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117420967A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117420967B (zh) | 一种软件采集数据存储性能提升方法和系统 | |
| CN108038044B (zh) | 一种面向连续被监测对象的异常检测方法 | |
| CN110942137A (zh) | 一种基于深度学习的电网信息运维监控方法 | |
| CN114239377A (zh) | 一种城轨机电设备健康状态评估方法、系统及存储介质 | |
| CN110738346A (zh) | 一种基于威布尔分布的批次电能表可靠度预测方法 | |
| CN111723850A (zh) | 一种基于智能巡检系统的自动化检定设备状态评价方法 | |
| WO2021007845A1 (zh) | 一种氧化铝生产指标的云-边协同预报系统及方法 | |
| CN116028887B (zh) | 一种连续性工业生产数据的分析方法 | |
| CN114968727A (zh) | 基于人工智能运维的数据库贯穿基础设施的故障定位方法 | |
| CN116467674A (zh) | 一种配电网智能故障处理融合更新系统及其方法 | |
| CN111666978A (zh) | 一种it系统运维大数据的智能故障预警系统 | |
| WO2019019429A1 (zh) | 一种虚拟机异常检测方法、装置、设备及存储介质 | |
| CN115114124A (zh) | 主机风险的评估方法及评估装置 | |
| CN117131022B (zh) | 一种电力信息系统的异构数据迁移方法 | |
| WO2024027487A1 (zh) | 基于智能运维场景的健康度评价方法及装置 | |
| CN112561119A (zh) | 一种使用arima-rnn组合模型的云服务器资源性能预测方法 | |
| CN115081485B (zh) | 一种基于ai的漏磁内检测数据自动分析方法 | |
| CN115766513A (zh) | 一种异常检测方法和装置 | |
| CN114626758A (zh) | 用于医疗设备维修的效果评价系统 | |
| CN111967667B (zh) | 一种轨道交通分布式运维方法及系统 | |
| CN110083804B (zh) | 基于条件分布回归的风电场scada数据缺失的智能修复方法 | |
| CN114003466A (zh) | 一种用于微服务应用程序的故障根因定位方法 | |
| CN113807743A (zh) | 一种电网调度自动化软件可靠性评估方法及系统 | |
| CN112307089B (zh) | 应用于施工数据的检测方法及系统 | |
| CN116431454B (zh) | 一种大数据的计算机性能控制系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |