CN117056250A - 一种缓存替换方法、装置、电子设备及存储介质 - Google Patents
一种缓存替换方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117056250A CN117056250A CN202311019820.0A CN202311019820A CN117056250A CN 117056250 A CN117056250 A CN 117056250A CN 202311019820 A CN202311019820 A CN 202311019820A CN 117056250 A CN117056250 A CN 117056250A
- Authority
- CN
- China
- Prior art keywords
- data
- cache replacement
- model
- prediction model
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 238000010801 machine learning Methods 0.000 claims abstract description 35
- 238000013499 data model Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种适用于金融科技或其它相关技术领域的缓存替换方法、装置、电子设备及存储介质，方法包括：获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；将所述预测模型嵌入预先建立的缓存替换算法中；获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。本发明解决了现有技术中缓存替换方法命中率低、缓存空间利用不充分的技术问题。
Description
技术领域
本发明涉及大数据技术领域，具体涉及一种缓存替换方法、装置、电子设备及存储介质。
背景技术
随着移动通信技术迅猛发展、人们对智能手机和平板电脑的使用更加频繁，因此，对于移动网络中丰富的多媒体资源的请求量也越来越大。通过对传输流量爆炸式增长进行分析，发现移动网络传输流量中的很大一部分是由于少数流行程度较高的内容重复传输产生的。特别是在金融领域中，对于一些热度较高的银行理财产品或者贷款产品，其访问的重复度特别高，因此，将流行度高的内容缓存到缓存器中，用户对于相同内容的请求可以直接从邻近的缓存器中获得，而不需要从远程服务器中传输，但是由于缓存器的缓存空间有限，因此需要制定合适的缓存替换策略，保证缓存器中缓存的内容随着用户的需要被及时替换，以便更好的提高缓存命中率。
目前采用的缓存替换方法一般是三级缓存一致实现方案，但是其在复杂度、开发和测试难度、一致性维护难度、安全性风险和兼容性等方面可能存在一些缺陷和问题，需要继续优化和改进，具体的：
1、复杂度高：三级缓存一致实现方案通常需要复杂的硬件和软件结构来实现一致性和性能要求，这会增加实现和维护成本；
2、开发和测试难度大：三级缓存一致实现方案通常需要进行多个硬件和软件模块的开发和测试，这会增加开发和测试的难度和工作量；
3、不同设备之间的一致性维护难度高：由于不同设备之间的缓存数据同步需要进行复杂的通信和协调，因此在维护设备之间的一致性方面，会存在一定的难度；
4、安全性风险：三级缓存一致实现方案涉及到多个缓存层的数据交换和同步，因此在数据安全性方面，需要进行严格的隔离和访问控制等措施，否则可能会存在数据泄露的风险；
5、兼容性问题：由于不同的系统、架构和应用场景的差异，三级缓存一致实现方案的兼容性可能存在问题，需要进行针对性的优化和调整。
因此，目前的缓存替换算法在缓存的命中率以及对缓存空间的利用率上不高，导致系统的性能和效率受到影响。
发明内容
本发明的目的在于克服上述技术不足，提供一种适用于金融科技或其他相关技术领域的缓存替换方法、装置、电子设备及存储介质，解决现有技术中缓存替换方法命中率低、缓存空间利用不充分的技术问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种缓存替换方法，包括如下步骤：
获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；
建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；
将所述预测模型嵌入预先建立的缓存替换算法中；
获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。
在一些实施例中，所述获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集，包括：
获取若干个历史数据的数据信息；
对获取的若干个历史数据的数据信息分别进行清洗、转换以及归一化处理；
将处理后的数据划分为训练集和测试集。
在一些实施例中，所述建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型，包括：
根据训练集中的样本的类型和特征，进行特征向量的提取；
建立基于机器学习的数据模型，并基于选取的特征向量对所述数据模型的模型结果和参数进行设置；
基于反向传播算法，利用所述训练集中选取的特征向量对所述数据模型进行训练，以得到训练完备的预测模型。
在一些实施例中，所述基于反向传播算法，利用所述训练集中选取的特征向量对所述数据模型进行训练，以得到训练完备的预测模型之后还包括：
采用所述测试集对所述预测模型进行评估，并根据评估结果对所述预测模型进行优化处理。
在一些实施例中，所述获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略，包括：
获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果；
将所述预测结果与预设的阈值进行比较，基于比较结果调整缓存替换策略。
在一些实施例中，所述调整缓存替换策略的方法为：对缓存替换算法进行调整或者对缓存大小进行调整。
在一些实施例中，所述获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略之后还包括：
根据实时监控数据的变化情况，周期性的进行所述预测模型的更新。
第二方面，本发明还提供了一种缓存替换装置，包括：
数据获取模块，用于获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；
模型建立模块，用于建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；
嵌入模块，用于将所述预测模型嵌入预先建立的缓存替换算法中；
调整模块，用于获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。
第三方面，本发明还提供一种电子设备，包括：处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机程序；
所述处理器执行所述计算机程序时实现如上所述的缓存替换方法中的步骤。
第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的缓存替换方法中的步骤。
与现有技术相比，本发明提供的缓存替换方法、装置、电子设备及存储介质，首先获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；之后建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；之后将所述预测模型嵌入预先建立的缓存替换算法中；最后获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。本发明可以通过学习历史数据和预测未来数据的访问情况，实现智能动态调整缓存替换策略，提高缓存效率和性能，避免出现传统的缓存一致性方案由于通常基于静态的规则和策略，无法适应实时数据的变化的问题，而且，基于机器学习的缓存替换算法可以自适应地学习数据特征和访问模式，从而适应不同的数据类型和大小，以及不同的访问模式，提高缓存替换策略的适应性和灵活性，另外，基于机器学习的缓存替换算法可以充分考虑这些因素，通过学习历史数据和预测未来数据的访问情况，实现更加准确的缓存替换策略，避免出现传统方案中无法充分考虑数据的特征、大小、类型等因素，也无法充分利用历史数据的信息的问题，此外，基于机器学习的缓存替换算法可以提高缓存的命中率和效率，减少缓存的冷启动时间和缓存替换次数，从而提高系统的整体性能和吞吐量。
附图说明
图1是本发明实施例提供的缓存替换方法的流程图；
图2是本发明实施例提供的缓存替换方法中，步骤S100的流程图；
图3是本发明实施例提供的缓存替换方法中，步骤S200的流程图；
图4是本发明实施例提供的缓存替换方法中，步骤S400的流程图；
图5是本发明实施例提供的缓存替换装置的功能模块示意图；
图6是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
随着移动通信技术迅猛发展、人们对智能手机和平板电脑的使用更加频繁，因此，对于移动网络中丰富的多媒体资源的请求量也越来越大。通过对传输流量爆炸式增长进行分析，发现移动网络传输流量中的很大一部分是由于少数流行程度较高的内容重复传输产生的。特别是在金融领域中，对于一些热度较高的银行理财产品或者贷款产品，其访问的重复度特别高，因此，将流行度高的内容缓存到缓存器中，用户对于相同内容的请求可以直接从邻近的缓存器中获得，而不需要从远程服务器中传输，但是由于缓存器的缓存空间有限，因此需要制定合适的缓存替换策略，保证缓存器中缓存的内容随着用户的需要被及时替换，以便更好的提高缓存命中率。目前的缓存替换算法在缓存的命中率以及对缓存空间的利用率上不高，导致系统的性能和效率受到影响。
请参阅图1，图1本发明实施例提供的一种缓存替换方法的流程示意图，本发明所涉及的缓存替换方法可用于金融领域的缓存替换应用中，以提高缓存替换的命中率和缓存空间利用率。本发明所涉及的缓存替换方法可由电子设备执行，该电子设备能够进行接收或发送数据等操作，可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式服务器等等。如图1所示，该方法具体包括以下步骤S100至步骤S400。
S100、获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集。
本实施例中，所述历史数据的数据信息至少包括访问机理、特征、数据类型、数据和大小等信息，可以通过缓存系统自身的监控日志来收集这些数据信息，也可以通过其他系统日志来收集这些数据信息，在获取信息后，对数据信息进行预处理，方便后续模型的识别与处理，最后将处理后的数据划分为训练集和测试集，进而可以供后续进行数据模型的训练及验证。
S200、建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型。
本实施例中，据收集到的数据，提取有用的特征，例如数据的大小、类型、访问频率、最近访问时间等，并选择合适的机器学习模型，例如决策树、神经网络、支持向量机等。这些模型可以对数据进行分类、回归、聚类等分析和预测。然后采用历史数据的数据信息对模型进行训练，进而得到可以预测结果的预测模型。其中，机器学习算法可以为神经网络、决策树、随机森林。、支持向量机等。
S300、将所述预测模型嵌入预先建立的缓存替换算法中。
本实施例中，将训练好的模型嵌入到缓存替换算法中，进而可以根据模型输出的预测结果来调整缓存替换策略，其中，缓存替换算法可以采用LeastRecentlyUsed(LRU)、LeastFrequentlyUsed(LFU)、Random等算法，具体可根据实际需求选择。
S400、获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。
本实施例中，实时监控数据访问情况和模型预测结果，并根据实时数据更新模型参数和缓存替换策略，进而可以有效提高缓存的命中率和空间利用率，从而提高系统性能和稳定性。同时，还可以自适应地调整缓存策略，适应不同的数据访问模式和工作负载。
本发明实施例，首先获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；之后建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；之后将所述预测模型嵌入预先建立的缓存替换算法中；最后获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。本发明可以通过学习历史数据和预测未来数据的访问情况，实现智能动态调整缓存替换策略，提高缓存效率和性能，避免出现传统的缓存一致性方案由于通常基于静态的规则和策略，无法适应实时数据的变化的问题，而且，基于机器学习的缓存替换算法可以自适应地学习数据特征和访问模式，从而适应不同的数据类型和大小，以及不同的访问模式，提高缓存替换策略的适应性和灵活性，另外，基于机器学习的缓存替换算法可以充分考虑这些因素，通过学习历史数据和预测未来数据的访问情况，实现更加准确的缓存替换策略，避免出现传统方案中无法充分考虑数据的特征、大小、类型等因素，也无法充分利用历史数据的信息的问题，此外，基于机器学习的缓存替换算法可以提高缓存的命中率和效率，减少缓存的冷启动时间和缓存替换次数，从而提高系统的整体性能和吞吐量。
在一些实施例中，请参阅图2，所述步骤S100具体包括：
S110、获取若干个历史数据的数据信息；
S120、对获取的若干个历史数据的数据信息分别进行清洗、转换以及归一化处理；
S130、将处理后的数据划分为训练集和测试集。
本实施例中，首先收集历史数据的访问记录、特征、数据类型、数据大小等信息，然后对收集到的数据进行清洗、转换和归一化处理，具体的，数据清洗的过程可以为处理异常值、删除重复项、处理缺失值等过程，数据转换为对数据进行格式和类型转换，例如将字符串转换为数字，或将数字格式化为特定的字符串形式，使数据格式统一，进而方便后续模型的识别，归一化处理是指将数据标准化为具有相同量纲和相对大小关系的数据集。这有助于防止特定数据特征在模型中具有过多影响力，并且提高了模型的稳健性和准确性。例如可以采用Min-Max，Z-Score等方法。当预处理完毕后，按照比例将数据划分为训练集和测试集，可选的，还可以将数据划分为训练集、验证集和测试集，例如可以采用7:2:1的比例进行划分。
在一些实施例中，请参阅图2，所述步骤S200具体包括：
S210、根据训练集中的样本的类型和特征，进行特征向量的提取；
S220、建立基于机器学习的数据模型，并基于选取的特征向量对所述数据模型的模型结果和参数进行设置；
S230、基于反向传播算法，利用所述训练集中选取的特征向量对所述数据模型进行训练，以得到训练完备的预测模型。
本实施例中，首先根据数据的类型和特征选择适合的特征向量，提取有代表性的特征，减少模型的复杂度，之后选取合适的数据模型，例如卷积神经网络(CNN)、循环神经网络(RNN)等，根据数据类型和特征选择合适的模型结构和参数，然后采用采用反向传播算法对模型进行训练，调整模型的参数，最小化模型的损失函数，提高模型的预测准确度，进而可以得到训练完备的预测模型。
在一些实施例中，所述步骤S230之后还包括：
采用所述测试集对所述预测模型进行评估，并根据评估结果对所述预测模型进行优化处理。
本实施例中，为了对模型进行评估和优化，根据模型的准确性、泛化性和鲁棒性等指标来确定最佳模型，在获取了预测模型后，使用测试集对训练好的模型进行评估，计算模型的指标，例如准确率、召回率、F1分数等，评估模型的泛化性和鲁棒性，然后根据评估结果，对模型进行优化，调整模型结构、参数等，提高模型的泛化性和鲁棒性，本发明实施例训练过程中采用交叉验证等技术来评估模型的性能和泛化能力，并通过调整模型参数等方式来优化模型的性能。
在一些实施例中，请参阅图4，所述步骤S400具体包括：
S410、获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果；
S420、将所述预测结果与预设的阈值进行比较，基于比较结果调整缓存替换策略。
本实施例中，实时监控数据访问情况和模型预测结果，并根据实时数据更新模型参数和缓存替换策略。示例性的，在实时监控中，可以设置阈值来判断缓存是否需要进行调整，例如当命中率低于一定阈值时，自动增加缓存大小或者修改缓存替换算法。
在一些实施例中，所述调整缓存替换策略的方法为：对缓存替换算法进行调整或者对缓存大小进行调整。示例性的，当预测结果显示进行缓存替换策略的调整时，可以自动增加或者减少缓存大小，还可以修改缓存替换算法，进而适应不同的数据访问模式和工作负载。
在一些实施例中，所述步骤S400之后还包括：
根据实时监控数据的变化情况，周期性的进行所述预测模型的更新。
本实施例中，为了提高模型预测的准确性，随着数据的不断变化，可以周期性地更新模型，以适应变化的数据特征和规律。
本发明提供的技术方案，首先获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；之后建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；之后将所述预测模型嵌入预先建立的缓存替换算法中；最后获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。本发明可以通过学习历史数据和预测未来数据的访问情况，实现智能动态调整缓存替换策略，提高缓存效率和性能，避免出现传统的缓存一致性方案由于通常基于静态的规则和策略，无法适应实时数据的变化的问题，而且，基于机器学习的缓存替换算法可以自适应地学习数据特征和访问模式，从而适应不同的数据类型和大小，以及不同的访问模式，提高缓存替换策略的适应性和灵活性，另外，基于机器学习的缓存替换算法可以充分考虑这些因素，通过学习历史数据和预测未来数据的访问情况，实现更加准确的缓存替换策略，避免出现传统方案中无法充分考虑数据的特征、大小、类型等因素，也无法充分利用历史数据的信息的问题，此外，基于机器学习的缓存替换算法可以提高缓存的命中率和效率，减少缓存的冷启动时间和缓存替换次数，从而提高系统的整体性能和吞吐量。
本发明另一实施例提供一种缓存替换装置，请参阅图5，该缓存替换装置包括数据获取模块11、模型建立模块12、嵌入模块13以及调整模块14。
数据获取模块11用于获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集。
模型建立模块12用于建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型。
嵌入模块13用于将所述预测模型嵌入预先建立的缓存替换算法中。
调整模块14用于获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。
本实施例中，首先获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；之后建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；之后将所述预测模型嵌入预先建立的缓存替换算法中；最后获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。本发明可以通过学习历史数据和预测未来数据的访问情况，实现智能动态调整缓存替换策略，提高缓存效率和性能，避免出现传统的缓存一致性方案由于通常基于静态的规则和策略，无法适应实时数据的变化的问题，而且，基于机器学习的缓存替换算法可以自适应地学习数据特征和访问模式，从而适应不同的数据类型和大小，以及不同的访问模式，提高缓存替换策略的适应性和灵活性，另外，基于机器学习的缓存替换算法可以充分考虑这些因素，通过学习历史数据和预测未来数据的访问情况，实现更加准确的缓存替换策略，避免出现传统方案中无法充分考虑数据的特征、大小、类型等因素，也无法充分利用历史数据的信息的问题，此外，基于机器学习的缓存替换算法可以提高缓存的命中率和效率，减少缓存的冷启动时间和缓存替换次数，从而提高系统的整体性能和吞吐量。
需要说明的是，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述缓存替换的执行过程，各模块的具体实施方式请参考上述对应的方法实施例，此处不再赘述。
在一些实施例中，所述数据获取模块11具体用于：
获取若干个历史数据的数据信息；
对获取的若干个历史数据的数据信息分别进行清洗、转换以及归一化处理；
将处理后的数据划分为训练集和测试集。
在一些实施例中，所述模型建立模块12具体用于：
根据训练集中的样本的类型和特征，进行特征向量的提取；
建立基于机器学习的数据模型，并基于选取的特征向量对所述数据模型的模型结果和参数进行设置；
基于反向传播算法，利用所述训练集中选取的特征向量对所述数据模型进行训练，以得到训练完备的预测模型。
在一些实施例中，所述模型建立模块12还用于：
采用所述测试集对所述预测模型进行评估，并根据评估结果对所述预测模型进行优化处理。
在一些实施例中，所述调整模块14具体用于：
获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果；
将所述预测结果与预设的阈值进行比较，基于比较结果调整缓存替换策略。
在一些实施例中，所述调整缓存替换策略的方法为：对缓存替换算法进行调整或者对缓存大小进行调整。
在一些实施例中，所述缓存替换装置还包括模型更新模块，用于根据实时监控数据的变化情况，周期性的进行所述预测模型的更新。
本发明另一实施例提供一种电子设备，如图6所示，电子设备10包括：
一个或多个处理器110以及存储器120，图6中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器110用于完成电子设备10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(AcornRISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的缓存替换方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行电子设备10的各种功能应用以及数据处理，即实现上述方法实施例中的缓存替换方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作平台、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至电子设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的缓存替换方法，例如，执行以上描述的图1中的方法步骤S100至步骤S400。
本发明另一实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S400。
作为示例，计算机可读存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明而非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、SynchlinkDRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
综上所述，本发明提供的缓存替换方法、装置、电子设备及存储介质，首先获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；之后建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；之后将所述预测模型嵌入预先建立的缓存替换算法中；最后获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。本发明可以通过学习历史数据和预测未来数据的访问情况，实现智能动态调整缓存替换策略，提高缓存效率和性能，避免出现传统的缓存一致性方案由于通常基于静态的规则和策略，无法适应实时数据的变化的问题，而且，基于机器学习的缓存替换算法可以自适应地学习数据特征和访问模式，从而适应不同的数据类型和大小，以及不同的访问模式，提高缓存替换策略的适应性和灵活性，另外，基于机器学习的缓存替换算法可以充分考虑这些因素，通过学习历史数据和预测未来数据的访问情况，实现更加准确的缓存替换策略，避免出现传统方案中无法充分考虑数据的特征、大小、类型等因素，也无法充分利用历史数据的信息的问题，此外，基于机器学习的缓存替换算法可以提高缓存的命中率和效率，减少缓存的冷启动时间和缓存替换次数，从而提高系统的整体性能和吞吐量。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种缓存替换方法，其特征在于，包括如下步骤：
获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；
建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；
将所述预测模型嵌入预先建立的缓存替换算法中；
获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。
2.根据权利要求1所述的缓存替换方法，其特征在于，所述获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集，包括：
获取若干个历史数据的数据信息；
对获取的若干个历史数据的数据信息分别进行清洗、转换以及归一化处理；
将处理后的数据划分为训练集和测试集。
3.根据权利要求1所述的缓存替换方法，其特征在于，所述建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型，包括：
根据训练集中的样本的类型和特征，进行特征向量的提取；
建立基于机器学习的数据模型，并基于选取的特征向量对所述数据模型的模型结果和参数进行设置；
基于反向传播算法，利用所述训练集中选取的特征向量对所述数据模型进行训练，以得到训练完备的预测模型。
4.根据权利要求3所述的缓存替换方法，其特征在于，所述基于反向传播算法，利用所述训练集中选取的特征向量对所述数据模型进行训练，以得到训练完备的预测模型之后还包括：
采用所述测试集对所述预测模型进行评估，并根据评估结果对所述预测模型进行优化处理。
5.根据权利要求1所述的缓存替换方法，其特征在于，所述获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略，包括：
获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果；
将所述预测结果与预设的阈值进行比较，基于比较结果调整缓存替换策略。
6.根据权利要求5所述的缓存替换方法，其特征在于，所述调整缓存替换策略的方法为：对缓存替换算法进行调整或者对缓存大小进行调整。
7.根据权利要求1所述的缓存替换方法，其特征在于，所述获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略之后还包括：
根据实时监控数据的变化情况，周期性的进行所述预测模型的更新。
8.一种缓存替换装置，其特征在于，包括：
数据获取模块，用于获取若干个历史数据的数据信息，并对若干个历史数据的数据信息进行预处理后，将处理后的数据划分为训练集和测试集；
模型建立模块，用于建立基于机器学习的数据模型，利用所述训练集对所述预测模型进行训练，以得到训练完备的预测模型；
嵌入模块，用于将所述预测模型嵌入预先建立的缓存替换算法中；
调整模块，用于获取实时监控数据，采用所述嵌入有预测模型的缓存替换算法对所述实时监控数据进行预测，以得到预测结果后，根据所述预测结果调整缓存替换策略。
9.一种电子设备，其特征在于，包括：处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机程序；
所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述的缓存替换方法中的步骤。
10.一种计算机可读存储介质，其特征在于，包括：处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机程序；
所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述的缓存替换方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311019820.0A CN117056250A (zh) | 2023-08-14 | 2023-08-14 | 一种缓存替换方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311019820.0A CN117056250A (zh) | 2023-08-14 | 2023-08-14 | 一种缓存替换方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117056250A true CN117056250A (zh) | 2023-11-14 |
Family
ID=88660253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311019820.0A Pending CN117056250A (zh) | 2023-08-14 | 2023-08-14 | 一种缓存替换方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117056250A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420967A (zh) * | 2023-12-19 | 2024-01-19 | 北京比格大数据有限公司 | 一种软件采集数据存储性能提升方法和系统 |
| CN117453751A (zh) * | 2023-12-22 | 2024-01-26 | 中国海洋大学 | 海洋大数据缓存加载系统、运行方法、装置和介质 |
-
2023
- 2023-08-14 CN CN202311019820.0A patent/CN117056250A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420967A (zh) * | 2023-12-19 | 2024-01-19 | 北京比格大数据有限公司 | 一种软件采集数据存储性能提升方法和系统 |
| CN117420967B (zh) * | 2023-12-19 | 2024-03-12 | 北京比格大数据有限公司 | 一种软件采集数据存储性能提升方法和系统 |
| CN117453751A (zh) * | 2023-12-22 | 2024-01-26 | 中国海洋大学 | 海洋大数据缓存加载系统、运行方法、装置和介质 |
| CN117453751B (zh) * | 2023-12-22 | 2024-03-26 | 中国海洋大学 | 海洋大数据缓存加载系统、运行方法、装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117056250A (zh) | 一种缓存替换方法、装置、电子设备及存储介质 | |
| WO2017107570A1 (zh) | 一种基于HTML5应用缓存的移动Web缓存优化方法 | |
| CN104202373A (zh) | 移动云计算迁移方法及系统 | |
| US11360927B1 (en) | Architecture for predicting network access probability of data files accessible over a computer network | |
| Fan et al. | PA-cache: Evolving learning-based popularity-aware content caching in edge networks | |
| CN108710639A (zh) | 一种基于Ceph的海量小文件存取优化方法 | |
| WO2021004324A1 (zh) | 资源数据的处理方法、装置、计算机设备和存储介质 | |
| CN111143243A (zh) | 一种基于nvm混合内存的缓存预取方法及系统 | |
| CN112561197B (zh) | 一种带有主动防御影响范围的电力数据预取与缓存方法 | |
| WO2021004318A1 (zh) | 资源数据的处理方法、装置、计算机设备和存储介质 | |
| WO2019109798A1 (zh) | 资源加载的方法、装置、终端及存储介质 | |
| Chen et al. | Accurate workload prediction for edge data centers: Savitzky-Golay filter, CNN and BiLSTM with attention mechanism | |
| US20230274193A1 (en) | Data Management Forecasting Forecasting from Distributed Tracing | |
| Chao | Web cache intelligent replacement strategy combined with GDSF and SVM network re-accessed probability prediction | |
| CN113127515A (zh) | 面向电网的调控数据高速缓存方法、装置、计算机设备和存储介质 | |
| CN114266352B (zh) | 模型训练结果优化方法、装置、存储介质及设备 | |
| CN114785858A (zh) | 应用于互感器在线监测系统的资源主动缓存方法及装置 | |
| CN110381540B (zh) | 基于dnn的实时响应时变文件流行度的动态缓存更新方法 | |
| CN113158497A (zh) | 在线服务实验方法、装置、计算机设备和存储介质 | |
| Bin et al. | Storage and access optimization scheme based on correlation probabilities in the internet of vehicles | |
| Baskaran et al. | Study of combined Web prefetching with Web caching based on machine learning technique | |
| CN103944955B (zh) | 基于无线网络的手机空间信息服务方法 | |
| Peng et al. | Complex event processing over live archived data streams | |
| CN111091198A (zh) | 一种数据处理方法及装置 | |
| Guo et al. | Looxy: Web access optimization for mobile applications with a local proxy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |