CN114564667B - 分析大规模数据的低延时缓存数据处理方法 - Google Patents
分析大规模数据的低延时缓存数据处理方法 Download PDFInfo
- Publication number
- CN114564667B CN114564667B CN202210458754.6A CN202210458754A CN114564667B CN 114564667 B CN114564667 B CN 114564667B CN 202210458754 A CN202210458754 A CN 202210458754A CN 114564667 B CN114564667 B CN 114564667B
- Authority
- CN
- China
- Prior art keywords
- data
- cache
- central control
- control module
- active
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种分析大规模数据的低延时缓存数据处理方法，包括：步骤S1，通过获取模块获取用户浏览数据的实时数据情况，利用大数据分析模块对实时数据情况进行分析以得到同类数据的数据量A以确定同类数据是否具有缓存记录；步骤S2，若用户对同类数据具有缓存记录，启动主动缓存模块进行实时数据缓存；步骤S3，若用户对同类数据不具有缓存记录，调取整体数据库模块中已浏览数据的缓存量R以确定是否能够进行主动缓存；步骤S4,若不能进行主动缓存，将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存；步骤S5，若中控模块判定不能进行主动缓存，启动被动缓存模块进行被动缓存标记。从而能够达到低延时、高效的数据缓存。
Description
技术领域
本发明涉及计算机信息存储技术领域，尤其涉及分析大规模数据的低延时缓存数据处理方法。
背景技术
缓存，作为提高计算机系统性能的一种重要手段，近年来在存储领域已经得到了工业界和学术界的广泛关注。在存储系统中，缓存的主要作用是减缓平滑两级系统之间的性能差异。CDN技术能加速并提高流媒体的使用质量，使互联网的多媒体用户更加普及，这些应用包括在线播放、音乐点播、电视直播、游戏等，极大促进网上应用和服务的发展。但由于各个CDN节点存储能力有限，需要提前预测所需要的资源和节点大小来进行定期预热，能极大提高对服务内容的命中率和对CDN服务资源的有效利用率，减低流媒体服务商使用成本同时保证服务质量。但是目前使用的数据预热方法中，对预热数据的命中率较低。
中国专利CN202110048902.2公开了一种缓存数据处理方法、装置、电子设备及存储介质，包括，在分布式系统中的第一工作节点在执行任务的过程中产生缓存数据的情况下，调用设定的所述第一工作节点对应的微服务；基于所述第一工作节点对应的微服务将所述缓存数据写入对应的缓存区中；所述缓存区为堆外缓存区。
目前，已经有一些分析大规模数据的低延时缓存数据处理方法，但普遍不能通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，低效且数据预热命中率低。
发明内容
为此，本发明提供一种分析大规模数据的低延时缓存数据处理方法，可以有效解决现有技术中不能通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存以致数据预热命中率低的技术问题。
为实现上述目的，本发明提供一种分析大规模数据的低延时缓存数据处理方法，包括：
步骤S1，通过获取模块获取用户浏览数据的实时数据情况，利用大数据分析模块对实时数据情况进行分析以得到同类数据的数据量A，中控模块将其与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录；
步骤S2，若中控模块判定用户对同类数据具有缓存记录，启动主动缓存模块进行实时数据缓存；
步骤S3，若中控模块判定用户对同类数据不具有缓存记录，中控模块调取整体数据库模块中已浏览数据的缓存量R并将其与预设缓存量R0进行比较以确定是否能够进行主动缓存；
步骤S4,若中控模块判定能够进行主动缓存，启动主动缓存模块进行实时数据缓存；若中控模块判定不能进行主动缓存，启动比较模块以得到同类数据的相似数据，中控模块将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存；
步骤S5，若中控模块判定能够进行主动缓存，启动主动缓存模块进行实时数据缓存；若中控模块判定不能进行主动缓存，启动被动缓存模块进行被动缓存标记。
进一步地，所述步骤S1-S5中，所述获取模块获取用户浏览数据的实时数据情况后，所述大数据分析模块对所述实时数据情况进行分析以获取同类数据，所述中控模块将同类数据的数据量A与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录；
若A＜A0，所述中控模块判定用户对同类数据不具有缓存记录；
若A≥A0，所述中控模块判定用户对同类数据具有缓存记录；
其中，历史缓存数据量A0通过所述中控模块设置。
进一步地，所述中控模块判定用户对同类数据不具有缓存记录时，中控模块调取整体数据库模块中已浏览数据的缓存量R，调取完成时，中控模块将已浏览数据的缓存量R与预设缓存量R0进行比较以确定是否能够进行主动缓存；
若R≥R0，所述中控模块判定能够进行主动缓存；
若R＜R0，所述中控模块判定需要结合缓存量差值△R确定是否能够进行主动缓存；
其中，预设缓存量R0通过所述中控模块设置。
进一步地，所述中控模块判定需要结合缓存量差值确定是否能够进行主动缓存时，中控模块计算缓存量差值△R，计算完成时，中控模块将缓存量差值△R与缓存量标准差值△R0进行比较以确定是否能够进行主动缓存；
若△R＜△R0，所述中控模块判定能够进行主动缓存；
若△R≥△R0，所述中控模块判定不能进行主动缓存；
其中，缓存量标准差值△R0通过所述中控模块设置。
进一步地，所述中控模块判定需要结合缓存量差值确定是否能够进行主动缓存时，中控模块计算缓存量差值△R，其计算公式如下：
△R=α×（R0-R）×（R0/R）；
其中，α表示缓存量计算参数，R表示已浏览数据的缓存量，R0表示预设缓存量。
进一步地，当△R≥△R0，所述中控模块判定不能进行主动缓存时，中控模块启动比较模块以得到相似数据的缓存率L，得到后，中控模块将相似数据的缓存率L与标准缓存率L0进行比较以最终确定是否能够进行主动缓存；
若L＞L0，所述中控模块判定能够进行主动缓存；
若L≤L0，所述中控模块判定不能进行主动缓存；
其中，标准缓存率L0通过所述中控模块设置。
进一步地，当L≤L0，所述中控模块判定不能进行主动缓存时，中控模块启动被动缓存模块将用户浏览数据标记为被动缓存。
进一步地，当△R≥△R0，所述中控模块判定不能进行主动缓存时，中控模块从比较模块得到相似数据，数据特征模块和内容特征模块分别对所述相似数据进行分析得到相似数据的数据特征D和相似数据的内容特征F，得到后，中控模块通过计算得到相似数据的缓存率L：
L=a×D+b×F；
其中，a表示数据特征参数，b表示内容特征参数。
与现有技术相比，本发明的有益效果在于，本发明所述的分析大规模数据的低延时缓存数据处理方法，通过对用户浏览数据的实时数据情况进行分析，将同类数据的数据量与历史缓存数据量进行比较以确定同类数据是否具有缓存记录，若不具有缓存记录，将已浏览数据的缓存量与预设缓存量进行比较以确定是否能够进行主动缓存，若不能进行主动缓存，将相似数据的缓存率与标准缓存率进行比较以最终确定是否能够进行主动缓存，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
进一步地，本发明所述的分析大规模数据的低延时缓存数据处理方法，通过对用户浏览数据的实时数据情况进行分析，将同类数据的数据量A与历史缓存数据量AO进行比较以确定同类数据是否具有缓存记录，若不具有缓存记录，将已浏览数据的缓存量R与预设缓存量R0进行比较以确定是否能够进行主动缓存，若不能进行主动缓存，将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存，从而能够同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
进一步地，本发明通过将同类数据的数据量A与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
进一步地，本发明通过将已浏览数据的缓存量R与预设缓存量R0进行比较以确定是否能够进行主动缓存，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
进一步地，本发明通过将缓存量差值△R与缓存量标准差值△R0进行比较以确定是否能够进行主动缓存，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
进一步地，本发明通过将相似数据的缓存率L与标准缓存率L0进行比较以最终确定是否能够进行主动缓存，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
附图说明
图1为本发明实施例分析大规模数据的低延时缓存数据处理系统的结构框图示意图；
图2为本发明实施例分析大规模数据的低延时缓存数据处理方法的流程示意图；
图中标记说明：1、获取模块；2、大数据分析模块；3、中控模块；4、主动缓存模块；5、整体数据库模块；6、比较模块；7、被动缓存模块；8、数据特征模块；9、内容特征模块。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1和图2所示，图1为本发明实施例分析大规模数据的低延时缓存数据处理系统的结构示意图，图2为本发明实施例分析大规模数据的低延时缓存数据处理方法的流程示意图，本实施例的分析大规模数据的低延时缓存数据处理系统，包括：
获取模块1，用以获取用户浏览数据的实时数据情况；
大数据分析模块2，其与所述获取模块1连接，用以对获取的实时数据情况进行分析；
中控模块3，其与所述大数据分析模块2连接，用以控制缓存数据的过程；
主动缓存模块4，其与所述中控模块3连接，用以主动缓存数据；
整体数据库模块5，其与所述中控模块3连接，用以调取和储存网络整体数据；
比较模块6，其与所述中控模块3连接，用以获取相似数据；
被动缓存模块7，其与所述中控模块3连接，用以进行被动缓存；
数据特征模块8，其与所述比较模块6连接，用以对比较模块6获取的相似数据进行分析以得到相似数据的数据特征；
内容特征模块9，其与所述比较模块6连接，用以对比较模块6获取的相似数据进行分析以得到相似数据的内容特征。
结合图1所示，基于上述分析大规模数据的低延时缓存数据处理系统，本实施例的分析大规模数据的低延时缓存数据处理方法，包括：
步骤S1，通过获取模块1获取用户浏览数据的实时数据情况，利用大数据分析模块2对实时数据情况进行分析以得到同类数据的数据量A，中控模块3将其与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录；
本实施例中，同类数据指的是相同数据或者实质相同数据，实质相同数据指的是仅文字略微不同，但实质内容相同。用户指的是正在进行浏览数据的用户。中控模块3内设置有PLC控制板。
步骤S2，若中控模块3判定用户对同类数据具有缓存记录，启动主动缓存模块4进行实时数据缓存；本实施例中，在同类数据具有缓存记录时启动主动缓存模块4进行数据缓存，能够减少浏览刷新的时间，达到低延时，高效率浏览。本实施例中，主动缓存模块4进行实时数据缓存也叫做数据预热。
步骤S3，若中控模块3判定用户对同类数据不具有缓存记录，中控模块3调取整体数据库模块5中已浏览数据的缓存量R并将其与预设缓存量R0进行比较以确定是否能够进行主动缓存；
本实施例中，已浏览数据的缓存量表示的是用户浏览数据时实时缓存下来的数据量。
步骤S4,若中控模块3判定能够进行主动缓存，启动主动缓存模块4进行实时数据缓存；
若中控模块3判定不能进行主动缓存，启动比较模块6以得到同类数据的相似数据，中控模块3将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存；
步骤S5，若中控模块3判定能够进行主动缓存，启动主动缓存模块4进行实时数据缓存；若中控模块3判定不能进行主动缓存，启动被动缓存模块7进行被动缓存标记。
本实施例中，经过三次确定能否进行主动缓存，低延时。主动缓存相对于被动缓存而言，速度更快，低延时，被动缓存需要人工进行操作点击，时间更长，缓存更慢，更加不全面。
具体而言，本发明所述的分析大规模数据的低延时缓存数据处理方法，通过对用户浏览数据的实时数据情况进行分析，将同类数据的数据量A与历史缓存数据量AO进行比较以确定同类数据是否具有缓存记录，若不具有缓存记录，将已浏览数据的缓存量R与预设缓存量R0进行比较以确定是否能够进行主动缓存，若不能进行主动缓存，将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存，从而能够同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
具体而言，所述步骤S1-S5中，所述获取模块1获取用户浏览数据的实时数据情况后，所述大数据分析模块2对所述实时数据情况进行分析以获取同类数据，所述中控模块3将同类数据的数据量A与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录；
本实施例中，历史缓存数据量表示同类数据的历史缓存情况。
若A＜A0，所述中控模块3判定用户对同类数据不具有缓存记录；
若A≥A0，所述中控模块3判定用户对同类数据具有缓存记录；
其中，历史缓存数据量A0通过所述中控模块3设置。
具体而言，本发明通过将同类数据的数据量A与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
具体而言，所述中控模块3判定用户对同类数据不具有缓存记录时，中控模块3调取整体数据库模块5中已浏览数据的缓存量R，调取完成时，中控模块3将已浏览数据的缓存量R与预设缓存量R0进行比较以确定是否能够进行主动缓存；
若R≥R0，所述中控模块3判定能够进行主动缓存；
若R＜R0，所述中控模块3判定需要结合缓存量差值△R确定是否能够进行主动缓存；
其中，预设缓存量R0通过所述中控模块3设置。
具体而言，本发明通过将已浏览数据的缓存量R与预设缓存量R0进行比较以确定是否能够进行主动缓存，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
具体而言，所述中控模块3判定需要结合缓存量差值确定是否能够进行主动缓存时，中控模块3计算缓存量差值△R，计算完成时，中控模块3将缓存量差值△R与缓存量标准差值△R0进行比较以确定是否能够进行主动缓存；
若△R＜△R0，所述中控模块3判定能够进行主动缓存；
若△R≥△R0，所述中控模块3判定不能进行主动缓存；
其中，缓存量标准差值△R0通过所述中控模块3设置。
具体而言，本发明通过将缓存量差值△R与缓存量标准差值△R0进行比较以确定是否能够进行主动缓存，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
具体而言，所述中控模块3判定需要结合缓存量差值确定是否能够进行主动缓存时，中控模块3计算缓存量差值△R，其计算公式如下：
△R=α×（R0-R）×（R0/R）；
其中，α表示缓存量计算参数，R表示已浏览数据的缓存量，R0表示预设缓存量。
本实施例中，缓存量计算参数α的设置旨在提高计算的准确率。
具体而言，当△R≥△R0，所述中控模块3判定不能进行主动缓存时，中控模块3启动比较模块6以得到相似数据的缓存率L，得到后，中控模块3将相似数据的缓存率L与标准缓存率L0进行比较以最终确定是否能够进行主动缓存；
若L＞L0，所述中控模块3判定能够进行主动缓存；
若L≤L0，所述中控模块3判定不能进行主动缓存；
其中，标准缓存率L0通过所述中控模块3设置。
具体而言，本发明通过将相似数据的缓存率L与标准缓存率L0进行比较以最终确定是否能够进行主动缓存，从而能够通过同类数据的数据量、已浏览数据的缓存量和相似数据的缓存率等综合多次确定用户浏览数据能否进行主动缓存，进而能够达到低延时、高效的数据缓存，提高了预热数据的命中率。
具体而言，当L≤L0，所述中控模块3判定不能进行主动缓存时，中控模块3启动被动缓存模块7将用户浏览数据标记为被动缓存。
本实施例中，标记为被动缓存标志着该数据不会进行主动缓存，需要用户进行主动点击缓存才会进行被动缓存，节省了主动缓存的时间和流量，从用户的整体浏览数据来看，将根据用户习惯进行主动缓存，在低延时的前提下，达到了快速浏览，节省资源的效果。
具体而言，当△R≥△R0，所述中控模块3判定不能进行主动缓存时，中控模块3从比较模块6得到相似数据，数据特征模块8和内容特征模块9分别对所述相似数据进行分析得到相似数据的数据特征D和相似数据的内容特征F，得到后，中控模块3通过计算得到相似数据的缓存率L：
L=a×D+b×F；
其中，a表示数据特征参数，b表示内容特征参数。
本实施例中，数据特征D表示用户浏览数据出现的概率性；内容特征F表示用户浏览数据的关键词、浏览量、浏览时间等。数据特征模块8对相似数据进行分析后得到相似数据的数据特征D，内容特征模块9对相似数据进行分析后得到相似数据的内容特征F。数据特征参数a和内容特征参数b的设置旨在提高计算的准确率。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种分析大规模数据的低延时缓存数据处理方法，其特征在于，包括：
步骤S1，通过获取模块获取用户浏览数据的实时数据情况，利用大数据分析模块对实时数据情况进行分析以得到同类数据的数据量A，中控模块将其与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录；
步骤S2，若中控模块判定用户对同类数据具有缓存记录，启动主动缓存模块进行实时数据缓存；
步骤S3，若中控模块判定用户对同类数据不具有缓存记录，中控模块调取整体数据库模块中已浏览数据的缓存量R并将其与预设缓存量R0进行比较以确定是否能够进行主动缓存；
步骤S4,若中控模块判定能够进行主动缓存，启动主动缓存模块进行实时数据缓存；若中控模块判定不能进行主动缓存，启动比较模块以得到同类数据的相似数据，中控模块将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存，其中，数据特征模块和内容特征模块分别对所述相似数据进行分析得到相似数据的数据特征D和相似数据的内容特征F，得到后，中控模块通过计算得到相似数据的缓存率L：
L=a×D+b×F；
其中，a表示数据特征参数，b表示内容特征参数；
步骤S5，若中控模块判定能够进行主动缓存，启动主动缓存模块进行实时数据缓存；若中控模块判定不能进行主动缓存，启动被动缓存模块进行被动缓存标记。
2.根据权利要求1所述的分析大规模数据的低延时缓存数据处理方法，其特征在于，所述步骤S1-S5中，所述获取模块获取用户浏览数据的实时数据情况后，所述大数据分析模块对所述实时数据情况进行分析以获取同类数据，所述中控模块将同类数据的数据量A与历史缓存数据量A0进行比较以确定同类数据是否具有缓存记录；
若A＜A0，所述中控模块判定用户对同类数据不具有缓存记录；
若A≥A0，所述中控模块判定用户对同类数据具有缓存记录；
其中，历史缓存数据量A0通过所述中控模块设置。
3.根据权利要求2所述的分析大规模数据的低延时缓存数据处理方法，其特征在于，所述中控模块判定用户对同类数据不具有缓存记录时，中控模块调取整体数据库模块中已浏览数据的缓存量R，调取完成时，中控模块将已浏览数据的缓存量R与预设缓存量R0进行比较以确定是否能够进行主动缓存；
若R≥R0，所述中控模块判定能够进行主动缓存；
若R＜R0，所述中控模块判定需要结合缓存量差值△R确定是否能够进行主动缓存；
其中，预设缓存量R0通过所述中控模块设置。
4.根据权利要求3所述的分析大规模数据的低延时缓存数据处理方法，其特征在于，所述中控模块判定需要结合缓存量差值确定是否能够进行主动缓存时，中控模块计算缓存量差值△R，计算完成时，中控模块将缓存量差值△R与缓存量标准差值△R0进行比较以确定是否能够进行主动缓存；
若△R＜△R0，所述中控模块判定能够进行主动缓存；
若△R≥△R0，所述中控模块判定不能进行主动缓存；
其中，缓存量标准差值△R0通过所述中控模块设置。
5.根据权利要求4所述的分析大规模数据的低延时缓存数据处理方法，其特征在于，所述中控模块判定需要结合缓存量差值确定是否能够进行主动缓存时，中控模块计算缓存量差值△R，其计算公式如下：
△R=α×（R0-R）×（R0/R）；
其中，α表示缓存量计算参数，R表示已浏览数据的缓存量，R0表示预设缓存量。
6.根据权利要求4所述的分析大规模数据的低延时缓存数据处理方法，其特征在于，当△R≥△R0，所述中控模块判定不能进行主动缓存时，中控模块启动比较模块以得到相似数据的缓存率L，得到后，中控模块将相似数据的缓存率L与标准缓存率L0进行比较以最终确定是否能够进行主动缓存；
若L＞L0，所述中控模块判定能够进行主动缓存；
若L≤L0，所述中控模块判定不能进行主动缓存；
其中，标准缓存率L0通过所述中控模块设置。
7.根据权利要求6所述的分析大规模数据的低延时缓存数据处理方法，其特征在于，当L≤L0，所述中控模块判定不能进行主动缓存时，中控模块启动被动缓存模块将用户浏览数据标记为被动缓存。
8.根据权利要求5所述的分析大规模数据的低延时缓存数据处理方法，其特征在于，当△R≥△R0，所述中控模块判定不能进行主动缓存时，中控模块从比较模块得到相似数据，数据特征模块和内容特征模块分别对所述相似数据进行分析得到相似数据的数据特征D和相似数据的内容特征F，得到后，中控模块通过计算得到相似数据的缓存率L：
L=a×D+b×F；
其中，a表示数据特征参数，b表示内容特征参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210458754.6A CN114564667B (zh) | 2022-04-28 | 2022-04-28 | 分析大规模数据的低延时缓存数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210458754.6A CN114564667B (zh) | 2022-04-28 | 2022-04-28 | 分析大规模数据的低延时缓存数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114564667A CN114564667A (zh) | 2022-05-31 |
| CN114564667B true CN114564667B (zh) | 2022-07-19 |
Family
ID=81721286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210458754.6A Active CN114564667B (zh) | 2022-04-28 | 2022-04-28 | 分析大规模数据的低延时缓存数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114564667B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106648637A (zh) * | 2016-12-08 | 2017-05-10 | 武汉噢易云计算股份有限公司 | 一种虚拟桌面的创建方法及系统 |
| CN113271631A (zh) * | 2020-10-19 | 2021-08-17 | 南京爱而赢科技有限公司 | 基于用户请求可能性与时空特性的新型内容缓存部署方案 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7343555B2 (en) * | 2000-12-07 | 2008-03-11 | Cincro Communications Corporation | System and method for delivery of documents over a computer network |
| US9348936B2 (en) * | 2012-07-25 | 2016-05-24 | Oracle International Corporation | Heuristic caching to personalize applications |
| CN104834675B (zh) * | 2015-04-02 | 2018-02-23 | 浪潮集团有限公司 | 一种基于用户行为分析的查询性能优化方法 |
| US11474943B2 (en) * | 2018-12-21 | 2022-10-18 | Home Box Office, Inc. | Preloaded content selection graph for rapid retrieval |
| US11256619B2 (en) * | 2019-05-05 | 2022-02-22 | Microsoft Technology Licensing, Llc | Memory management for serverless databases |
| EP3920025A1 (en) * | 2019-05-06 | 2021-12-08 | Google LLC | Proactive caching of transient assistant action suggestions at a feature phone |
| WO2020252486A1 (en) * | 2019-06-14 | 2020-12-17 | Zycada Networks, Inc., | Proactive conditioned prefetching and origin flooding mitigation for content delivery |
| CN110765383A (zh) * | 2019-10-21 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 资源缓存方法以及装置 |
| CN110889064B (zh) * | 2019-12-05 | 2023-01-31 | 北京百度网讯科技有限公司 | 一种页面显示方法、装置、设备及存储介质 |
-
2022
- 2022-04-28 CN CN202210458754.6A patent/CN114564667B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106648637A (zh) * | 2016-12-08 | 2017-05-10 | 武汉噢易云计算股份有限公司 | 一种虚拟桌面的创建方法及系统 |
| CN113271631A (zh) * | 2020-10-19 | 2021-08-17 | 南京爱而赢科技有限公司 | 基于用户请求可能性与时空特性的新型内容缓存部署方案 |
Non-Patent Citations (2)
| Title |
|---|
| "Data-Supported Caching Policy Optimization for Wireless D2D Caching Networks";Han Shengqian 等;《IEEE Transactions on Communications》;20211101;第69卷(第11期);第7618-7630页 * |
| "基于内容热度预测的移动网络主动缓存研究";安冬 等;《网络新媒体技术》;20160915;第5卷(第5期);第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114564667A (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10503710B2 (en) | Webpage pre-reading method, apparatus and smart terminal | |
| CN105677327B (zh) | 一种页面信息预加载的方法及系统 | |
| JP2021511588A (ja) | データクエリ方法、装置およびデバイス | |
| CN1182465C (zh) | 动态迁移数据的方法及其装置 | |
| US20030120634A1 (en) | Data processing system, data processing method, information processing device, and computer program | |
| CN103312733B (zh) | 信息处理方法和装置 | |
| EP2199915B1 (en) | Monitoring memory consumption | |
| CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
| US20220253214A1 (en) | Data processing method, apparatus, device, and readable storage medium | |
| WO2015027882A1 (en) | Method, apparatus and terminal for image processing | |
| CN108415999A (zh) | 一种网页热点的实时获取方法和系统 | |
| CN111030850B (zh) | 一种scada系统数据采集周期控制方法及装置 | |
| CN114564667B (zh) | 分析大规模数据的低延时缓存数据处理方法 | |
| RU2530671C1 (ru) | Способ проверки веб-страниц на содержание в них целевого аудио и/или видео (av) контента реального времени | |
| CN116680295A (zh) | 多数据库处理数据的方法、系统及装置 | |
| CN112925793B (zh) | 一种多种结构数据分布式混合存储方法和系统 | |
| CN111813542B (zh) | 一种并行处理大规模图分析任务的负载均衡方法及其装置 | |
| CN111970327A (zh) | 一种基于大数据处理的新闻传播方法及系统 | |
| CN113377544A (zh) | 一种基于负荷数据动态更新率的web集群负载均衡方法 | |
| CN111143411A (zh) | 动态流式预计算方法及装置、存储介质 | |
| US20140108420A1 (en) | Index creation method and system | |
| CN113885980B (zh) | 基于局域网的桌面共享方法及系统 | |
| CN111563106A (zh) | 一种数据缓存方法、装置、系统及可读存储介质 | |
| CN113127012B (zh) | 一种基于软件引擎的软件资源构建方法 | |
| CN105100235A (zh) | 一种扫地机器人的信息分享方法及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |