CN113672652A - 一种数据访问方法、装置、设备及存储介质 - Google Patents

一种数据访问方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113672652A
CN113672652A CN202111038941.0A CN202111038941A CN113672652A CN 113672652 A CN113672652 A CN 113672652A CN 202111038941 A CN202111038941 A CN 202111038941A CN 113672652 A CN113672652 A CN 113672652A
Authority
CN
China
Prior art keywords
data
level
hotspot
hot spot
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111038941.0A
Other languages
English (en)
Inventor
伍文华
陆昭鸣
曾俊康
蔡佳玲
李沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202111038941.0A priority Critical patent/CN113672652A/zh
Publication of CN113672652A publication Critical patent/CN113672652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据访问方法,包括:接收针对目标数据的数据访问数据请求;确定所需访问的目标数据的热点等级,并且,当该目标数据的热点等级为第一等级时,从本地存储区域中访问该目标数据,而当该目标数据的热点等级为第二等级时,从Redis缓存中访问该目标数据。由于在进行数据访问时,部分数据无需通过访问Redis缓存得到,因此,可以有效缓解Redis的压力,并减少Redis的消耗。同时,由于在本地存储区域中即可获得目标数据,从而可以尽可能避免部分业务访问热点数据的性能较低。此外,本申请还公开了一种数据访问装置、设备及存储介质。

Description

一种数据访问方法、装置、设备及存储介质
技术领域
本申请涉及存储技术领域,特别是涉及一种数据访问方法、装置、设备及存储介质。
背景技术
目前,远程字典服务(Remote Dictionary Server,Redis)是主流的缓存技术之一。其中,Redis,是一个开源的由ANSI C语言编写,性能优秀、支持网络、可持久化的Key-Value内存的NoSQL数据库,在单位时间内所能处理的读写请求数量能够达到较高水平,如每秒可以处理10万次的请求等。
实际应用场景中,可能存在大量的请求访问相同的数据(如可能是某个促销商品的信息、热点新闻、热点评论等)。对于缓存至Redis中的高频访问的热点数据,由于Redis的每秒查询率(Queries-per-second,QPS)存在上限的,因此,每次访问数据都去redis中查询,不仅会消耗较大的Redis性能,而且Redis通常是单线程的,从而会影响其他业务对于Redis中数据的使用,如影响部分业务访问Redis中数据的时延等。
因此,如何提供一种数据访问方案,以缓解Redis的压力、减少其他业务访问Redis中数据的影响成为急需解决的重要问题。
发明内容
本申请实施例提供了一种数据访问方法、装置、设备及存储介质,以缓解Redis的压力、减少其他业务访问Redis中数据的影响。
第一方面,本申请实施例提供了一种数据访问方法,所述方法包括:
接收针对目标数据的数据访问请求;
确定访问所述目标数据的热点等级;
当所述目标数据的热点等级为第一等级时,从本地存储区域访问所述目标数据;
当所述目标数据的热点等级为第二等级时,从Redis缓存中访问所述目标数据,所述Redis缓存中数据的热点程度低于所述本地存储区域中数据的热点程度。
在一种可能的实施方式中,所述方法还包括:
获取分布式应用程序协调服务发送的候选数据的热点等级;
根据所述候选数据的热点等级,将所述候选数据存储至所述本地存储区域或者所述Redis缓存中。
在一种可能的实施方式中,所述候选数据的热点等级,是根据多个计算节点分别汇报的所述候选数据的热点信息进行计算得到。
在一种可能的实施方式中,所述多个计算节点预先均注册至所述分布式应用程序协调服务。
在一种可能的实施方式中,所述方法还包括:
对所述分布式应用程序协调服务中所述候选数据以及所述候选数据的热点等级进行监控;
当所述候选数据失效或所述候选数据的热点等级由所述第一等级降低为所述第二等级时,从所述本地存储区域中删除所述候选数据。
在一种可能的实施方式中,所述方法还包括:
呈现交互界面,所述交互界面包括热点等级为所述第一等级和/或所述第二等级的候选数据的数量。
在一种可能的实施方式中,所述方法还包括:
获取用户在所述交互界面上配置的热点等级评判规则,所述热点等级评判规则用于确定所述候选数据的热点等级。
第二方面,本申请实施例提供了一种数据访问装置,所述数据访问装置包括:
接收模块,用于接收针对目标数据的数据访问请求;
确定模块,用于确定访问所述目标数据的热点等级;
第一访问模块,用于当所述目标数据的热点等级为第一等级时,从本地存储区域访问所述目标数据;
第二访问模块,用于当所述目标数据的热点等级为第二等级时,从Redis缓存中访问所述目标数据,所述Redis缓存中数据的热点程度低于所述本地存储区域中数据的热点程度。
在一种可能的实施方式中,其特征在于,所述装置还包括:
获取模块,用于获取分布式应用程序协调服务发送的候选数据的热点等级;
存储模块,用于根据所述候选数据的热点等级,将所述候选数据存储至所述本地存储区域或者所述Redis缓存中。
在一种可能的实施方式中,所述候选数据的热点等级,是根据多个计算节点分别汇报的所述候选数据的热点信息进行计算得到。
在一种可能的实施方式中,所述多个计算节点预先均注册至所述分布式应用程序协调服务。
在一种可能的实施方式中,所述装置还包括:
监控模块,用于对所述分布式应用程序协调服务中所述候选数据以及所述候选数据的热点等级进行监控;
删除模块,用于当所述候选数据失效或所述候选数据的热点等级由所述第一等级降低为所述第二等级时,从所述本地存储区域中删除所述候选数据。
在一种可能的实施方式中,所述装置还包括:
呈现模块,用于呈现交互界面,所述交互界面包括热点等级为所述第一等级和/或所述第二等级的候选数据的数量。
在一种可能的实施方式中,所述呈现模块,还用于获取用户在所述交互界面上配置的热点等级评判规则,所述热点等级评判规则用于确定所述候选数据的热点等级。
第三方面,本申请实施例还提供了一种计算设备,包括:处理器和存储器;
所述存储器,用于存储指令或计算机程序;
所述处理器,用于执行所述指令或计算机程序,执行上述第一方面任意一项所述的数据访问方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,包括指令或计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面任意一项所述的数据访问方法。
在本申请实施例的上述实现方式中,接收针对目标数据的数据访问数据请求,该目标数据也即所需访问的数据;然后,确定所需访问的目标数据的热点等级,并且,当该目标数据的热点等级为第一等级时,直接从本地存储区域中访问该目标数据,而当该目标数据的热点等级为第二等级时,从Redis缓存中访问该目标数据。
由于在进行数据访问时,并非所有的数据均通过访问Redis缓存获得,对于一些热点程度较高的数据,可以直接从本地存储区域中访问得到,而对于热点程度相对较低的数据,才从Redis缓存中访问获得,如此,因为部分数据无需通过访问Redis缓存得到,因此,可以有效缓解Redis的压力,并减少Redis的消耗。同时,由于在本地存储区域中即可获得目标数据,从而可以尽可能避免部分业务访问热点数据的性能较低。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种数据访问系统的结构示意图;
图2为本申请实施例中一种数据访问方法的流程示意图;
图3为本申请实施例提供的一示例性交互界面示意图;
图4为本申请实施例中一种数据访问装置的结构示意图;
图5为本申请实施例中一种计算设备的硬件结构示意图。
具体实施方式
实际应用场景中,Redis缓存中存储的部分数据,可能为高频访问的热点数据,如热点新闻、促销商品信息等。此时,Redis有限的QPS能力可能难以支持所有业务对于该热点数据的同时访问,从而导致部分业务访问该热点数据的性能较低,如部分业务因为排队等待其它业务访问热点数据而导致该业务访问该热点数据的时延较大等。而且,针对这些高频访问的热点数据,Redis的性能消耗通常较大。
基于此,本申请提供了一种数据访问方法,旨在缓解Redis的压力、减少其他业务访问Redis中数据的影响。具体实现时,接收针对目标数据的数据访问数据请求,该目标数据也即所需访问的数据;然后,确定所需访问的目标数据的热点等级,并且,当该目标数据的热点等级为第一等级时,直接从本地存储区域中访问该目标数据,而当该目标数据的热点等级为第二等级时,从Redis缓存中访问该目标数据。由于在进行数据访问时,并非所有的数据均通过访问Redis缓存获得,对于一些热点程度较高的数据,可以直接从本地存储区域中访问得到,而对于热点程度相对较低的数据,才从Redis缓存中访问获得,如此,因为部分数据无需通过访问Redis缓存得到,因此,可以有效缓解Redis的压力,并减少Redis的消耗。同时,由于在本地存储区域中即可获得目标数据,从而可以尽可能避免部分业务访问热点数据的性能较低。
作为一种示例,上述数据访问方法具体可以应用于如图1所示的数据访问系统100中。如图1所示,数据访问系统100可以包括业务服务端101、计算节点集群102、分布式应用程序协调服务103以及Redis 104,该数据访问系统100可以预先将不同热点等级的数据存储至不同的位置。其中,业务服务端101上可以运行有一个或者多个应用程序,该一个或者多个应用程序可以请求访问数据,如请求对Redis104缓存中的数据进行访问等,并基于访问到的数据提供相应的业务服务计算节点集群102可以根据业务服务端101的数据访问信息,计算出业务服务端101访问各个数据的频次,并根据访问频次进一步确定出该数据所属的热点等级,将其上报给分布式应用程序协调服务103。其中,计算节点集群102中可以包括一个或者多个计算节点,如1中以计算节点集群102包括多个计算节点为例进行示例性说明。业务服务端101根据分布式应用程序协调服务103所确定的各个数据的热点等级,确定将访问热度最高的数据存储至本地存储区域,将访问热度较高的数据存储至Redis104中的缓存。这样,当业务服务端101需要进行数据访问时,业务服务端101可以确定所要访问的数据所属的热点等级,并根据该热点等级确定直接从本地存储区域中读取数据还是从Redis104中读取数据,以此实现缓解Redis的压力,并减少Redis的消耗。
可以理解的是,上述场景仅是本申请实施例提供的一个场景示例,本申请实施例并不限于此场景。比如,在其它可能的数据访问系统100中,还可以包括其它更多功能的设备,如包括管理端等,用于提供数据查看以及规则维护等功能;或者,业务服务端101中可以配置有相应的控制模块,并且该控制模块可以控制业务服务端101从本地存储区域或者Redis104的缓存中访问得到数据。总之,本申请可以适用于任何可适用的数据访问系统中,而不限于上述示例。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面将结合附图对本申请实施例中的各种非限定性实施方式进行示例性说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
参阅图2,图2示出了本申请实施例中一种数据访问方法的流程示意图,该方法可以应用于如图1所示的数据访问系统100,或者可以应用于其它可适用的数据访问系统等。为便于说明,下面以数据访问方法应用于图1所示的数据访问系统100为例,图2所示的数据预处理方法具体可以包括:
S201:业务服务端101获取分布式应用程序协调服务103发送的候选数据的热点等级。
本实施例中,数据访问系统100可以预先将业务服务端101上的应用程序所可能访问的数据按照访问的热度存储至不同的存储区域。为此,业务服务端101可以先获取其可能访问的候选数据的热点等级,该候选数据的热点等级用于评估该候选数据被访问的热度。
其中,候选数据,例如可以是业务数据对应的主键(key),或者可以是应用程序所访问的应用程序接口(Application Programming Interface,API)。候选数据的热点等级,具体可以是由业务服务端101进行提供。示例性地,计算节点集群102中的一个或者多个计算节点(图1中以包括m个计算节点为例进行示例性说明),可以获取业务服务端101上的多个应用程序在过去一段时间内的数据访问记录(图1中以业务服务端101包括n个应用程序为例进行示例性说明),实际应用时,该过去一段时间可以体现为获取数据访问记录的滑动窗口。其中,不同计算节点可以负责统计业务服务端101上不同应用程序的数据访问记录(为便于描述,以下将应用程序所访问过的数据称之为候选数据)。然后,各个计算节点可以根据数据访问记录统计出其对应的应用程序针对各个候选数据的访问频次,并将候选数据的访问频次发送至分布式应用程序协调服务103,以便分布式应用程序协调服务103根据各个计算节点所汇报的数据访问频次,确定各个候选数据对应的热点等级。其中,各个计算节点可以预先注册至该分布式应用程序协调服务103,例如可以是向分布式应用程序协调服务103注册计算节点的IP地址以及端口信息等。这样,计算节点集群102中的各个计算节点之间可以无需相互关联,以此可以实现计算节点集群102的简单高效。
示例性地,分布式应用程序协调服务103可以根据预先设定的评判规则确定各个候选数据对应的热点等级。在一种实现方式中,当候选数据的访问频次大于第一阈值时,分布式应用程序协调服务103可以确定该候选数据对应的热点等级为第一等级。当候选数据的访问频次大于第二阈值时,分布式应用程序协调服务103可以确定该候选数据对应的热点等级为第二等级。其中,第一阈值大于第二阈值,例如第一阈值为500次每秒,第二阈值为100次每秒等。相应的,第一等级所指示的访问数据的热点程度高于第二等级所指示的访问数据的热点程度。实际应用时,部分候选数据的访问频次可能小于第二阈值,此时,对于该部分候选数据,其热点等级可以为第三等级,数据访问系统100可以直接将其存储至访问性能较低的存储位置,如存储至磁盘等外存中。
上述实施方式中,各个计算节点单独将各自统计的各个候选数据的访问频次发送至分布式应用程序协调服务103,而在另一种可能的实施方式中,各个计算节点可以将各自统计的一个或者多个候选数据的访问频次发送至计算节点集群102中的目标计算节点,该目标计算节点例如可以是通过哈希(hash)算法或者随机算法等方式进行选定。这样,目标计算节点根据各个计算节点单独提供的多个候选数据的访问频次,计算得到每个候选数据的访问频次,并由目标计算节点统一上报至分布式应用程序协调服务103。如此,分布式应用程序协调服务103仅需与一个计算节点进行交互,即可获得业务服务端101上的应用程序在过去时间段内访问候选数据的访问频次。可选地,目标计算节点还可以在获取到候选数据的访问频次后,根据该访问频次以及从分布式应用程序协调服务103拉取的评判规则,进一步确定出各个候选数据对应的热点等级,然后再将各个候选数据对应的热点等级上报给分布式应用程序协调服务103。其中,目标计算节点评判热点等级的具体实现方式可参见前述评判热点等级的相关之处描述,在此不做赘述。实际应用时,当目标计算节点故障时,数据访问系统100可以通过哈希(hash)算法或者随机算法等方式从剩余未故障的计算节点中选取一个计算节点,重新作为目标计算节点。
示例性地,用于确定候选数据对应的热点等级评判规则,可以是由用户进行配置。作为一种实现示例,数据访问系统100(具体可以是图1中的管理端等)可以向用户呈现如图3所示的交互界面,该交互界面中可以包括提示信息,用于提示用户在该交互界面上对热点等级评判规则进行配置。如此,数据访问系统100可以获取用户在该交互界面上配置的热点等级评判规则,以便利用该热点等级评判规则确定候选数据的热点等级。当然,在其它实现示例中,数据访问系统100也可以是通过其它方式获取该热点等级评判规则,本实施例对此并不进行限定。
进一步地,数据访问系统100还可以在该交互界面中呈现候选数据的信息。例如,数据访问系统100还可以该交互界面中呈现候选数据的数量,具体可以呈现热点等级为第一等级的候选数据的数量和/或热点等级为第二等级的候选数据的数量,如图3所示;或者,数据访问系统100还可以直接呈现热点等级为第一等级以及第二等级的候选数量的总数等。本实施例对此并不进行限定。
S202:业务服务端101根据候选数据的热点等级,将候选数据存储至本地存储区域或者Redis缓存中。其中,本地存储区域用于存储热点等级为第一等级的候选数据,Redis缓存中用于存储热点等级为第二等级的候选数据。
在一种可能的实现方式中,业务服务端101可以对分布式应用程序协调服务103中记录候选数据的热点等级进行监控,获取当前时刻所确定的候选数据的热点等级。其中,当候选数据的热点等级为第一等级时,表征业务服务端101上的应用程序后续可能存在较大的可能性会经常对该候选数据进行访问,此时,业务服务端101可以将热点等级为第一等级的候选数据存储至本地存储区域,其中,本地存储区域例如可以是本地的Java虚拟设备(Java Virtual Machine,JVM)中的内存等。而当候选数据的热点等级为第二等级时,表征业务服务端101上的应用程序也会经常对该候选数据进行访问,但是相对于本地存储区域中存储的候选数据而言,访问的可能性相对较低。
可选地,业务服务端101在将热点等级为第一等级的候选数据存储至本地存储区域的同时,还可以将该候选数据也存储至Redis缓存中。这样,当业务服务端101后续从本地存储区域中未查询出该候选数据(如发生查询错误或者本地存储故障等),业务服务端101可以从Redis缓存中查询得到该候选数据。
实际应用场景中,当分布式应用程序协调服务103中记录的候选数据和/或候选数据的热点等级发生变化后,业务服务端101还可以通过监控确定更新后的候选数据以及候选数据对应的热点等级,并根据更新后的候选数据以及候选数据对应的热点等级,确定对本地存储区域以及Redis缓存中的候选数据进行更新。
举例来说,当根据更新后的候选数据,确定存在部分已经存储至本地存储区域(或者Redis缓存)中的候选数据发生失效时,则业务服务端101可以删除本地存储区域(或者Redis缓存)中的该部分候选数据;类似地,对于更新后的候选数据中尚未存储于本地存储区域(或者Redis缓存)的部分候选数据,则业务服务端101可以根据该部分候选数据对应的热点等级,将该部分候选数据存储至本地存储区域(或Redis缓存)。
又比如,当业务服务端101根据更新后的候选数据对应的热点等级,确定存在部分候选数据的热点等级由第一等级降低为第二等级时,则可以从本地存储区域中删除该候选数据,此时,若Redis缓存中未存储该候选数据,则业务服务端101在从本地存储区域中删除该候选数据的同时,在Redis缓存中存储该候选数据。进一步地,当该候选数据的热点等级由第一等级降低为第三等级(此时表征候选数据为冷数据),则业务服务端101可以同时在本地存储区域以及Redis缓存中删除该候选数据。
值得注意的是,本实施例中是以业务服务端101按照候选数据的热点等级将候选数据存储至不同的位置为例进行示例性说明,实际应用时,业务服务端101所执行的上述操作也可以是由在数据访问系统100中单独配置的设备进行实现(下述访问目标数据的过程类似);或者,可以通过在业务服务端101中以jar包的形式嵌入相应的客户端(client),并由该客户端执行业务服务端101所执行的操作等(下述过程类似)。
S203:业务服务端101接收针对目标数据的数据访问请求。
作为一种实现示例,用户可以通过用户终端向数据访问系统100发送数据访问请求,以请求数据访问系统100反馈相应的目标数据。例如,当用户在用户终端上浏览热点新闻时,用户终端可以基于用户当前针对所要浏览的热点新闻的触发操作,生成数据访问请求,该数据访问请求中携带有热点新闻的标识,如热点新闻名称等;然后,用户终端将该数据访问请求发送给数据访问系统100,以请求数据访问系统100获取该热点新闻的具体新闻内容。业务服务端101接收该访问请求,并可以从该访问请求中解析出所要访问的目标数据的标识,如上述热点新闻的名称等。
S204:业务服务端101确定所要访问的目标数据的热点等级。
作为一种实现示例,业务服务端101可以在监控分布式应用程序协调服务103中记录的候选数据的热点等级时,将其记录在业务服务端101的本地,从而当业务服务端在请求访问目标数据时,可以先从本地查询该目标数据对应的热点等级。具体的,若从本地记录的候选数据的热点等级中,查询出与目标数据匹配的候选数据,则将与之匹配的候选数据的热点等级确定为该目标数据的热点等级。而若未查询出与该目标数据相匹配的候选数据,则可以确定该目标数据的热点等级为第三等级,也即确定该目标数据为冷数据。
S205:当目标数据的热点等级为第一等级时,业务服务端101从本地存储区域访问该目标数据。
S206:当目标数据的热点等级为第二等级时,业务服务端101从Redis缓存中访问该目标数据。
具体实现时,与目标数据相匹配的候选数据的热点等级,可能是第一等级,也可能是第二等级,因此,当目标数据的热点等级为第一等级时,该目标数据被预先存储至本地存储区域中,此时,业务服务端101可以直接从本地存储区域中查询该目标数据,而可以不用从Redis进行数据访问。而当目标数据的热点等级为第二等级时,该目标数据可以被预先存储至Redis缓存中,此时,业务服务端101可以从Redis缓存中查询该目标数据,以便快速获取该目标数据。
可选地,当目标数据的热点等级为第三等级时,业务服务端可以从数据访问系统100的硬盘等存储设备中访问该目标数据,以使得业务服务端101最终能够访问到其所需的目标数据。
本实施例中,由于在进行数据访问时,并非所有的数据均通过访问Redis缓存获得,对于一些热点程度较高的数据,可以直接从本地存储区域中访问得到,而对于热点程度相对较低的数据,才从Redis缓存中访问获得,如此,因为部分数据无需通过访问Redis缓存得到,因此,可以有效缓解Redis的压力,并减少Redis的消耗。同时,由于在本地存储区域中即可获得目标数据,从而可以尽可能避免部分业务访问热点数据的性能较低。
此外,本申请实施例还提供了一种数据预处理装置。参阅图4,图4示出了本申请实施例中一种数据访问装置结构示意图,该装置400包括:
接收模块401,用于接收针对目标数据的数据访问请求;
确定模块402,用于确定访问所述目标数据的热点等级;
第一访问模块403,用于当所述目标数据的热点等级为第一等级时,从本地存储区域访问所述目标数据;
第二访问模块404,用于当所述目标数据的热点等级为第二等级时,从Redis缓存中访问所述目标数据,所述Redis缓存中数据的热点程度低于所述本地存储区域中数据的热点程度。
在一种可能的实施方式中,其特征在于,所述装置400还包括:
获取模块,用于获取分布式应用程序协调服务发送的候选数据的热点等级;
存储模块,用于根据所述候选数据的热点等级,将所述候选数据存储至所述本地存储区域或者所述Redis缓存中。
在一种可能的实施方式中,所述候选数据的热点等级,是根据多个计算节点分别汇报的所述候选数据的热点信息进行计算得到。
在一种可能的实施方式中,所述多个计算节点预先均注册至所述分布式应用程序协调服务。
在一种可能的实施方式中,所述装置400还包括:
监控模块,用于对所述分布式应用程序协调服务中所述候选数据以及所述候选数据的热点等级进行监控;
删除模块,用于当所述候选数据失效或所述候选数据的热点等级由所述第一等级降低为所述第二等级时,从所述本地存储区域中删除所述候选数据。
在一种可能的实施方式中,所述装置400还包括:
呈现模块,用于呈现交互界面,所述交互界面包括热点等级为所述第一等级和/或所述第二等级的候选数据的数量。
在一种可能的实施方式中,所述呈现模块,还用于获取用户在所述交互界面上配置的热点等级评判规则,所述热点等级评判规则用于确定所述候选数据的热点等级。
需要说明的是,上述装置各模块、单元之间的信息交互、执行过程等内容,由于与本申请实施例中方法实施例基于同一构思,其带来的技术效果与本申请实施例中方法实施例相同,具体内容可参见本申请实施例前述所示的方法实施例中的叙述,此处不再赘述。
此外,本申请实施例还提供了一种计算设备。参阅图5,图5示出了本申请实施例中一种计算设备的硬件结构示意图,该设备500可以包括处理器501以及存储器502。
其中,所述存储器502,用于存储指令或计算机程序;
所述处理器501,用于根据所述指令或所述计算机程序执行上述方法实施例中所述的数据预处理方法。
具体的,处理器501可以根据指令或计算机程序执行如下步骤:
接收针对目标数据的数据访问请求;
确定访问所述目标数据的热点等级;
当所述目标数据的热点等级为第一等级时,从本地存储区域访问所述目标数据;
当所述目标数据的热点等级为第二等级时,从Redis缓存中访问所述目标数据,所述Redis缓存中数据的热点程度低于所述本地存储区域中数据的热点程度。
在一种可能的实施方式中,处理器501还可以根据指令或计算机程序执行如下步骤:
获取分布式应用程序协调服务发送的候选数据的热点等级;
根据所述候选数据的热点等级,将所述候选数据存储至所述本地存储区域或者所述Redis缓存中。
在一种可能的实施方式中,所述候选数据的热点等级,是根据多个计算节点分别汇报的所述候选数据的热点信息进行计算得到。
在一种可能的实施方式中,所述多个计算节点预先均注册至所述分布式应用程序协调服务。
在一种可能的实施方式中,处理器501还可以根据指令或计算机程序执行如下步骤:
对所述分布式应用程序协调服务中所述候选数据以及所述候选数据的热点等级进行监控;
当所述候选数据失效或所述候选数据的热点等级由所述第一等级降低为所述第二等级时,从所述本地存储区域中删除所述候选数据。
在一种可能的实施方式中,处理器501还可以根据指令或计算机程序执行如下步骤:
呈现交互界面,所述交互界面包括热点等级为所述第一等级和/或所述第二等级的候选数据的数量。
在一种可能的实施方式中,处理器501具体可以根据指令或计算机程序执行如下步骤:
获取用户在所述交互界面上配置的热点等级评判规则,所述热点等级评判规则用于确定所述候选数据的热点等级。
需要说明的是,上述设备中处理器501的具体执行内容,由于与本申请实施例中方法实施例基于同一构思,其带来的技术效果与本申请实施例中方法实施例相同,具体内容可参见本申请实施例前述所示的方法实施例中的叙述,此处不再赘述。
另外,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方法实施例中所述的数据预处理方法。并且,由于其与本申请实施例中方法实施例基于同一构思,其带来的技术效果与本申请实施例中方法实施例相同,具体内容可参见本申请实施例前述所示的方法实施例中的叙述,此处不再赘述。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,ROM)/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请示例性的实施方式,并非用于限定本申请的保护范围。

Claims (10)

1.一种数据访问方法,其特征在于,所述方法包括:
接收针对目标数据的数据访问请求;
确定访问所述目标数据的热点等级;
当所述目标数据的热点等级为第一等级时,从本地存储区域访问所述目标数据;
当所述目标数据的热点等级为第二等级时,从Redis缓存中访问所述目标数据,所述Redis缓存中数据的热点程度低于所述本地存储区域中数据的热点程度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取分布式应用程序协调服务发送的候选数据的热点等级;
根据所述候选数据的热点等级,将所述候选数据存储至所述本地存储区域或者所述Redis缓存中。
3.根据权利要求2所述的方法,其特征在于,所述候选数据的热点等级,是根据多个计算节点分别汇报的所述候选数据的热点信息进行计算得到。
4.根据权利要求3所述的方法,其特征在于,所述多个计算节点预先均注册至所述分布式应用程序协调服务。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
对所述分布式应用程序协调服务中所述候选数据以及所述候选数据的热点等级进行监控;
当所述候选数据失效或所述候选数据的热点等级由所述第一等级降低为所述第二等级时,从所述本地存储区域中删除所述候选数据。
6.根据权利要求2至5任一项所述的方法,其特征在于,所述方法还包括:
呈现交互界面,所述交互界面包括热点等级为所述第一等级和/或所述第二等级的候选数据的数量。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取用户在所述交互界面上配置的热点等级评判规则,所述热点等级评判规则用于确定所述候选数据的热点等级。
8.一种数据访问装置,其特征在于,所述数据访问装置包括:
接收模块,用于接收针对目标数据的数据访问请求;
确定模块,用于确定访问所述目标数据的热点等级;
第一访问模块,用于当所述目标数据的热点等级为第一等级时,从本地存储区域访问所述目标数据;
第二访问模块,用于当所述目标数据的热点等级为第二等级时,从Redis缓存中访问所述目标数据,所述Redis缓存中数据的热点程度低于所述本地存储区域中数据的热点程度。
9.一种计算设备,其特征在于,包括:处理器和存储器;
所述存储器,用于存储指令或计算机程序;
所述处理器,用于执行所述指令或计算机程序,执行权利要求1-7任意一项所述的数据访问方法。
10.一种计算机可读存储介质,其特征在于,包括指令或计算机程序,当其在计算机上运行时,使得计算机执行以上权利要求1-7任意一项所述的数据访问方法。
CN202111038941.0A 2021-09-06 2021-09-06 一种数据访问方法、装置、设备及存储介质 Pending CN113672652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111038941.0A CN113672652A (zh) 2021-09-06 2021-09-06 一种数据访问方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111038941.0A CN113672652A (zh) 2021-09-06 2021-09-06 一种数据访问方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113672652A true CN113672652A (zh) 2021-11-19

Family

ID=78548697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111038941.0A Pending CN113672652A (zh) 2021-09-06 2021-09-06 一种数据访问方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113672652A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125380A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种数据管理的方法及相应装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125380A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种数据管理的方法及相应装置

Similar Documents

Publication Publication Date Title
CN109947668B (zh) 存储数据的方法和装置
US8554790B2 (en) Content based load balancer
US9229646B2 (en) Methods and apparatus for increasing data storage capacity
US9146956B2 (en) Statistical applications in OLTP environment
CN111464615B (zh) 请求处理方法、装置、服务器及存储介质
CN109729108B (zh) 一种防止缓存击穿的方法、相关服务器及系统
US20080126831A1 (en) System and Method for Caching Client Requests to an Application Server Based on the Application Server's Reliability
CN103607312A (zh) 用于服务器系统的数据请求处理方法及系统
CN109120709A (zh) 一种缓存方法、装置、设备及介质
CN109460345B (zh) 实时数据的计算方法及系统
US7895247B2 (en) Tracking space usage in a database
US11775488B2 (en) Data access and recommendation system
CN113672652A (zh) 一种数据访问方法、装置、设备及存储介质
US8732323B2 (en) Recording medium storing transaction model generation support program, transaction model generation support computer, and transaction model generation support method
CN108337100B (zh) 一种云平台监测的方法和装置
CN111294231B (zh) 资源管理方法及系统
CN112597354A (zh) 一种提供配置参数的方法、装置、系统及存储介质
CN115858419B (zh) 元数据管理方法、装置、设备、服务器及可读存储介质
CN116842299B (zh) 动态数据访问风险控制系统与方法
CN109063081B (zh) 一种nfs业务监控方法、装置、设备及可读存储介质
CN105912653A (zh) 数据快速订阅方法及装置
CN117914944A (zh) 一种基于物联网的分布式三级缓存方法及装置
CN111368193A (zh) 信息预获取方法、装置、存储介质及设备
CN113886439A (zh) 管理缓存数据的方法、设备及存储介质
CN116257557A (zh) 数据查询方法、系统、介质、装置和计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination