CN113297267A - 数据缓存和任务处理方法、装置、设备以及存储介质 - Google Patents

数据缓存和任务处理方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN113297267A
CN113297267A CN202010739298.3A CN202010739298A CN113297267A CN 113297267 A CN113297267 A CN 113297267A CN 202010739298 A CN202010739298 A CN 202010739298A CN 113297267 A CN113297267 A CN 113297267A
Authority
CN
China
Prior art keywords
data
rule
caching
task
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010739298.3A
Other languages
English (en)
Inventor
吴金虎
邵楠
徐平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010739298.3A priority Critical patent/CN113297267A/zh
Publication of CN113297267A publication Critical patent/CN113297267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据缓存和任务处理方法、装置、设备以及存储介质,以提高数据读取速度。所述数据缓存方法包括:接收数据请求;确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。本申请在接收到数据请求时,根据缓存规则缓存与该数据请求对应的数据相关联的数据,以使得读取数据时可以直接从缓存的数据中读取,避免读取数据时再进行数据缓存,有助于提高数据读取速度。

Description

数据缓存和任务处理方法、装置、设备以及存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据缓存和任务处理方法、装置、设备以及存储介质。
背景技术
在数据处理技术领域中,数据通常可以存储于数据库中,需要使用数据的时候可以从数据库中读取数据。为了提高数据读取速度,通常还可以对数据进行缓存,以使后续读取数据时直接读取缓存。
现有技术中,数据缓存的策略主要包括两种:第一种,当读取缓存的数据时不存在对应的缓存数据,此时从数据库中读取数据以缓存;第二种,预先将所有数据进行缓存。
申请人对上述方案进行研究之后发现,第一种方案会降低数据读取速度,第二种方案需要在读取数据之前的一个时间点缓存数据,而这个时间点无法准确的确定,从而无法保证在读取数据之前可以完成缓存。
发明内容
本申请实施例提供了一种数据缓存和任务处理方法,以在读取数据之前完成缓存,提高数据读取速度。
相应的,本申请实施例还提供了一种数据缓存和任务处理装置、设备以及存储介质,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种数据缓存方法,所述方法包括:接收数据请求;确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。
本申请实施例公开了一种任务处理方法,所述方法包括:响应于第一数据任务的执行请求,执行所述第一数据任务;将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务对应的数据相关联的数据;响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。
本申请实施例还公开了一种数据缓存装置,所述装置包括:数据请求接收模块,用于接收数据请求;数据缓存模块,用于确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。
本申请实施例还公开了一种任务处理装置,所述装置包括:第一数据任务获取模块,用于响应于第一数据任务的执行请求,执行所述第一数据任务;任务数据缓存模块,用于将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务对应的数据相关联的数据;第二数据任务执行模块,用于响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。
本申请实施例还公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中任一项所述的方法。
本申请实施例还公开了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中任一项所述的方法。
与现有技术相比,本申请实施例包括以下优点:
在本申请实施例中,可以在接收到一个数据请求时,根据缓存规则缓存与该数据请求对应的数据相关联的数据,以使得读取数据时可以从缓存的数据中读取,本申请在接收到读取数据之前的数据请求时,通过缓存规则对数据进行缓存,保证在读取数据之前已完成数据缓存,避免读取数据时再进行数据缓存,有助于提高数据读取速度。
附图说明
图1是本申请的一种服务系统的结构示意图;
图2是本申请的一种服务系统对数据读取请求的处理过程示意图;
图3是本申请的一种服务系统对数据写入请求的处理过程示意图;
图4是本申请的一种数据缓存方法实施例的步骤流程图;
图5是本申请的一种管理客户端和规则服务端的交互示意图;
图6是本申请的一种任务处理方法实施例的步骤流程图;
图7是本申请的一种数据缓存装置实施例的结构框图;
图8是本申请的一种任务处理装置实施例的结构框图;
图9是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请用于从存储服务端中读取数据或向存储服务端中写入数据时,将与读取数据相关联的数据、或与写入数据相关联的数据进行缓存,以提高后续对数据的读取速度。本申请可以应用于任意需要从存储服务端中读取数据或向存储服务端中写入数据的应用场景,其中一种典型的应用场景是如图1所示的服务系统,调度服务端分别与用户客户端、缓存服务端、存储服务端、规则服务端通信连接。用户可以在用户客户端上进行操作以访问页面,用户客户端根据用户操作生成数据请求以发送给调度服务端;当数据请求为数据读取请求时,如图2所示的服务系统对数据读取请求的处理过程示意图,调度服务端在接收到数据读取请求之后,一方面,调度服务端根据数据读取请求从存储服务端中读取数据,另一方面,调度服务端还向规则服务端发送规则获取请求以获取缓存规则,并将数据读取请求与缓存规则进行匹配,在匹配成功的情况下,将匹配的缓存规则获得的数据缓存至缓存服务端;当数据请求为数据写入请求时,如图3所示的服务系统对数据写入请求的处理过程示意图,调度服务端在接收到数据写入请求之后,一方面,调度服务端根据数据写入请求向存储服务端写入数据,另一方面,调度服务端还向规则服务端发送规则获取请求以获取缓存规则,并将数据写入请求与缓存规则进行匹配,在匹配成功的情况下,将匹配的缓存规则获得的数据缓存至缓存服务端。
其中,用户客户端为调度服务端对应的客户端,用户客户端为用户提供服务,用户客户端可以是运行于任意实体设备上的应用程序,实体设备可以包括但不限于:手机、PC(Personal Computer,个人计算机)、平板电脑。
调度服务端是用户客户端的后台服务端,用于接收用户客户端的数据请求并根据数据请求向用户客户端返回响应数据,响应数据可以为用户客户端的读取数据或用户客户端写入数据的成功信息。
存储服务端用于以硬盘、磁盘等的方式存储数据,常用的存储服务端为数据库。
缓存服务端用于缓存数据,其对数据的存储方式与存储服务端不同,缓存服务端将数据存储于缓存上,缓存服务端的数据读取速度比存储服务端的读取速度快。
规则服务端用于存储缓存规则,缓存规则用于确定缓存数据与数据请求对应的数据的关系,缓存规则可以预先配置。在配置缓存规则时,可以按照具体应用场景和需求确定数据之间的关联性,以根据数据之间的关联性配置缓存规则。例如,可以根据相关联的数据DATA1和数据DATA2设置一条缓存规则,又例如,若数据DATA3分别和数据DATA4、数据DATA5相关联,则可以根据数据DATA3和数据DATA4构建一条缓存规则,还可以根据数据DATA3和数据DATA5构建另一条缓存规则,或根据数据DATA3和DATA4、DATA5仅构建一条缓存规则。
可以理解的是,调度服务端、缓存服务端、存储服务端和规则服务端可以是分别实现上述功能的服务端,这些服务端均可以为实体服务器,也可以为设置于实体服务器上的虚拟机,一台实体服务器上可以设置一个或多个虚拟机,一个实体服务器上可以设置一种多种功能的虚拟机,例如,可以将调度服务端和规则服务端设置在一台实体服务器中,将缓存服务端设置在一台实体服务器中,将存储服务端设置在一台实体服务器中。
基于上述服务系统,下面从调度服务端侧对本申请进行详细说明,下面实施例中的步骤由调度服务端执行。
参照图4,示出了本申请的一种数据缓存方法实施例的步骤流程图。
步骤101,接收数据请求。
其中,数据请求包括数据写入请求和数据读取请求,数据写入请求用于向存储服务端存储数据,数据读取请求用于从存储服务端读取数据。
步骤102,确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。
具体地,数据请求中携带有数据标识,从而可以将该数据请求中的数据标识与缓存规则中的指定数据标识匹配,若数据请求中的数据标识与缓存规则中的指定数据标识一致,则确定数据请求与缓存规则匹配;若数据请求中的数据标识与缓存规则中的指定数据标识不一致,则确定数据请求与缓存规则不匹配。在本申请中,缓存与数据请求对应的数据相关联的数据的缓存规则可以称为第一种类型的缓存规则,指定数据标识在第一种类型的缓存规则中称为第一数据标识;此外,在实际应用中,还存在缓存与数据请求对应的数据的缓存规则,可以称为第二种类型的缓存规则,指定数据标识在第二种类型的缓存规则中称为第三数据标识。
例如,存在如下格式的五个第一种类型的缓存规则:DATAID1-DATAID2、DATAID3-DATAID4、DATAID5-DATAID6、DATAID7-DATAID8、DATAID9-DATAID10,其中DATAID1、DATAID3、DATAID5、DATAID7、DATAID9分别为五个缓存规则的第一数据标识,数据请求REQ1中的数据标识为DATAID1,数据请求REQ2中的数据标识为DATAID2,从而数据请求REQ1与第一数据标识为DATAID1的缓存规则匹配;数据请求REQ2不存在匹配的缓存规则。
又例如,存在如下格式的五个第二种类型的缓存规则:DATAID11、DATAID12、DATAID13、DATAID14、DATAID15,其中DATAID11、DATAID12、DATAID13、DATAID14、DATAID15均为缓存规则中的第三数据标识,数据请求REQ3中的数据标识为DATAID11,数据请求REQ4中的数据标识为DATAID16,从而数据请求REQ3与第三数据标识为DATAID11的缓存规则匹配;数据请求REQ4不存在匹配的缓存规则。
在实际应用中,还可以对不同类型的数据请求设置不同的缓存规则,指定该缓存规则适用的数据请求是数据写入请求或数据读取请求。例如,对于缓存规则:"write":["DATAID1"],代表该缓存规则是用于数据写入请求,将数据写入请求的写入数据进行缓存,该数据写入请求的写入数据的数据标识为DATAID1。又例如,对于缓存规则:"read":{"DATAID1":["DATAID2","DATAID3"]},代表该缓存规则是用于数据读取请求,将数据读取请求的读取数据相关联的数据进行缓存,该数据读取请求的读取数据的数据标识为DATAID1,该数据读取请求的读取数据相关联的数据的数据标识为DATAID2和DATAID3。
在本申请中,第一种类型的缓存规则用于缓存与数据请求对应的数据相关联的数据,第二种类型的缓存规则用于缓存与数据请求对应的数据。
具体地,在一种示例中,可以在第一种类型的缓存规则中指定第一数据标识和与第一数据标识相关联的第二数据标识,从而实现在数据请求中的数据标识与第一数据标识一致时,缓存与数据请求对应的数据相关联的数据。例如,存在如下格式的五个缓存规则:DATAID1-DATAID2、DATAID3-DATAID4、DATAID5-DATAID6、DATAID7-DATAID8、DATAID9-DATAID10,其中DATAID1、DATAID3、DATAID5、DATAID7、DATAID9分别为五个缓存规则的第一数据标识,其中的DATAID2、DATAID4、DATAID6、DATAID8、DATAID10为第二数据标识,对于数据请求REQ1,其对应的数据为数据标识DATAID1对应的数据,由于与第一数据标识DATAID1相关联的数据标识为第二数据标识DATAID2,从而可以将数据请求REQ1对应的数据相关联的数据,即第二数据标识DATA2所对应的数据进行缓存。
在另一种示例中,可以在第二种类型的缓存规则中指定第三数据标识,从而实现在数据请求中的数据标识与第三数据标识一致时,缓存数据请求所对应的数据。例如,存在如下格式的五个缓存规则:DATAID11、DATAID12、DATAID13、DATAID14、DATAID15,其中的DATAID11、DATAID12、DATAID13、DATAID14、DATAID15为第三数据标识,对于数据请求REQ3,其对应的数据为数据标识DATAID11对应的数据,从而实现了将第三数据标识DATA11所对应的数据进行缓存。
需要说明的是,若不存在与数据请求匹配的缓存规则,则不进行数据缓存。例如,当接收到上述数据请求REQ2和REQ4时,不进行数据缓存。
可选地,所述缓存规则携带第一数据标识和第二数据标识;所述确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,包括子步骤1021:
子步骤1021,确定存在所述第一数据标识与所述数据请求对应的数据标识匹配的缓存规则,将匹配的缓存规则携带的所述第二数据标识对应的数据进行缓存。
可以理解的是,缓存规则中设置了第一数据标识和相关联的第二数据标识,其中,第一数据标识用于确定缓存规则是否与数据请求匹配,第二数据标识用于确定在匹配成功的情况下的缓存数据。
在实际应用中,为了区分第一数据标识和第二数据标识,可以按照预设顺序设置第一数据标识和第二数据标识,并且中间用分隔符分隔。例如,DATAID1-DATAID2,其中位于分隔符“-”之前的标识DATAID1为第一数据标识,位于分隔符“-”之后的标识DATAID2为第二数据标识。又例如,DATAID1-DATAID2-DATAID3-DATAID4,其中,位于第一个分隔符“-”之前的标识DATAID1为第一数据标识,位于每个分隔符“-”之后的标识DATAID2、DATAID3和DATAID4均为与第二数据标识,实现了缓存与第一数据标识DATAID1相关联的三个数据标识DATAID2、DATAID3和DATAID4所对应的数据。
在本申请中,由于缓存的数据是与数据请求对应的数据相关联的数据,从而不管数据请求为数据读取请求还是数据写入数据,缓存数据均需要从存储服务端中获取,并发送至缓存服务端中进行缓存。
本申请可以通过由第一数据标识和第二数据标识构成的第一种类型的缓存规则,实现相关联的数据缓存。
在实际应用中,除缓存规则除可以缓存与数据请求相关联的数据对应的数据之外,还可以缓存与数据请求相关联的数据,具体地,缓存规则携带第三数据标识,所述在存在与所述数据请求匹配的缓存规则的情况下,将根据所述缓存规则确定的数据进行缓存,包括子步骤1022:
子步骤1022,确定存在所述第三数据标识与所述数据请求对应的数据标识匹配的缓存规则,将匹配的缓存规则携带的所述第三数据标识对应的数据进行缓存。
可以理解,缓存规则中设置了第三数据标识,第三数据标识不仅用于确定缓存规则是否与数据请求匹配,还用于确定在匹配成功的情况下的缓存数据。需要说明的是,第一数据标识、第二数据标识是为了区分同一个缓存规则中作用不同的两个标识,第三数据标识是为了区分不同缓存规则之间的标识。
在通常情况下,第一数据标识和第二数据标识的取值不同;在特殊情况下,第一数据标识和第二数据标识的取值相同时,该缓存规则和包含第三数据标识的缓存规则的作用相同。例如,对于一个缓存规则为DATAID1-DATAID1,第一数据标识和第二数据标识均为DATAID1,从而实现了缓存数据标识DATAID1对应的数据;而对于一个缓存规则为DATAID1,第三数据标识为DATAID1,从而也实现了缓存数据标识DATAID1对应的数据。
基于上述原理,为了节约规则服务端的存储资源,若为了缓存数据请求所对应的数据,则可以设置由第三数据标识构成的缓存规则,而避免设置由两个相同的第一数据标识和第二数据标识构成的缓存规则,两个相同的第一数据标识和第二数据标识将同一个数据标识存储了两次,而第三数据标识仅存储一次数据标识。
在本申请中,一个缓存规则可以仅设置一个第三数据标识,也可以设置多个第三数据标识。例如,数据标识DATAID1,从而数据标识DATAID1为第三数据标识,用于缓存数据标识DATAID1所对应的数据。又例如,DATAID1~DATAID2~DATAID3~DATAID4,其中,分隔符“~”之前或之后的四个标识均为第三数据标识,以缓存数据标识DATAID1、数据标识DATAID2、数据标识DATAID3、数据标识DATAID4所对应的数据。
可以看出,当缓存规则中不存在分隔符时,该缓存规则中的唯一一个标识为第三数据标识,该缓存规则用于缓存该第三数据标识对应的数据;当缓存规则中存在分隔符时,可以通过不同的分隔符确定不同的缓存规则,即确定缓存规则用于缓存第三数据标识对应的数据还是缓存与第一数据标识相关联的第二数据标识所对应的数据。若缓存规则中包括的分隔符为第一预设分隔符,则确定缓存规则用于缓存与第一数据标识相关联的第二数据标识所对应的数据;若缓存规则中包括的分隔符为第二预设分隔符,则确定缓存规则用于缓存第三数据标识对应的数据。例如,上述的分隔符“-”为第一预设分隔符,上述的分隔符“~”为第二预设分隔符,对于缓存规则:DATAID1-DATAID2-DATAID3-DATAID4,由于其包含第一预设分隔符“-”,从而该缓存规则用于缓存与第一数据标识相关联的第二数据标识所对应的的数据;对于缓存规则:DATAID1~DATAID2~DATAID3~DATAID4,由于其包含第二预设分隔符“~”,从而该缓存规则用于缓存第三数据标识所对应的的数据。
此外,为了实现同时缓存数据请求所对应的数据和与数据请求所对应的数据相关联的数据,可以设置第一数据标识和第二数据标识构成的缓存规则,同时设置第三数据标识构成的缓存规则,并且第一数据标识和第三数据标识相同,如此,在接收到数据请求时,若该数据请求所对应的数据标识与第一数据标识和第三数据标识相同,则可以同时缓存该数据请求所对应的数据和与该数据请求所对应的数据相关联的数据。
本申请可以通过由第三数据标识构成的缓存规则,实现缓存第三数据标识对应的数据。
可选地,基于上述子步骤1022,所述将匹配的缓存规则携带的所述第三数据标识对应的数据进行缓存,包括子步骤10221至10222:
子步骤10221,若所述数据请求为数据读取请求,则从存储服务端中获取所述第三数据标识所对应的数据,以进行缓存。
子步骤10222,若所述数据请求为数据写入请求,则从所述数据写入请求中提取写入数据作为所述第三数据标识所对应的数据,以进行缓存。
可以理解,当数据请求为数据读取请求时,数据请求所对应的数据为数据读取请求的读取数据,需要从存储服务端中获取读取数据,并发送至缓存服务端以缓存;当数据请求为数据写入请求时,数据请求所对应的数据为数据写入请求中携带的写入数据,可以从数据写入请求中提取写入数据,并发送至缓存服务端以缓存。
本申请在缓存数据请求对应的数据时,可以根据数据请求的类型确定获取缓存数据的来源,以在数据写入时将写入数据直接进行缓存,有助于提高缓存速度。
可选地,所述将根据所述缓存规则获得的数据进行缓存,包括子步骤1023:
子步骤1023,向缓存服务端发送缓存数据写入请求,以将所述缓存规则获得的数据存储至所述缓存服务端。
其中,缓存数据写入请求由调度服务端发送至缓存服务端,缓存数据写入请求中携带有缓存规则获得的数据,缓存规则获得的数据在缓存之后可以称为缓存数据,这里的缓存规则获得的数据包括子步骤1021中的与数据请求对应的数据相关联的数据。
具体地,可以通过同步的方式进行缓存,即在根据缓存规则确定数据之后之后立即发送缓存数据写入请求,同步方式的缓存有助于提高缓存的实时性。
此外,还可以通过异步的方式进行缓存,例如,以预设时间间隔发送缓存数据写入请求,在数据请求与缓存规则匹配成功的次数较多的情况下,异步方式的缓存有助于避免不断的发送缓存数据写入请求,占用调度服务端和缓存服务端之间的传输资源。
可选地,所述确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,包括子步骤1024至1025:
子步骤1024,从规则服务端获取预设缓存规则。
其中,预设缓存规则可以是规则服务端中的部分或全部缓存规则。部分缓存规则可以是通过一定策略确定的,例如,针对某个存储服务端的缓存规则,该缓存规则可以用于缓存该存储服务端上的数据;又例如,针对某类数据请求的缓存规则,该缓存规则可以用于缓存该类数据请求的缓存规则。
子步骤1025,确定所述预设缓存规则中存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存。
具体地,从部分或全部缓存规则中确定第一数据标识与数据请求中的数据标识匹配的缓存规则,或第三数据标识与数据请求中的数据标识匹配的缓存规则,作为与数据请求匹配的缓存规则。
可选地,所述从规则服务端获取预设缓存规则之前,还包括步骤103至104:
步骤103,接收管理客户端的第一缓存规则写入请求,所述第一缓存规则写入请求中包括存储空间的标识和对应的缓存规则。
其中,管理客户端用于对缓存规则进行管理,包括但不限于:配置缓存规则、删除缓存规则和修改缓存规则。如图5所示的管理客户端和规则服务端的交互示意图,管理客户端与规则服务端通信连接,并且管理客户端可以通过规则管理请求对规则服务端中的缓存规则进行管理,其中规则管理请求中携带有新配置的缓存规则、或删除的缓存规则、或修改的缓存规则。管理客户端可以提供管理界面,规则维护人员可以在管理界面中查看到所有缓存规则,并可以选中其中一条缓存规则进行删除或修改,还可以配置一条新的缓存规则。
在用户配置一条新的缓存规则并提交之后,管理客户端可以生成缓存规则写入请求,缓存规则写入请求中携带缓存规则。当缓存规则中还包括存储空间的标识时,该缓存规则可以称为第一缓存规则写入请求,该存储空间是用户在配置缓存规则时指定的存储服务端中的存储空间,从而该缓存规则仅适用于对该存储空间内的数据进行缓存,而不能对其余存储空间内的数据进行缓存。
其中,存储空间(Bucket)是用于存储数据的容器,每个数据归属于其中一个存储空间。可以理解的是,一个缓存规则可以设置一个或多个适用的存储空间。
子步骤104,将所述存储空间的标识和对应的缓存规则按照对应关系存储至所述规则服务端。
在本申请中,可以将同一类服务的数据存储于同一存储空间中,以方便读取和写入数据。
本申请可以基于存储空间配置缓存规则,避免存储空间中的每个服务均需要单独设置缓存规则,节约了规则服务端的存储资源。
基于所述子步骤103至104,所述从规则服务端获取预设缓存规则,包括子步骤10241至10242:
子步骤10241,确定所述数据请求对应的数据所在的存储空间的标识。
在一种示例中,存储空间的标识可以由用户客户端添加至数据请求中;在另一种示例中,存储空间的标识可以在读取数据或写入数据时确定。
子步骤10242,根据所述存储空间的标识从规则服务端中获取所述存储空间对应的缓存规则作为预设缓存规则。
具体地,当数据请求对应的数据所在的存储空间的标识与规则服务端中的其中一个存储空间的标识一致,则确定该存储空间的标识对应的缓存规则为预设缓存规则。
本申请可以获取数据请求对应的数据所在的存储空间所对应的缓存规则,以缓存数据,实现了基于存储空间的缓存。
可选地,所述从规则服务端获取预设缓存规则之前,还包括步骤105至106:
步骤105,接收客户端的第二缓存规则写入请求,所述第二缓存规则写入请求中包括数据属性和对应的缓存规则。
当缓存规则中还包括数据属性时,该缓存规则可以称为第二缓存规则写入请求,该数据属性是用户在配置缓存规则时指定的数据属性,从而该缓存规则仅适用于对该数据属性的数据进行缓存,而不能对其余数据属性的数据进行缓存。例如,可以将服务类型作为数据属性,从而用户在配置缓存规则时,可以指定其中一个服务类型,以对该类型服务的数据进行数据缓存。
可以理解的是,一个缓存规则可以设置一个或多个适用的数据属性。
步骤106,将所述数据属性和对应的缓存规则按照对应关系存储至所述规则服务端。
本申请可以基于数据属性配置缓存规则,对于某种特殊的服务,可以对其设置个性化的缓存规则。
所述从规则服务端获取预设缓存规则,包括子步骤10243至10244:
子步骤10243,确定所述数据请求对应的数据属性。
在一种示例中,数据属性可以由用户客户端添加至数据请求中;在另一种示例中,数据属性可以在读取数据或写入数据时确定。
子步骤10244,根据所述数据属性从所述规则服务端中获取对应的缓存规则作为预设缓存规则。
具体地,当数据请求对应的数据属性与规则服务端中的其中一个数据属性一致,则确定该数据属性对应的缓存规则为预设缓存规则。
本申请可以获取数据请求对应的数据属性所对应的缓存规则,以缓存数据,实现了个性化的缓存。
可选地,所述数据以数据对象为单位进行存储,所述数据对象包括:数据标识、数据属性和数据内容。
其中,数据对象(Object)是存储数据的基本单元,也可称为存储对象。数据对象中的数据标识用于唯一标识数据对象,数据属性用于表示数据的属性信息,可以以键值对的形式表示,主键为属性标识,取值为属性取值;数据内容是数据对象的具体数据。例如,若以{数据标识,主键:取值,数据内容}表示数据对象,则可以得到如下的示例:{DATAID1,DATATYPE:CHAR,XIAOMING},其中,DATAID1为数据标识,DATATYPE为数据属性的主键,CHAR为数据属性的取值,即:数据属性为数据类型,数据类型具体为字符型,而数据内容为XIAOMING。
本申请的数据缓存可以应用于以数据对象为单元进行数据存储的应用场景,数据对象通常存储于存储空间中,从而实现了对数据对象进行缓存。
可选地,基于子步骤1022、10221和10222中缓存的与数据请求对应的数据,所述方法还包括步骤107至108:
步骤107,接收数据删除请求。
其中,数据删除请求中携带待删除的数据标识,以从存储服务端中删除待删除的数据标识对应的数据,该待删除的数据标识为数据删除请求对应的数据标识。
步骤108,若所述数据删除请求对应的数据标识与所述第三数据标识匹配,则从缓存的数据中删除所述数据删除请求对应的数据。
其中,数据删除请求对应的数据为待删除标识对应的数据。
在本申请中,当待删除的数据标识与缓存规则中的第三数据标识匹配时,确定数据删除请求与缓存规则匹配,此时,从缓存服务端中删除待删除的数据标识对应的数据。当待删除的数据标识与缓存规则中的第三数据标识不匹配时,确定数据删除请求不存在匹配的缓存规则,代表该待删除的数据并为缓存,从而不需要从缓存服务端中删除缓存数据。
本申请在接收到数据删除请求之后,并未直接从缓存服务端中删除缓存数据,而是先判断数据删除请求是否与缓存规则匹配,如此,在并未根据缓存规则缓存待删除的数据标识对应的数据时,不会去缓存服务端中删除缓存的数据,从而节约了去缓存服务端中查找待删除标识对应的数据所消耗的时长。
综上所述,本申请提供了一种数据缓存方法,所述方法包括:接收数据请求;确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。本申请可以在接收到一个数据请求时,根据缓存规则缓存该数据请求对应的数据相关联的数据,以使得读取数据时可以从缓存的数据中读取,本申请在接收到读取数据之前的数据请求时,通过缓存规则对数据进行缓存,保证在读取数据之前已完成数据缓存,避免读取数据时再进行数据缓存,有助于提高数据读取速度。
参照图6,示出了本申请的一种任务处理方法实施例的步骤流程图。
步骤201,响应于第一数据任务的执行请求,执行所述第一数据任务。
其中,第一数据任务是对数据进行处理的任意任务,包括但不限于:数据写入任务、数据读取任务。数据写入任务用于向存储服务端存储数据,数据读取任务用于从存储服务端读取数据。
步骤202,将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务对应的数据相关联的数据。
当第一数据任务为数据写入任务时,第一数据任务所对应的数据为写入数据;当第一数据任务为数据读取任务时,第一数据任务所对应的数据为读取数据。
本申请用于在接收到第一数据任务时,可以将写入数据相关联的数据和/或读取数据相关联的数据进行缓存。在一种示例中,可以在缓存规则中指定第一数据标识和与第一数据标识相关联的第二数据标识,从而实现在第一数据任务中的数据标识与第一数据标识一致时,缓存与第一数据任务所对应的数据相关联的数据。例如,存在如下格式的五个缓存规则:DATAID1-DATAID2、DATAID3-DATAID4、DATAID5-DATAID6、DATAID7-DATAID8、DATAID9-DATAID10,其中DATAID1、DATAID3、DATAID5、DATAID7、DATAID9分别为五个缓存规则的第一数据标识,其中的DATAID2、DATAID4、DATAID6、DATAID8、DATAID10为第二数据标识,对于第一数据任务TASK1,其对应的数据为数据标识DATAID1对应的数据,由于第一数据标识DATAID1的数据相关联的数据为第二数据标识DATA2所对应的数据,从而可以将第一数据任务TASK1所对应的数据相关联的数据,即第二数据标识DATA2所对应的数据进行缓存。
在实际应用中,除缓存与第一数据任务对应的数据相关联的数据之外,还可以缓存与第一数据任务对应的数据。具体地,可以在缓存规则中指定第三数据标识,从而实现在第一数据任务所对应的数据标识与第三数据标识一致时,缓存与第一数据任务所对应的数据。例如,存在如下格式的五个缓存规则:DATAID11、DATAID12、DATAID13、DATAID14、DATAID15,其中的DATAID11、DATAID12、DATAID13、DATAID14、DATAID15为第三数据标识,对于第一数据任务TASK2,其对应的数据为数据标识DATAID11对应的数据,从而实现了将第三数据标识DATA11所对应的数据进行缓存。
需要说明的是,若不存在与第一数据任务匹配的缓存规则,则不进行数据缓存。
步骤203,响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。
在本申请中,第二数据任务在第一数据任务之后执行,从而在执行第一数据任务时可以将第二数据任务所对应的数据提前缓存,以在执行第二数据任务时可以直接从缓存服务端中读取第二数据任务所对应的数据,而不需要在执行第二数据任务时再从存储服务端中获取对应的数据,提高了第二数据任务的数据读取速度,提高了第二数据任务的执行效率。
上述第一数据任务和第二数据任务之间的执行顺序是按照预设排序规则确定的,预设排序规则可以包括但不限于:基于数据读取任务之间的预设时间顺序的排序规则、基于数据任务之间的依赖关系的排序规则。
可选地,所述第一数据任务和所述第二数据任务均为数据读取请求,所述预设排序规则包括:基于数据读取任务之间的预设时间顺序的排序规则,所述根据缓存规则获得的数据包括与所述第一数据任务对应的数据相关联的数据,所述根据缓存的数据执行所述第二数据任务,包括子步骤2031:
子步骤2031,读取所述缓存的数据作为所述第二数据任务的读取数据。
在一种应用场景中,多个数据读取任务的读取数据之间具有顺序,从而需要按照该顺序确定多个数据读取任务的时间顺序以按照该时间顺序执行读取任务,最后这多个数据读取任务的读取数据按照该顺序拼接为总的响应数据。从而基于数据读取任务之间的预设时间顺序的排序规则可以将时间较早的数据读取任务排序在时间较晚的数据读取任务之前,以在执行前面的数据读取任务之后再执行后面的数据读取任务。
本申请可以将时间较早的数据读取任务排序在时间较晚的数据读取任务之前,并在执行时间较早的数据读取任务时对时间较晚的数据读取任务的读取数据进行缓存,以在执行时间较晚的数据读取任务时,可以从缓存服务端中读取缓存数据以作为时间较晚的读取数据,有助于提高数据读取任务的执行效率。
在实际应用中,除缓存与第一数据任务对应的数据相关联的数据之外,还可以缓存与第一数据任务对应的数据。所述预设排序规则包括:基于数据任务之间的依赖关系的排序规则,所述第一数据任务为数据写入任务,所述第二数据任务为数据读取任务,所述根据缓存规则获得的数据包括:所述第一数据任务所对应的数据,所述根据缓存的数据执行所述第二数据任务,包括子步骤2032:
子步骤2032,读取缓存的数据作为所述第二数据任务的读取数据。
在一种应用场景中,一个数据写入任务TASK1的写入数据通常作为一个数据读取任务TASK2的读取数据。这种数据写入任务TASK1和数据读取任务TASK2的关系称为数据任务之间的依赖关系,数据读取任务TASK2依赖于数据写入任务TASK1。本申请可以将数据写入任务TASK1称为第一数据任务,数据读取任务TASK2称为第二数据任务,即第二数据任务依赖于第一数据任务,基于数据任务之间的依赖关系的排序规则可以将被依赖的第一数据任务排序在依赖第一数据任务的第二数据任务之前,以在执行第一数据任务之后再执行第二数据任务。
本申请可以将被依赖的数据写入任务排序在数据读取任务之前,并在执行数据写入任务时对写入数据进行缓存,以在执行数据读取任务时,可以从缓存服务端中读取缓存数据以作为数据读取任务的读取数据,有助于提高数据读取任务的执行效率。
可选地,所述预设排序规则包括:基于数据任务之间的依赖关系的排序规则,所述第二数据任务为数据计算任务,所述根据缓存规则获得的数据包括:所述第一数据任务所对应的数据,所述根据缓存的数据执行所述第二数据任务,包括子步骤2033:
子步骤2033,读取缓存的数据作为所述第二数据任务进行数据计算的输入数据,以进行所述第二数据任务的数据计算。
在一种应用场景中,一个数据任务TASK1所对应的数据通常作为一个数据计算任务TASK2的输入数据,以对该输入数据进行数据计算得到计算结果。这种数据任务TASK1和数据计算任务TASK2的关系称为数据任务之间的依赖关系,数据计算任务TASK2依赖于数据任务TASK1。本申请可以将数据任务TASK1称为第一数据任务,数据计算任务TASK2称为第二数据任务,即数据计算任务依赖于第一数据任务,基于数据任务之间的依赖关系的排序规则可以将被依赖的第一数据任务排序在依赖第一数据任务的数据计算任务之前,以在执行第一数据任务之后再执行数据计算任务。
本申请可以将被依赖的第一数据任务排序在数据计算任务之前,并在执行第一数据任务时将第一数据任务所对应的数据,即:读取数据或写入数据进行缓存,以在执行数据计算任务时,可以从缓存服务端中读取缓存数据以作为数据计算任务的输入数据,有助于提高数据计算任务的执行效率。
综上所述,本申请提供了一种任务处理方法,所述方法包括:响应于第一数据任务的执行请求,执行所述第一数据任务;将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务对应的数据相关联的数据;响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。本申请可以在执行第二数据任务之前的第一数据任务过程中,缓存与第一数据任务所对应的数据相关联的数据,在执行位于第二数据任务时,可以根据缓存的数据执行第二数据任务,如此避免执行第二数据任务时从存储服务端中读取数据,有助于提高执行第二数据任务时的数据读取速度,进而提高了第二数据任务的执行效率。
参照图7,示出了本申请的一种数据缓存装置实施例的结构框图。
数据请求接收模块301,用于接收数据请求。
数据缓存模块302,用于确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。
可选地,所述缓存规则携带第一数据标识和第二数据标识;所述数据缓存模块302,包括第一数据缓存子模块:
第一数据缓存子模块,用于确定存在所述第一数据标识与所述数据请求对应的数据标识匹配的缓存规则,将匹配的缓存规则携带的所述第二数据标识对应的数据进行缓存。
可选地,所述数据缓存模块302,包括缓存写入请求发送子模块:
缓存写入请求发送子模块,用于向缓存服务端发送缓存数据写入请求,以将所述缓存规则获得的数据存储至所述缓存服务端。
可选地,所述数据缓存模块302,包括预设缓存规则获取子模块和缓存规则确定子模块:
预设缓存规则获取子模块,用于从规则服务端获取预设缓存规则。
第三数据缓存子模块,用于确定所述预设缓存规则中存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存。
可选地,所述装置,还包括第一规则写入模块和第一规则存储模块:
第一规则写入模块,用于接收管理客户端的第一缓存规则写入请求,所述第一缓存规则写入请求中包括存储空间的标识和对应的缓存规则。
第一规则存储模块,用于将所述存储空间的标识和对应的缓存规则按照对应关系存储至所述规则服务端。
基于所述第一规则写入模块和第一规则存储模块,所述预设缓存规则获取子模块,包括存储空间确定单元和第一预设缓存规则获取单元:
存储空间确定单元,用于确定所述数据请求对应的数据所在的存储空间的标识。
第一预设缓存规则获取单元,用于根据所述存储空间的标识从规则服务端中获取所述存储空间对应的缓存规则作为预设缓存规则。
可选地,所述装置,还包括第二规则写入模块和第二规则存储模块:
第二规则写入模块,用于接收客户端的第二缓存规则写入请求,所述第二缓存规则写入请求中包括数据属性和对应的缓存规则。
第二规则存储模块,用于将所述数据属性和对应的缓存规则按照对应关系存储至所述规则服务端。
基于所述第二规则写入模块和第二规则存储模块,所述预设缓存规则获取子模块,包括数据属性获取单元和第二预设缓存规则获取单元:
数据属性获取单元,用于确定所述数据请求对应的数据属性。
第二预设缓存规则获取单元,用于根据所述数据属性从所述规则服务端中获取对应的缓存规则作为预设缓存规则。
可选地,所述数据以数据对象为单位进行存储,所述数据对象包括:数据标识、数据属性和数据内容。
综上所述,本申请提供了一种数据缓存装置,所述装置包括:数据请求接收模块,用于接收数据请求;数据缓存模块,用于确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获取的数据包括:与所述数据请求所对应的数据相关联的数据。本申请可以在接收到一个数据请求时,根据缓存规则缓存该数据请求对应的数据相关联的数据,以使得读取数据时可以从缓存的数据中读取,本申请在接收到读取数据之前的数据请求时,通过缓存规则对数据进行缓存,保证在读取数据之前已完成数据缓存,避免读取数据时再进行数据缓存,有助于提高数据读取速度。
参照图8,示出了本申请的一种任务处理装置实施例的结构框图。
第一数据任务获取模块401,用于响应于第一数据任务的执行请求,执行所述第一数据任务。
任务数据缓存模块402,用于将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务所对应的数据相关联的数据。
第二数据任务执行模块403,用于响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。
可选地,所述第一数据任务和所述第二数据任务均为数据读取请求,所述预设排序规则包括:基于数据读取任务之间的预设时间顺序的排序规则,所述根据缓存规则获得的数据包括与所述第一数据任务对应的数据相关联的数据,所述第二数据任务执行模块403,包括第一数据读取子模块:
第一数据读取子模块,用于读取所述缓存的数据作为所述第二数据任务的读取数据。
可选地,所述预设排序规则包括:基于数据任务之间的依赖关系的排序规则,所述第二数据任务为数据计算任务,所述根据缓存规则获得的数据包括:所述第一数据任务所对应的数据,所述第二数据任务执行模块403,包括数据计算子模块:
数据计算子模块,用于读取缓存的数据作为所述第二数据任务进行数据计算的输入数据,以进行所述第二数据任务的数据计算。
综上所述,本申请提供了一种任务处理装置,所述装置包括:第一数据任务获取模块,用于响应于第一数据任务的执行请求,执行所述第一数据任务;任务数据缓存模块,用于将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务对应的数据相关联的数据;第二数据任务执行模块,用于响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。本申请可以在执行第二数据任务之前的第一数据任务过程中,缓存与第一数据任务对应的数据相关联的数据,在执行位于第二数据任务时,可以根据缓存的数据执行第二数据任务,如此避免执行第二数据任务时从存储服务端中读取数据,有助于提高执行第二数据任务时的数据读取速度,进而提高了第二数据任务的执行效率。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括终端设备、服务端(集群)等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括终端设备、服务端(集群)等电子设备。图9示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置500。
对于一个实施例,图9示出了示例性装置500,该装置具有一个或多个处理器502、被耦合到(一个或多个)处理器502中的至少一个的控制模块(芯片组)504、被耦合到控制模块504的存储器506、被耦合到控制模块504的非易失性存储器(NVM)/存储设备508、被耦合到控制模块504的一个或多个输入/输出设备510,以及被耦合到控制模块504的网络接口512。
处理器502可包括一个或多个单核或多核处理器,处理器502可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置500能够作为本申请实施例中所述终端设备、服务端(集群)等设备。
在一些实施例中,装置500可包括具有指令514的一个或多个计算机可读介质(例如,存储器506或NVM/存储设备508)以及与该一个或多个计算机可读介质相合并被配置为执行指令514以实现模块从而执行本公开中所述的动作的一个或多个处理器502。
对于一个实施例,控制模块504可包括任意适当的接口控制器,以向(一个或多个)处理器502中的至少一个和/或与控制模块504通信的任意适当的设备或组件提供任意适当的接口。
控制模块504可包括存储器控制器模块,以向存储器506提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器506可被用于例如为装置500加载和存储数据和/或指令514。对于一个实施例,存储器506可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器506可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块504可包括一个或多个输入/输出控制器,以向NVM/存储设备508及(一个或多个)输入/输出设备510提供接口。
例如,NVM/存储设备508可被用于存储数据和/或指令514。NVM/存储设备508可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备508可包括在物理上作为装置500被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备508可通过网络经由(一个或多个)输入/输出设备510进行访问。
(一个或多个)输入/输出设备510可为装置500提供接口以与任意其他适当的设备通信,输入/输出设备510可以包括通信组件、音频组件、传感器组件等。网络接口512可为装置500提供接口以通过一个或多个网络通信,装置500可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器502中的至少一个可与控制模块504的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器502中的至少一个可与控制模块504的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器502中的至少一个可与控制模块504的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器502中的至少一个可与控制模块504的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置500可以但不限于是:服务端、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置500可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置500包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据缓存方法和任务处理方法、装置、设备以及存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种数据缓存方法,所述方法包括:
接收数据请求;
确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。
2.根据权利要求1所述的方法,其特征在于,所述缓存规则携带第一数据标识和第二数据标识;所述确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,包括:
确定存在所述第一数据标识与所述数据请求对应的数据标识匹配的缓存规则,将匹配的缓存规则携带的所述第二数据标识对应的数据进行缓存。
3.根据权利要求1或2所述的方法,其特征在于,所述将根据所述缓存规则获得的数据进行缓存,包括:
向缓存服务端发送缓存数据写入请求,以将所述缓存规则获得的数据存储至所述缓存服务端。
4.根据权利要求1或2所述的方法,其特征在于,所述确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,包括:
从规则服务端获取预设缓存规则;
确定所述预设缓存规则中存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存。
5.根据权利要求4所述的方法,其特征在于,所述从规则服务端获取预设缓存规则之前,还包括:
接收管理客户端的第一缓存规则写入请求,所述第一缓存规则写入请求中包括存储空间的标识和对应的缓存规则;
将所述存储空间的标识和对应的缓存规则按照对应关系存储至所述规则服务端;
所述从规则服务端获取预设缓存规则,包括:
确定所述数据请求对应的数据所在的存储空间的标识;
根据所述存储空间的标识从规则服务端中获取所述存储空间对应的缓存规则作为预设缓存规则。
6.根据权利要求5所述的方法,其特征在于,所述从规则服务端获取预设缓存规则之前,还包括:
接收客户端的第二缓存规则写入请求,所述第二缓存规则写入请求中包括数据属性和对应的缓存规则;
将所述数据属性和对应的缓存规则按照对应关系存储至所述规则服务端;
所述从规则服务端获取预设缓存规则,包括:
确定所述数据请求对应的数据属性;
根据所述数据属性从所述规则服务端中获取对应的缓存规则作为预设缓存规则。
7.根据权利要求1或2所述的方法,其特征在于,所述数据以数据对象为单位进行存储,所述数据对象包括:数据标识、数据属性和数据内容。
8.一种任务处理方法,所述方法包括:
响应于第一数据任务的执行请求,执行所述第一数据任务;
将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务对应的数据相关联的数据;
响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。
9.根据权利要求8所述的方法,其特征在于,所述第一数据任务和所述第二数据任务均为数据读取请求,所述预设排序规则包括:基于数据读取任务之间的预设时间顺序的排序规则,所述根据缓存规则获得的数据包括与所述第一数据任务对应的数据相关联的数据,所述根据缓存的数据执行所述第二数据任务,包括:
读取所述缓存的数据作为所述第二数据任务的读取数据。
10.根据权利要求8所述的方法,其特征在于,所述预设排序规则包括:基于数据任务之间的依赖关系的排序规则,所述第二数据任务为数据计算任务,所述根据缓存规则获得的数据包括:所述第一数据任务所对应的数据,所述根据缓存的数据执行所述第二数据任务,包括:
读取缓存的数据作为所述第二数据任务进行数据计算的输入数据,以进行所述第二数据任务的数据计算。
11.一种数据缓存装置,所述装置包括:
数据请求接收模块,用于接收数据请求;
数据缓存模块,用于确定存在与所述数据请求匹配的缓存规则,将根据所述缓存规则获得的数据进行缓存,以对缓存的数据进行读取,所述缓存规则获得的数据包括:与所述数据请求对应的数据相关联的数据。
12.一种任务处理装置,所述装置包括:
第一数据任务获取模块,用于响应于第一数据任务的执行请求,执行所述第一数据任务;
任务数据缓存模块,用于将根据缓存规则获得的数据进行缓存,所述缓存规则获得的数据包括:与所述第一数据任务对应的数据相关联的数据;
第二数据任务执行模块,用于响应于第二数据任务的执行请求,根据缓存的数据执行所述第二数据任务,所述第二数据任务为按照预设排序规则确定的位于所述第一数据任务之后的数据任务。
13.一种电子设备,其特征在于,包括:处理器;和
存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1-10中任一项所述的方法。
14.一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如权利要求1-10中任一项所述的方法。
CN202010739298.3A 2020-07-28 2020-07-28 数据缓存和任务处理方法、装置、设备以及存储介质 Pending CN113297267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010739298.3A CN113297267A (zh) 2020-07-28 2020-07-28 数据缓存和任务处理方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010739298.3A CN113297267A (zh) 2020-07-28 2020-07-28 数据缓存和任务处理方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN113297267A true CN113297267A (zh) 2021-08-24

Family

ID=77318167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010739298.3A Pending CN113297267A (zh) 2020-07-28 2020-07-28 数据缓存和任务处理方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN113297267A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117170889A (zh) * 2023-11-01 2023-12-05 沐曦集成电路(上海)有限公司 异构非阻塞数据包同步处理系统
CN113806651B (zh) * 2021-09-18 2024-05-24 深圳市酷开网络科技股份有限公司 一种数据缓存方法、装置、服务器及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806651B (zh) * 2021-09-18 2024-05-24 深圳市酷开网络科技股份有限公司 一种数据缓存方法、装置、服务器及存储介质
CN117170889A (zh) * 2023-11-01 2023-12-05 沐曦集成电路(上海)有限公司 异构非阻塞数据包同步处理系统
CN117170889B (zh) * 2023-11-01 2024-01-23 沐曦集成电路(上海)有限公司 异构非阻塞数据包同步处理系统

Similar Documents

Publication Publication Date Title
US10606806B2 (en) Method and apparatus for storing time series data
US10649905B2 (en) Method and apparatus for storing data
CN111177113B (zh) 数据迁移方法、装置、计算机设备和存储介质
CN107885741A (zh) 图片缓存管理方法及移动终端
CN104657435A (zh) 一种应用数据的存储管理方法和网络管理系统
CN113297267A (zh) 数据缓存和任务处理方法、装置、设备以及存储介质
CN115455058A (zh) 缓存数据的处理方法、装置、计算机设备及存储介质
CN115114232A (zh) 一种历史版本对象列举方法、装置及其介质
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN111611479A (zh) 用于网络资源推荐的数据处理方法及相关装置
WO2018111696A1 (en) Partial storage of large files in distinct storage systems
CN112597151A (zh) 数据处理方法、装置、设备和存储介质
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
CN113849524B (zh) 一种数据处理方法及装置
CN113448739B (zh) 一种数据处理方法及装置
US20230083822A1 (en) Optimized rendering of web pages
US10114864B1 (en) List element query support and processing
CN115033551A (zh) 一种数据库迁移方法、装置、电子设备及存储介质
CN113296973A (zh) 一种消息处理方法、消息读取方法、装置及可读介质
CN110908958B (zh) 一种文件处理方法、装置、终端及存储介质
CN116126546B (zh) 一种性能调优的方法、装置、电子设备及介质
CN109324858B (zh) 网页中显示内容的获取方法和装置
CN118277054A (zh) 分页数据的显示方法、装置、电子设备和存储介质
CN117742567A (zh) 数据存储方法、装置、电子设备以及存储介质
CN116796096A (zh) 一种基于并行请求的移动端页面数据加载方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40057906

Country of ref document: HK