CN109543080A - 一种缓存数据处理方法、装置、电子设备及存储介质 - Google Patents

一种缓存数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109543080A
CN109543080A CN201811474776.1A CN201811474776A CN109543080A CN 109543080 A CN109543080 A CN 109543080A CN 201811474776 A CN201811474776 A CN 201811474776A CN 109543080 A CN109543080 A CN 109543080A
Authority
CN
China
Prior art keywords
data
key name
data processing
packaged
processing request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811474776.1A
Other languages
English (en)
Other versions
CN109543080B (zh
Inventor
方明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811474776.1A priority Critical patent/CN109543080B/zh
Publication of CN109543080A publication Critical patent/CN109543080A/zh
Application granted granted Critical
Publication of CN109543080B publication Critical patent/CN109543080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/123Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了一种缓存数据处理方法、装置、电子设备及存储介质。其中,该方法包括:生成与缓存中的缓存数据对应的基础映射表,并对所述基础映射表进行分组,得到预设数量的分组映射表,其中,所述基础映射表中包括所有缓存数据的键名和所述所有缓存数据在链表中的位置;获取数据处理请求,并确定所述数据处理请求中的目标键名;并行在各所述分组映射表中查询所述目标键名;根据查询结果以及所述数据处理请求的类型,对所述缓存中的缓存数据进行处理。本公开实施例可以通过并行在各分组映射表中查询目标键名,减少使用缓存数据的键名遍历映射表的时间,从而有效减小缓存数据读写时的延时,提高系统性能。

Description

一种缓存数据处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及数据处理技术,尤其涉及一种缓存数据处理方法、装置、电子设备及存储介质。
背景技术
一般来说,缓存策略主要包含缓存的添加、获取和删除这三类操作。通常使用最近最少使用算法(Least Recently Used,LRU)进行缓存,其将资源按照最近访问时间组成一个链表。当一个缓存中的资源被访问时,该节点被从链表中摘下,并重新插入链表头部;当一个不在缓存中的新资源被访问时,链表末尾最久未被访问的资源被移除,新资源被插入到链表首部。内存缓存LruCache是android提供的一个缓存工具类,其算法是最近最少使用算法。
现有技术采用LruCache进行数据缓存。LruCache使用链表来保存缓存数据,使用映射表保存数据的键名和数据在链表中的位置。映射表主要用于加速查找。例如,每次读取数据时,使用数据的键名遍历映射表,判断数据是否在缓存中。若在,则通过数据在链表中的位置返回数据值;若不在,返回相应的提示信息。
现有技术中,映射表保存数据的键名的数量特别大,可能达到100万。每次数据的读写都需要使用数据的键名遍历映射表,判断数据是否在缓存中。以及每个数据都对应于一个互斥锁标记,在每次数据读写时都需要加锁和写锁,用于保证在任一时刻,只有一个线程访问该数据进行读写。每次数据的读写都会有一定的延时,例如,200ms-20s的延时,造成系统性能急剧下降。
发明内容
本公开提供一种缓存数据处理方法、装置、电子设备及存储介质,以实现有效减小缓存数据读写时的延时,提高系统性能。
第一方面,本公开实施例提供了一种缓存数据处理方法,包括:
生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置;
获取数据处理请求,并确定数据处理请求中的目标键名;
并行在各分组映射表中查询目标键名;
根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理。
上述方案中,可选的是,根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理,包括:
如果在分组映射表中查询到目标键名,则将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中;
其中,无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中;
在确定定时器计时至打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理。
上述方案中,可选的是,将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中,包括:
将键名和预设等待时间打包,得到打包数据;
在获取预设数量的打包数据后,将预设数量的打包数据放入无锁队列中。
上述方案中,可选的是,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理,包括:
如果数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,并使用新数据更新链表中与目标键名对应的缓存数据;
如果数据处理请求的类型为数据读取,则在链表中获取与目标键名对应的缓存数据,生成与数据处理请求对应的请求反馈结果。
上述方案中,可选的是,根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理,包括:
如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,将新数据添加至链表,并更新基础映射表;
如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据读取,则生成提示信息,并发送提示信息。
第二方面,本公开实施例还提供了一种缓存数据处理装置,包括:
映射表分组模块,用于生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置;
键名确定模块,用于获取数据处理请求,并确定数据处理请求中的目标键名;
键名查询模块,用于并行在各分组映射表中查询目标键名;
数据处理模块,用于根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理。
上述方案中,可选的是,数据处理模块包括:
数据放入子模块,用于如果在分组映射表中查询到目标键名,则将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中;
其中,无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中;
数据处理子模块,用于在确定定时器计时至打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理。
上述方案中,可选的是,数据放入子模块包括:
打包数据生成单元,用于将键名和预设等待时间打包,得到打包数据;
打包数据放入单元,用于在获取预设数量的打包数据后,将预设数量的打包数据放入无锁队列中。
上述方案中,可选的是,数据处理子模块包括:
数据写入单元,用于如果数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,并使用新数据更新链表中与目标键名对应的缓存数据;
数据读取单元,用于如果数据处理请求的类型为数据读取,则在链表中获取与目标键名对应的缓存数据,生成与数据处理请求对应的请求反馈结果。
上述方案中,可选的是,数据处理模块包括:
数据写入子模块,用于如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,将新数据添加至链表,并更新基础映射表;
数据读取子模块,用于如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据读取,则生成提示信息,并发送提示信息。
第三方面,本公开实施例还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如本公开实施例所述的缓存数据处理方法。
第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如本公开实施例所述的缓存数据处理方法。
本公开实施例通过生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置,然后在获取数据处理请求后,确定数据处理请求中的目标键名,并行在各分组映射表中查询目标键名,根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理,可以通过并行在各分组映射表中查询目标键名,减少使用缓存数据的键名遍历映射表的时间,从而有效减小缓存数据读写时的延时,提高系统性能。
附图说明
图1为本公开实施例提供的一种缓存数据处理方法的流程图;
图2为本公开实施例提供的一种缓存数据处理方法的流程图;
图3为本公开实施例提供的一种缓存数据处理方法的流程图;
图4为本公开实施例提供的一种缓存数据处理装置的结构示意图;
图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分而非全部结构。
图1为本公开实施例提供的一种缓存数据处理方法的流程图,本实施例可适用于对缓存数据进行处理的情况,该方法可以由缓存数据处理装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于电子设备,例如,终端设备或服务器中。如图1所示,该方法可以包括如下步骤:
步骤101、生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置。
其中,缓存数据以键值对的形式存在。键值对包括两个数据项:键名和键值。键名是缓存数据的标号,为缓存数据的唯一标识。键值是缓存数据的数据内容。
使用链表来保存缓存数据的数据内容。链表是一种物理存储单元上非连续、非顺序的存储结构,数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为结点)组成,结点可以在运行时动态生成。每个结点包括两个部分:一个是存储数据元素的数据域,另一个是存储下一个结点地址的指针域。
使用基础映射表保存所有缓存数据的键名和所有缓存数据在链表中的位置。基础映射表用于加速查找缓存数据。例如,读取某个缓存数据时,使用该缓存数据的键名遍历基础映射表,判断基础映射表中是否包括该缓存数据的键名,即判断缓存数据是否在缓存中。若基础映射表中包括该缓存数据的键名,表明缓存数据在缓存中,则通过该缓存数据在链表中的位置获取该缓存数据,并返回该缓存数据。若基础映射表中不包括该缓存数据的键名,表明缓存数据不在缓存中,则返回相应的提示信息。提示信息用于提示用户该缓存数据不在缓存中。
对基础映射表进行分组,得到预设数量的分组映射表。例如,将基础映射表分为n组分组映射表:第一组分组映射表,第二组分组映射表……第n组分组映射表。n为预设数量。n是大于等于2的整数,可以根据需求进行设置。每组分组映射表中有多个缓存数据的键名,以及在链表中的位置。
步骤102、获取数据处理请求,并确定数据处理请求中的目标键名。
其中,用户端或服务器可以通过发送数据处理请求,请求对缓存数据进行处理。数据处理请求中包括请求进行处理的缓存数据的键名,即目标键名。
数据处理请求的类型包括数据写入和数据读取。类型为数据写入的数据处理请求用于将缓存数据写入缓存,该数据处理请求中包括请求进行写入的缓存数据的键名。类型为数据读取的数据处理请求用于读取缓存中的缓存数据,该数据处理请求中包括请求进行读取的缓存数据的键名。
步骤103、并行在各分组映射表中查询目标键名。
其中,并行使用该缓存数据的键名遍历各分组映射表,判断各分组映射表中是否包括目标键名,即判断与目标键名对应的缓存数据是否在缓存中。
步骤104、根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理。
其中,查询结果为在分组映射表中查询到目标键名,或者在分组映射表中未查询到目标键名。数据处理请求的类型包括数据写入和数据读取。
如果在分组映射表中查询到目标键名,且数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,并使用新数据更新链表中与目标键名对应的缓存数据。如果在分组映射表中查询到目标键名,且数据处理请求的类型为数据读取,则在链表中获取与目标键名对应的缓存数据,生成与数据处理请求对应的请求反馈结果。
如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,将新数据添加至链表,并更新基础映射表。如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据读取,则生成提示信息,并发送提示信息。提示信息用于提示所要读取的缓存数据不在缓存中。
本实施例的技术方案,通过生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置,然后在获取数据处理请求后,确定数据处理请求中的目标键名,并行在各分组映射表中查询目标键名,根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理,可以通过并行在各分组映射表中查询目标键名,减少使用缓存数据的键名遍历映射表的时间,从而有效减小缓存数据读写时的延时,提高系统性能。
图2为本公开实施例提供的一种缓存数据处理方法的流程图,本实施例可以与上述一个或者多个实施例中各个可选方案结合,在本实施例中,根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理,包括:如果在分组映射表中查询到目标键名,则将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中;其中,无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中;在确定定时器计时至打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理。
如图2所示,该方法可以包括如下步骤:
步骤201、生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置。
步骤202、获取数据处理请求,并确定数据处理请求中的目标键名。
步骤203、并行在各分组映射表中查询目标键名。
步骤204、如果在分组映射表中查询到目标键名,则将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中;其中,无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中。
其中,每组分组映射表预设有对应的无锁队列和定时器。无锁队列是在只有一个读者和一个写者的情况下,无需上锁的队列。无锁队列拥有线程安全的特性,性能相比于加锁方式实现的队列提升数倍。可选的,基于Linux内核中的内核队列Kfifo,实现每组分组映射表预设有对应的无锁队列。
如果在某个分组映射表中查询到目标键名,则将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入与该分组映射表对应的预设的无锁队列中。无锁队列用于定期将队列中的打包数据放入与该分组映射表对应的预设的定时器的数组中。预设等待时间为设置的等待时间。定时器对数组中各打包数据的预设等待时间进行轮询,监测是否到达各打包数据的预设等待时间。
可选的,根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理,包括:如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,将新数据添加至链表,并更新基础映射表;如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据读取,则生成提示信息,并发送提示信息。
其中,如果在某个分组映射表中查询到目标键名,则直接根据数据处理请求的类型,对缓存中的缓存数据进行处理。如果数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,将新数据添加至链表,即将新数据写入至缓存中,并更新基础映射表。更新基础映射表是指将新数据的键名和在链表中的位置保存至基础映射表所包括的某个分组映射表中。如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据读取,则生成提示信息,并发送提示信息。提示信息用于提示所要读取的缓存数据不在缓存中。
步骤205、在确定定时器计时至打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理。
其中,在确定定时器计时至打包数据的预设等待时间,即到达打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理。
可选的,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理,包括:如果数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,并使用新数据更新链表中与目标键名对应的缓存数据;如果数据处理请求的类型为数据读取,则在链表中获取与目标键名对应的缓存数据,生成与数据处理请求对应的请求反馈结果。
其中,获取类型为数据写入的数据处理请求中与目标键名对应的新数据,将新数据添加至链表,即将新数据写入至缓存中,并更新基础映射表。更新基础映射表是指将新数据的键名和在链表中的位置保存至基础映射表所包括的某个分组映射表中。
如果数据处理请求的类型为数据读取,则根据与目标键名对应的缓存数据在链表中的位置,在链表中获取与目标键名对应的缓存数据,即获取在链表中获取与目标键名对应的缓存数据的数据内容,将该缓存数据的数据内容作为与数据处理请求对应的请求反馈结果。
本实施例的技术方案,通过在分组映射表中查询到目标键名时,将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中,其中,无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中,然后在确定定时器计时至打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理,可以通过与分组映射表对应的无锁队列和定时器实现定期对缓存数据进行处理,提高缓存数据处理效率。
图3为本公开实施例提供的一种缓存数据处理方法的流程图,本实施例可以与上述一个或者多个实施例中各个可选方案结合,在本实施例中,将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中,包括:将键名和预设等待时间打包,得到打包数据;在获取预设数量的打包数据后,将预设数量的打包数据放入无锁队列中。
如图3所示,该方法可以包括如下步骤:
步骤301、生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置。
步骤302、获取数据处理请求,并确定数据处理请求中的目标键名。
步骤303、并行在各分组映射表中查询目标键名。
步骤304、如果在分组映射表中查询到目标键名,则将键名和预设等待时间打包,得到打包数据。
步骤305、在获取预设数量的打包数据后,将预设数量的打包数据放入无锁队列中;其中,无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中。
其中,预设数量可以根据需求设置。例如,获取100个预设数量的打包数据后,将预设数量的打包数据放入无锁队列中。获取5秒内的打包数据,将5秒内的打包数据放入无锁队列中。在获取预设数量的打包数据后,将预设数量的打包数据放入无锁队列中,通过无锁队列将预设数量的打包数据整体地放入预设的定时器的数组中。
步骤306、在确定定时器计时至打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理。
本实施例的技术方案,通过将键名和预设等待时间打包,得到打包数据,然后在获取预设数量的打包数据后,将预设数量的打包数据放入无锁队列中,可以将预设数量的打包数据整体地放入预设的定时器的数组中,有效降低定时器在进行读写时的加锁解锁次数。
图4为本公开实施例提供的一种缓存数据处理装置的结构示意图,本实施例可适用于对缓存数据进行处理的情况。该装置可以采用软件和/或硬件的方式实现,该装置可以配置于电子设备。如图4所示,该装置可以包括:映射表分组模块401、键名确定模块402、键名查询模块403和数据处理模块404。
其中,映射表分组模块401,用于生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置;键名确定模块402,用于获取数据处理请求,并确定数据处理请求中的目标键名;键名查询模块403,用于并行在各分组映射表中查询目标键名;数据处理模块404,用于根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理。
本实施例的技术方案,通过生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置,然后在获取数据处理请求后,确定数据处理请求中的目标键名,并行在各分组映射表中查询目标键名,根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理,可以通过并行在各分组映射表中查询目标键名,减少使用缓存数据的键名遍历映射表的时间,从而有效减小缓存数据读写时的延时,提高系统性能。
可选的,在上述技术方案的基础上,数据处理模块404可以包括:数据放入子模块,用于如果在分组映射表中查询到目标键名,则将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中;其中,无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中;数据处理子模块,用于在确定定时器计时至打包数据的预设等待时间时,根据数据处理请求的类型对链表中与目标键名对应的缓存数据进行处理。
可选的,在上述技术方案的基础上,数据放入子模块可以包括:打包数据生成单元,用于将键名和预设等待时间打包,得到打包数据;打包数据放入单元,用于在获取预设数量的打包数据后,将预设数量的打包数据放入无锁队列中。
可选的,在上述技术方案的基础上,数据处理子模块可以包括:数据写入单元,用于如果数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,并使用新数据更新链表中与目标键名对应的缓存数据;数据读取单元,用于如果数据处理请求的类型为数据读取,则在链表中获取与目标键名对应的缓存数据,生成与数据处理请求对应的请求反馈结果。
可选的,在上述技术方案的基础上,数据处理模块404可以包括:数据写入子模块,用于如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据写入,则获取数据处理请求中与目标键名对应的新数据,将新数据添加至链表,并更新基础映射表;数据读取子模块,用于如果在分组映射表中未查询到目标键名,且数据处理请求的类型为数据读取,则生成提示信息,并发送提示信息。
本公开实施例所提供的缓存数据处理装置可执行本公开实施例所提供的缓存数据处理方法,具备执行方法相应的功能模块和有益效果。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:生成与缓存中的缓存数据对应的基础映射表,并对基础映射表进行分组,得到预设数量的分组映射表,其中,基础映射表中包括所有缓存数据的键名和所有缓存数据在链表中的位置;获取数据处理请求,并确定数据处理请求中的目标键名;并行在各分组映射表中查询目标键名;根据查询结果以及数据处理请求的类型,对缓存中的缓存数据进行处理。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块、子模块、单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块、子模块、单元的名称在某种情况下并不构成对该模块或单元本身的限定,例如,键名确定模块还可以被描述为“获取数据处理请求,并确定数据处理请求中的目标键名的模块”,数据放入子模块还可以被描述为“如果在分组映射表中查询到目标键名,则将目标键名和预设等待时间进行打包得到打包数据,并将打包数据放入预设的无锁队列中的子模块”,打包数据生成单元还可以被描述为“将键名和预设等待时间打包,得到打包数据的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种缓存数据处理方法,其特征在于,包括:
生成与缓存中的缓存数据对应的基础映射表,并对所述基础映射表进行分组,得到预设数量的分组映射表,其中,所述基础映射表中包括所有缓存数据的键名和所述所有缓存数据在链表中的位置;
获取数据处理请求,并确定所述数据处理请求中的目标键名;
并行在各所述分组映射表中查询所述目标键名;
根据查询结果以及所述数据处理请求的类型,对所述缓存中的缓存数据进行处理。
2.根据权利要求1所述的方法,其特征在于,根据查询结果以及所述数据处理请求的类型,对所述缓存中的缓存数据进行处理,包括:
如果在所述分组映射表中查询到所述目标键名,则将所述目标键名和预设等待时间进行打包得到打包数据,并将所述打包数据放入预设的无锁队列中;
其中,所述无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中;
在确定所述定时器计时至所述打包数据的所述预设等待时间时,根据所述数据处理请求的类型对所述链表中与所述目标键名对应的缓存数据进行处理。
3.根据权利要求2所述的方法,其特征在于,将所述目标键名和预设等待时间进行打包得到打包数据,并将所述打包数据放入预设的无锁队列中,包括:
将所述键名和预设等待时间打包,得到打包数据;
在获取预设数量的打包数据后,将所述预设数量的打包数据放入所述无锁队列中。
4.根据权利要求2或3所述的方法,其特征在于,根据所述数据处理请求的类型对所述链表中与所述目标键名对应的缓存数据进行处理,包括:
如果所述数据处理请求的类型为数据写入,则获取所述数据处理请求中与所述目标键名对应的新数据,并使用所述新数据更新所述链表中与所述目标键名对应的缓存数据;
如果所述数据处理请求的类型为数据读取,则在所述链表中获取与所述目标键名对应的缓存数据,生成与所述数据处理请求对应的请求反馈结果。
5.根据权利要求1所述的方法,其特征在于,根据查询结果以及所述数据处理请求的类型,对所述缓存中的缓存数据进行处理,包括:
如果在所述分组映射表中未查询到所述目标键名,且所述数据处理请求的类型为数据写入,则获取所述数据处理请求中与所述目标键名对应的新数据,将所述新数据添加至所述链表,并更新所述基础映射表;
如果在所述分组映射表中未查询到所述目标键名,且所述数据处理请求的类型为数据读取,则生成提示信息,并发送所述提示信息。
6.一种缓存数据处理装置,其特征在于,包括:
映射表分组模块,用于生成与缓存中的缓存数据对应的基础映射表,并对所述基础映射表进行分组,得到预设数量的分组映射表,其中,所述基础映射表中包括所有缓存数据的键名和所述所有缓存数据在链表中的位置;
键名确定模块,用于获取数据处理请求,并确定所述数据处理请求中的目标键名;
键名查询模块,用于并行在各所述分组映射表中查询所述目标键名;
数据处理模块,用于根据查询结果以及所述数据处理请求的类型,对所述缓存中的缓存数据进行处理。
7.根据权利要求6所述的装置,其特征在于,数据处理模块包括:
数据放入子模块,用于如果在所述分组映射表中查询到所述目标键名,则将所述目标键名和预设等待时间进行打包得到打包数据,并将所述打包数据放入预设的无锁队列中;
其中,所述无锁队列用于定期将队列中的打包数据放入预设的定时器的数组中;
数据处理子模块,用于在确定所述定时器计时至所述打包数据的所述预设等待时间时,根据所述数据处理请求的类型对所述链表中与所述目标键名对应的缓存数据进行处理。
8.根据权利要求7所述的装置,其特征在于,数据放入子模块包括:
打包数据生成单元,用于将所述键名和预设等待时间打包,得到打包数据;
打包数据放入单元,用于在获取预设数量的打包数据后,将所述预设数量的打包数据放入所述无锁队列中。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的缓存数据处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-5中任一所述的缓存数据处理方法。
CN201811474776.1A 2018-12-04 2018-12-04 一种缓存数据处理方法、装置、电子设备及存储介质 Active CN109543080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811474776.1A CN109543080B (zh) 2018-12-04 2018-12-04 一种缓存数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811474776.1A CN109543080B (zh) 2018-12-04 2018-12-04 一种缓存数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109543080A true CN109543080A (zh) 2019-03-29
CN109543080B CN109543080B (zh) 2020-11-06

Family

ID=65852911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811474776.1A Active CN109543080B (zh) 2018-12-04 2018-12-04 一种缓存数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109543080B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704110A (zh) * 2019-09-30 2020-01-17 浪潮软件股份有限公司 一种提高系统高并发情况下的响应速度的方法和装置
CN110764705A (zh) * 2019-10-22 2020-02-07 北京锐安科技有限公司 一种数据的读写方法、装置、设备和存储介质
CN111045608A (zh) * 2019-12-29 2020-04-21 北京浪潮数据技术有限公司 一种有效性代码的查找方法、装置、设备及可读存储介质
CN111282282A (zh) * 2020-02-04 2020-06-16 网易(杭州)网络有限公司 游戏数据处理方法、游戏数据处理装置、介质、电子设备
CN112433957A (zh) * 2020-11-16 2021-03-02 合肥康芯威存储技术有限公司 一种数据存取方法、数据存取系统及可读存储设备
WO2021057325A1 (zh) * 2019-09-26 2021-04-01 北京字节跳动网络技术有限公司 内容的缓存和读取方法、客户端及存储介质
CN113239098A (zh) * 2021-07-14 2021-08-10 腾讯科技(深圳)有限公司 一种数据管理方法、计算机及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853149A (zh) * 2009-03-31 2010-10-06 张力 多核系统中单生产者/单消费者队列的处理方法及装置
CN102638410A (zh) * 2012-04-28 2012-08-15 迈普通信技术股份有限公司 一种无锁并行的流量调度方法及系统
CN102819586A (zh) * 2012-07-31 2012-12-12 北京网康科技有限公司 一种基于高速缓存的url分类方法和设备
CN103927123A (zh) * 2013-01-15 2014-07-16 华为技术有限公司 缓存管理方法及装置
CN106294205A (zh) * 2015-05-15 2017-01-04 北京国双科技有限公司 缓存数据处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853149A (zh) * 2009-03-31 2010-10-06 张力 多核系统中单生产者/单消费者队列的处理方法及装置
CN102638410A (zh) * 2012-04-28 2012-08-15 迈普通信技术股份有限公司 一种无锁并行的流量调度方法及系统
CN102819586A (zh) * 2012-07-31 2012-12-12 北京网康科技有限公司 一种基于高速缓存的url分类方法和设备
CN103927123A (zh) * 2013-01-15 2014-07-16 华为技术有限公司 缓存管理方法及装置
CN106294205A (zh) * 2015-05-15 2017-01-04 北京国双科技有限公司 缓存数据处理方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057325A1 (zh) * 2019-09-26 2021-04-01 北京字节跳动网络技术有限公司 内容的缓存和读取方法、客户端及存储介质
US11907121B2 (en) 2019-09-26 2024-02-20 Beijing Bytedance Network Technology Co., Ltd. Methods for caching and reading content, client, and storage medium
CN110704110A (zh) * 2019-09-30 2020-01-17 浪潮软件股份有限公司 一种提高系统高并发情况下的响应速度的方法和装置
CN110764705A (zh) * 2019-10-22 2020-02-07 北京锐安科技有限公司 一种数据的读写方法、装置、设备和存储介质
CN110764705B (zh) * 2019-10-22 2023-08-04 北京锐安科技有限公司 一种数据的读写方法、装置、设备和存储介质
CN111045608A (zh) * 2019-12-29 2020-04-21 北京浪潮数据技术有限公司 一种有效性代码的查找方法、装置、设备及可读存储介质
CN111045608B (zh) * 2019-12-29 2023-12-08 北京浪潮数据技术有限公司 一种有效性代码的查找方法、装置、设备及可读存储介质
CN111282282A (zh) * 2020-02-04 2020-06-16 网易(杭州)网络有限公司 游戏数据处理方法、游戏数据处理装置、介质、电子设备
CN112433957A (zh) * 2020-11-16 2021-03-02 合肥康芯威存储技术有限公司 一种数据存取方法、数据存取系统及可读存储设备
CN112433957B (zh) * 2020-11-16 2023-04-14 合肥康芯威存储技术有限公司 一种数据存取方法、数据存取系统及可读存储设备
CN113239098A (zh) * 2021-07-14 2021-08-10 腾讯科技(深圳)有限公司 一种数据管理方法、计算机及可读存储介质

Also Published As

Publication number Publication date
CN109543080B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN109543080A (zh) 一种缓存数据处理方法、装置、电子设备及存储介质
CN110275841B (zh) 访问请求处理方法、装置、计算机设备和存储介质
CN109375918A (zh) 小程序的界面渲染方法、装置、电子设备和存储介质
CN109871388A (zh) 数据缓存方法、装置、终电子设备及存储介质
CN109656923A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN109062563B (zh) 用于生成页面的方法和装置
CN109447635A (zh) 用于区块链的信息存储方法和装置
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN109657174A (zh) 用于更新数据的方法和装置
CN111737564B (zh) 一种信息查询方法、装置、设备及介质
CN110222775A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109766362A (zh) 数据处理方法及装置
CN108011949A (zh) 用于获取数据的方法和装置
CN109885593A (zh) 用于处理信息的方法和装置
CN109446092A (zh) 对用户界面ui元素进行标识的方法、装置及电子设备
CN115994122B (zh) 快速缓存信息的方法、系统、设备及储存介质
US20140095508A1 (en) Efficient selection of queries matching a record using a cache
CN110019552A (zh) 用户关注状态更新的方法和装置
CN110365745A (zh) 数据处理系统、方法、装置、服务器和计算机可读介质
CN114780564A (zh) 数据处理方法、数据处理装置、电子设备和存储介质
CN115757492A (zh) 一种热点数据的处理方法、装置、计算机设备及存储介质
CN109697034A (zh) 一种数据写入方法、装置、电子设备及存储介质
CN115129257A (zh) 数据读写方法、电子设备及计算机可读存储介质
CN110198473A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN107748649B (zh) 一种缓存数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant