CN113885801A - 一种内存数据的处理方法及装置 - Google Patents

一种内存数据的处理方法及装置 Download PDF

Info

Publication number
CN113885801A
CN113885801A CN202111158306.6A CN202111158306A CN113885801A CN 113885801 A CN113885801 A CN 113885801A CN 202111158306 A CN202111158306 A CN 202111158306A CN 113885801 A CN113885801 A CN 113885801A
Authority
CN
China
Prior art keywords
data area
access
data
hot
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111158306.6A
Other languages
English (en)
Inventor
霍南风
刘文曜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202111158306.6A priority Critical patent/CN113885801A/zh
Publication of CN113885801A publication Critical patent/CN113885801A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种内存数据的处理方法及装置，可用于金融领域或其他技术领域。所述方法包括：获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；若判断获知所述存储参考值小于对应的参考阈值，则降低访问阈值；若判断获知冷数据区域内访问标识对应的访问次数大于访问阈值，则将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。所述装置用于执行上述方法。本发明实施例提供的内存数据的处理方法及装置，提高了热数据区域的利用率。

Description

一种内存数据的处理方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种内存数据的处理方法及装置。
背景技术
目前，在实际的业务系统中，存在重复的数据读取操作，为了提高数据的读取效率，可以将数据缓存在内存中，下次读取数据时直接从内存中读取。
现有技术中，由于内存的空间有限，经常采用最不经常使用淘汰(LeastFrequently Used，简称LFU)算法和最近最少使用淘汰(Least Recently Used，简称LRU)算法管理内存中的数据，以提高内存的利用率。LRU算法在应用的过程中，通常根据经验设置阈值，如果数据的访问次数高于阈值，那么存放到内存中，当大量数据的访问次数都小于阈值时，会出现内存中缓存的数据较少的情况，导致内存利用率较低。
发明内容
针对现有技术中的问题，本发明实施例提供一种内存数据的处理方法及装置，能够至少部分地解决现有技术中存在的问题。
一方面，本发明提出一种内存数据的处理方法，包括：
获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；
若判断获知所述存储参考值小于对应的参考阈值，则降低访问阈值；
若判断获知冷数据区域内访问标识对应的访问次数大于访问阈值，则将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
另一方面，本发明提供一种内存数据的处理装置，包括：
获取模块，用于获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；
降低模块，用于在判断获知所述存储参考值小于对应的参考阈值之后，降低访问阈值；
迁移模块，用于在判断获知冷数据区域内访问标识对应的访问次数大于访问阈值之后，将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述内存数据的处理方法的步骤。
又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述内存数据的处理方法的步骤。
本发明实施例提供的内存数据的处理方法及装置，能够获取热数据区域在设定周期内的存储参考值，在判断获知存储参考值小于对应的参考阈值之后，降低访问阈值，在判断获知冷数据区域内访问标识对应的访问次数大于访问阈值之后，将访问标识对应的数据迁移到热数据区域，降低数据存储到热数据区域的门槛，使数据能够更容易地缓存到热数据区域，提高了热数据区域的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明第一实施例提供的内存数据的处理方法的流程示意图。
图2是本发明第二实施例提供的内存数据的处理方法的流程示意图。
图3是本发明第三实施例提供的内存数据的处理方法的流程示意图。
图4是本发明第四实施例提供的内存数据的处理方法的流程示意图。
图5是本发明第五实施例提供的内存数据的处理方法的流程示意图。
图6是本发明第六实施例提供的内存数据的处理装置的结构示意图。
图7是本发明第七实施例提供的内存数据的处理装置的结构示意图。
图8是本发明第八实施例提供的内存数据的处理装置的结构示意图。
图9是本发明第九实施例提供的内存数据的处理装置的结构示意图。
图10是本发明第十实施例提供的内存数据的处理装置的结构示意图。
图11是本发明第十一实施例提供的内存数据的处理装置的结构示意图。
图12是本发明第十二实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。在本发明实施例中，将内存划分为冷数据区域和热数据区域，并在内存中设置专门的区域存储访问标识，对热数据区域和冷数据区域存储的数据均采用LRU算法进行数据管理，将被访问的数据先存储到冷数据区域，并统计数据的访问次数，在数据的访问次数大于等于访问阈值之后，将数据从冷数据区域迁移到热数据区域。而对于从热数据区域淘汰的数据，则迁移到冷数据区域。其中，可以为热数据区域和冷数据区域存储的数据设置存储期限。
当冷热数据切换过快，热数据在频繁进行切换时，可以通过提高访问阈值提高进入热数据区域的门槛，避免临时热数据大量替代以往的热数据；当热数据区数据存在较大的空闲时，可以通过减少访问阀值使冷数据存储的数据更容易迁移到热数据区域，达到提高内存利用率并保持较新的热数据的目的。
下面以服务器作为执行主体为例，来说明本发明实施例提供的内存数据的处理方法的实现过程。可理解的是，本发明实施例提供的内存数据的处理方法的执行主体不限于服务器。
图1是本发明一实施例提供的内存数据的处理方法的流程示意图，如图1所示，本发明实施例提供的内存数据的处理方法，包括：
S101、获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；
具体地，服务器可以获取热数据区域在设定周期内的存储参考值，所述热数据区域是内存中的预设区域。其中，所述设定周期根据实际需要进行设置，本发明实施例不做限定。所述存储参考值比如为存储大小或者访问标识的数量。
例如，所述设定周期为24小时或者12小时。
S102、若判断获知所述存储参考值小于对应的参考阈值，则降低访问阈值；
具体地，所述服务器将所述存储参考值与所述存储参考值对应的参考阈值进行比较，如果所述存储参考值小于对应的参考阈值，说明所述热数据区域存储的数据量较少，所述服务器会降低访问阈值，使更多的数据存储到所述热数据区域，以提高热数据区域的利用率，以及数据的访问效率。其中，所述存储参考值对应的参考阈值根据实际需要进行设置，本发明实施例不做限定。所述访问阈值是预设的，根据实际经验进行设置，本发明实施例不做限定。
例如，在降低所述访问阈值时，可以将所述访问阈值减1。
可理解的是，存储在所述热数据区域内的数据很多到期时，会到期的数据会从所述热数据区域清除，可能导致所述热数据区域出现大量的空闲空间。
S103、若判断获知冷数据区域内访问标识对应的访问次数大于访问阈值，则将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
具体地，所述服务器可以获取冷数据区域内各个访问标识对应的访问次数，然后将所述冷数据区域内每个访问标识对应的访问次数与访问阈值进行比较，如果所述冷数据区域内访问标识对应的访问次数大于等于访问阈值，则将所述冷数据区域内访问标识对应的数据迁移到所述热数据区域。其中，所述冷数据区域是内存中的预设区域，并且所述冷数据区域与所述热数据区域不存在重叠。所述访问标识与数据一一对应。
例如，所述热数据区域采用LRU算法进行数据管理，在将所述冷数据区域的数据迁移到所述热数据区域时，会将从所述冷数据区域迁移的数据存储到所述热数据区域，并将迁移的数据对应的访问标识存储到所述热数据区域的队列头部。
例如，所述访问标识来源于键值(key-value)型数据库的key值，所述访问标识对应的数据，即key值对应的value值。
本发明实施例提供的内存数据的处理方法，能够获取热数据区域在设定周期内的存储参考值，在判断获知存储参考值小于对应的参考阈值之后，降低访问阈值，在判断获知冷数据区域内访问标识对应的访问次数大于访问阈值之后，将访问标识对应的数据迁移到热数据区域，降低数据存储到热数据区域的门槛，使数据能够更容易地缓存到热数据区域，提高了热数据区域的利用率。此外，由于将数据存储到热数据区域，能够提高数据的访问效率。
图2是本发明第二实施例提供的内存数据的处理方法的流程示意图，如图2所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理方法还包括：
S201、统计所述热数据区域在预设周期内的数据替换次数；
具体地，所述服务器在判断获知所述冷数据区域内访问标识对应的访问次数大于访问阈值之后，会将所述冷数据区域内访问标识对应的数据迁移到所述热数据区域，如果此时所述热数据区域需要先将已存储的数据迁出才能够存储从冷数据区域迁移来的数据，此时所述服务器会记录所述热数据区域出现一次数据替换。所述服务器可以统计出所述热数据区域在预设周期内的数据替换次数。其中，所述预设周期比如为24小时，根据实际需要进行设置，本发明实施例不做限定。可理解的是在一个预设周期结束之后，所述数据替换次数会清零。
例如，所述热数据区域的数据是以LRU算法进行数据管理的，从所述冷数据区域迁移的数据对应的访问标识会存储到所述热数据区域的队列头部，所述冷数据区域迁移的数据会存储到所述热数据区域。在从所述冷数据区域迁移数据之前，所述服务器可以判断所述热数据区域是否有足够存储空间存储将要迁移进来的数据，如果所述热数据区域的存储空间不足，可以将所述热数据区域的队列尾部的访问标识对应的数据先迁移到所述冷数据区域，然后再从所述冷数据区域迁移进行数据迁移。在上述情况下，所述服务器会记录发生1次数据替换，所述预设周期内的数据替换次数加1。
S202、若判断获知所述数据替换次数大于替换阈值，则增加所述访问阈值。
具体地，所述服务器会将所述预设周期内的数据替换次数与替换阈值进行比较，如果所述预设周期内的数据替换次数大于所述替换阈值，说明所述热数据区域内的数据替换频率较高，很可能出现大量临时数据淘汰热点数据的情况，所述服务器会增加所述访问阈值，提高将数据存储到所述热数据区域的难度，以降低所述热数据区域内的数据替换频率。其中，所述替换阈值根据实际经验进行设置，本发明实施例不做限定。
例如，在增加所述访问阈值时，可以将所述访问阈值加1。
图3是本发明第三实施例提供的内存数据的处理方法的流程示意图，如图3所示，在上述各实施例的基础上，进一步地，所述内存数据的处理方法还包括：
S301、若判断获知所述热数据区域的容量不足，则将所述热数据区域的队列尾部的访问标识存储到所述冷数据区域的队列头部，并将所述热数据区域的队列尾部的访问标识对应的数据迁移到所述冷数据区域；
具体地，当需要从所述冷数据区域迁移数据到所述热数据区域时，所述服务器会判断所述热数据区域的容量是否充足，如果所述热数据区域的容量不足，那么需要将所述热数据区域的数据先迁出一部分，可以将所述热数据区域的队列尾部的访问标识对应的数据迁移到所述冷数据区域，并将所述热数据区域的队列尾部的访问标识存储到所述冷数据区域的队列头部。其中，所述冷数据区域的队列是专门用于存储访问标识的，以方便进行访问标识的查询，可以在内存中设置专门的区域存储所述冷数据区域的队列。
例如，可以设置所述热数据区域的最大存储空间，在判断所述热数据区域的容量是否充足时，可以先获取所述热数据区域的剩余存储空间，并获取将要从所述冷数据区域迁移的数据大小，如果需要迁移到所述热数据区域的数据大小大于所述热数据区域的剩余存储空间，那么所述热数据区域的容量不足。
例如，可以设置所述热数据区域的队列的最大数量，即所述热数据区域的队列最多能够存储多少个访问标识，在判断所述热数据区域的容量是否充足时，可以先获取所述热数据区域的队列的剩余数量，即所述热数据区域的队列还可以存储几个访问标识，如果所述热数据区域的队列的剩余数量等于0，那么所述热数据区域的容量不足。
S302、将从所述冷数据区域迁移的数据对应的访问标识存储到所述热数据区域的队列头部，并将所述冷数据区域迁移的数据存储到所述热数据区域。
具体地，在从所述冷数据区域迁移数据到所述热数据区域时，所述服务器会将从所述冷数据区域迁移的数据对应的访问标识存储到所述热数据区域的队列头部，并将所述冷数据区域迁移的数据存储到所述热数据区域。其中，所述热数据区域的队列是专门用于存储访问标识的，以方便进行访问标识的查询，可以在内存中设置专门的区域存储所述热数据区域的队列。
图4是本发明第四实施例提供的内存数据的处理方法的流程示意图，如图4所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理方法还包括：
S401、接收访问请求，所述访问请求包括访问标识；
具体地，所述服务器可以接收客户端的访问请求，所述访问请求包括访问标识。其中，所述客户端包括但不限于台式机、笔记本电脑等设备。
S402、若判断获知所述访问标识存储在所述冷数据区域的队列中，则从所述冷数据区域中获取所述访问标识对应的数据并返回；
具体地，所述服务器在接收到所述访问请求之后，会先判断所述访问标识对应的数据是否已经缓存在内存中。所述服务器会根据所述访问标识先从所述热数据区域的队列中搜索所述访问标识，如果在所述热数据区域的队列中没有搜索到所述访问标识，那么会继续在所述冷数据区域的队列中搜索所述访问标识，如果在所述冷数据区域的队列中搜索到所述访问标识，那么会根据所述访问标识从所述冷数据区域中获得所述访问标识对应的数据，然后将所述访问标识对应的数据返回给所述客户端。
S403、更新所述访问标识对应的访问次数。
具体地，所述服务器在将所述访问标识对应的数据返回给所述客户端之后，会更新所述访问标识对应的访问次数。
在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理方法还包括：
若判断获知所述访问标识对应的更新后的访问次数大于等于所述访问阈值，则将所述访问标识对应的数据迁移到所述热数据区域。
具体地，所述服务器在更新完所述访问标识对应的访问次数之后，获得所述访问标识对应的更新后的访问次数，然后将上述更新后的访问次数与所述访问阈值进行比较，如果上述更新后的访问次数大于所述访问阈值，那么可以将所述访问标识对应的数据期迁移到所述热数据区域。
图5是本发明第五实施例提供的内存数据的处理方法的流程示意图，如图5所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理方法还包括：
S501、接收访问请求，所述访问请求包括访问标识；
具体地，所述服务器可以接收客户端的访问请求，所述访问请求包括访问标识。
S502、若判断获知所述访问标识对应的数据没有存储在所述冷数据区域和所述热数据区域，则从数据库获取所述访问标识对应的数据并返回；
具体地，所述服务器在接收到所述访问请求之后，会先判断所述访问标识对应的数据是否已经缓存在内存中。所述服务器会根据所述访问标识先从所述热数据区域的队列中搜索所述访问标识，如果在所述热数据区域的队列中没有搜索到所述访问标识，那么会继续在所述冷数据区域的队列中搜索所述访问标识，如果在所述冷数据区域的队列依然没有搜索到所述访问标识，那么所述服务器可以从数据库搜索所述访问标识对应的数据，然后将从所述数据库获取的所述访问标识对应的数据返回给所述客户端。
S503、将所述访问标识对应的数据加载到所述冷数据区域，并记录所述访问标识对应的访问次数。
具体地，所述服务器会将所述访问标识对应的数据加载到所述冷数据区域，可以将所述访问标识存储到所述冷数据区域的队列头部，将所述访问标识对应的数据拷贝到所述冷数据区域。所述服务器还会记录所述访问标识对应的访问次数，由于是从数据库拷贝的数据，所述访问标识对应的访问次数为1。
在上述各实施例的基础上，进一步地，所述存储参考值为存储大小或者访问标识的数量。
具体地，所述存储参考值可以为存储大小，所述服务器可以统计所述热数据区域在设定周期内的存储数据的大小，作为所述热数据区域在设定周期内的存储大小。所述存储参考值可以为访问标识的数量，所述服务器可以统计在设定周期内所述热数据区域的队列中包括的访问标识的多少，获得所述访问标识的数量。
例如，所述服务器在设定周期内可以对所述热数据区域的存储数据的大小进行抽样，比如设定周期为12小时，每半小时进行一次抽样，获得12个存储数据的大小，计算12个存储数据的大小的平均值作为所述存储大小。
例如，所述在设定周期内可以对所述热数据区域的队列中包括的访问标识的多少进行抽样，比如设定周期为24小时，每1小时进行一次抽样，获得24个访问标识的抽样值，计算24个访问标识的抽样值的平均值作为所述访问标识的数量。
图6是本发明第六实施例提供的内存数据的处理装置的结构示意图，如图6所示，本发明实施例提供的内存数据的处理装置包括获取模块601、降低模块602和迁移模块603，其中：
获取模块601用于获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；降低模块602用于在判断获知所述存储参考值小于对应的参考阈值之后，降低访问阈值；迁移模块603用于在判断获知冷数据区域内访问标识对应的访问次数大于访问阈值之后，将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
具体地，获取模块601可以获取热数据区域在设定周期内的存储参考值，所述热数据区域是内存中的预设区域。其中，所述设定周期根据实际需要进行设置，本发明实施例不做限定。所述存储参考值比如为存储大小或者访问标识的数量。
降低模块602将所述存储参考值与所述存储参考值对应的参考阈值进行比较，如果所述存储参考值小于对应的参考阈值，说明所述热数据区域存储的数据量较少，所述服务器会降低访问阈值，使更多的数据存储到所述热数据区域，以提高热数据区域的利用率，以及数据的访问效率。其中，所述存储参考值对应的参考阈值根据实际需要进行设置，本发明实施例不做限定。所述访问阈值是预设的，根据实际经验进行设置，本发明实施例不做限定。
迁移模块603可以获取冷数据区域内各个访问标识对应的访问次数，然后将所述冷数据区域内每个访问标识对应的访问次数与访问阈值进行比较，如果所述冷数据区域内访问标识对应的访问次数大于等于访问阈值，则将所述冷数据区域内访问标识对应的数据迁移到所述热数据区域。其中，所述冷数据区域是内存中的预设区域，并且所述冷数据区域与所述热数据区域不存在重叠。所述访问标识与数据一一对应。
本发明实施例提供的内存数据的处理装置，能够获取热数据区域在设定周期内的存储参考值，在判断获知存储参考值小于对应的参考阈值之后，降低访问阈值，在判断获知冷数据区域内访问标识对应的访问次数大于访问阈值之后，将访问标识对应的数据迁移到热数据区域，降低数据存储到热数据区域的门槛，使数据能够更容易地缓存到热数据区域，提高了热数据区域的利用率。此外，由于将数据存储到热数据区域，能够提高数据的访问效率。
图7是本发明第七实施例提供的内存数据的处理装置的结构示意图，如图7所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理装置还包括统计模块604和增加模块605，其中：
统计模块604用于统计所述热数据区域在预设周期内的数据替换次数；增加模块605用于在判断获知所述数据替换次数大于替换阈值之后，增加所述访问阈值。
图8是本发明第八实施例提供的内存数据的处理装置的结构示意图，如图8所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理装置还包括迁出模块606和迁入模块607，其中：
迁出模块606用于在判断获知所述热数据区域的容量不足之后，将所述热数据区域的队列尾部的访问标识存储到所述冷数据区域的队列头部，并将所述热数据区域的队列尾部的访问标识对应的数据迁移到所述冷数据区域；迁入模块607用于将从所述冷数据区域迁移的数据对应的访问标识存储到所述热数据区域的队列头部，并将所述冷数据区域迁移的数据存储到所述热数据区域。
图9是本发明第九实施例提供的内存数据的处理装置的结构示意图，如图9所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理装置还包括第一接收模块608、返回模块609和更新模块610，其中：
第一接收模块608用于接收访问请求，所述访问请求包括访问标识；返回模块609用于在判断获知所述访问标识存储在所述冷数据区域的队列中之后，从所述冷数据区域中获取所述访问标识对应的数据并返回；更新模块610用于更新所述访问标识对应的访问次数。
图10是本发明第十实施例提供的内存数据的处理装置的结构示意图，如图10所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理装置还包括第一判断模块611，其中：
第一判断模块611用于在判断获知所述访问标识对应的更新后的访问次数大于等于所述访问阈值之后，将所述访问标识对应的数据迁移到所述热数据区域。
图11是本发明第十一实施例提供的内存数据的处理装置的结构示意图，如图11所示，在上述各实施例的基础上，进一步地，本发明实施例提供的内存数据的处理装置还包括第二接收模块612、第二判断模块613和记录模块614，其中：
第二接收模块612用于接收访问请求，所述访问请求包括访问标识；第二判断模块613用于在判断获知所述访问标识对应的数据没有存储在所述冷数据区域和所述热数据区域之后，从数据库获取所述访问标识对应的数据并返回；记录模块614用于将所述访问标识对应的数据加载到所述冷数据区域，并记录所述访问标识对应的访问次数。
在上述各实施例的基础上，进一步地，所述存储参考值为存储大小或者访问标识对应的数据的数量。
本发明实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
需要说明的是，本发明实施例提供的内存数据的处理方法及装置可用于金融领域，也可用于除金融领域之外的任意技术领域，本发明实施例对内存数据的处理方法及装置的应用领域不做限定。
图12是本发明一实施例提供的电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1201、通信接口(Communications Interface)1202、存储器(memory)1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信。处理器1201可以调用存储器1203中的逻辑指令，以执行如下方法：获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；若判断获知所述存储参考值小于对应的参考阈值，则降低访问阈值；若判断获知冷数据区域内访问标识对应的访问次数大于访问阈值，则将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
此外，上述的存储器1203中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；若判断获知所述存储参考值小于对应的参考阈值，则降低访问阈值；若判断获知冷数据区域内访问标识对应的访问次数大于访问阈值，则将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；若判断获知所述存储参考值小于对应的参考阈值，则降低访问阈值；若判断获知冷数据区域内访问标识对应的访问次数大于访问阈值，则将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种内存数据的处理方法，其特征在于，包括：
获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；
若判断获知所述存储参考值小于对应的参考阈值，则降低访问阈值；
若判断获知冷数据区域内访问标识对应的访问次数大于访问阈值，则将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
2.根据权利要求1所述的方法，其特征在于，还包括：
统计所述热数据区域在预设周期内的数据替换次数；
若判断获知所述数据替换次数大于替换阈值，则增加所述访问阈值。
3.根据权利要求1所述的方法，其特征在于，还包括：
若判断获知所述热数据区域已存满数据，则将所述热数据区域的队列尾部的访问标识存储到所述冷数据区域的队列头部，并将所述热数据区域的队列尾部的访问标识对应的数据迁移到所述冷数据区域；
将从所述冷数据区域迁移的数据对应的访问标识存储到所述热数据区域的队列头部，并将所述冷数据区域迁移的数据存储到所述热数据区域。
4.根据权利要求1所述的方法，其特征在于，还包括：
接收访问请求，所述访问请求包括访问标识；
若判断获知所述访问标识存储在所述冷数据区域的队列中，则从所述冷数据区域中获取所述访问标识对应的数据并返回；
更新所述访问标识对应的访问次数。
5.根据权利要求4所述的方法，其特征在于，还包括：
若判断获知所述访问标识对应的更新后的访问次数大于等于所述访问阈值，则将所述访问标识对应的数据迁移到所述热数据区域。
6.根据权利要求1所述的方法，其特征在于，还包括：
接收访问请求，所述访问请求包括访问标识；
若判断获知所述访问标识对应的数据没有存储在所述冷数据区域和所述热数据区域，则从数据库获取所述访问标识对应的数据并返回；
将所述访问标识对应的数据加载到所述冷数据区域，并记录所述访问标识对应的访问次数。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述存储参考值为存储大小或者访问标识的数量。
8.一种内存数据的处理装置，其特征在于，包括：
获取模块，用于获取热数据区域在设定周期内的存储参考值；其中，所述热数据区域是内存中的预设区域；
降低模块，用于在判断获知所述存储参考值小于对应的参考阈值之后，降低访问阈值；
迁移模块，用于在判断获知冷数据区域内访问标识对应的访问次数大于访问阈值之后，将访问标识对应的数据迁移到所述热数据区域；其中，所述冷数据区域是内存中的预设区域。
9.根据权利要求8所述的装置，其特征在于，还包括：
统计模块，用于统计所述热数据区域在预设周期内的数据替换次数；
增加模块，用于在判断获知所述数据替换次数大于替换阈值之后，增加所述访问阈值。
10.根据权利要求9所述的装置，其特征在于，还包括：
迁出模块，用于在判断获知所述热数据区域的容量不足之后，将所述热数据区域的队列尾部的访问标识存储到所述冷数据区域的队列头部，并将所述热数据区域的队列尾部的访问标识对应的数据迁移到所述冷数据区域；
迁入模块，用于将从所述冷数据区域迁移的数据对应的访问标识存储到所述热数据区域的队列头部，并将所述冷数据区域迁移的数据存储到所述热数据区域。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202111158306.6A 2021-09-30 2021-09-30 一种内存数据的处理方法及装置 Pending CN113885801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111158306.6A CN113885801A (zh) 2021-09-30 2021-09-30 一种内存数据的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111158306.6A CN113885801A (zh) 2021-09-30 2021-09-30 一种内存数据的处理方法及装置

Publications (1)

Publication Number Publication Date
CN113885801A true CN113885801A (zh) 2022-01-04

Family

ID=79004534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111158306.6A Pending CN113885801A (zh) 2021-09-30 2021-09-30 一种内存数据的处理方法及装置

Country Status (1)

Country Link
CN (1) CN113885801A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116820351A (zh) * 2023-07-21 2023-09-29 北京得瑞领新科技有限公司 冷热数据标定方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116820351A (zh) * 2023-07-21 2023-09-29 北京得瑞领新科技有限公司 冷热数据标定方法、装置、存储介质及电子设备
CN116820351B (zh) * 2023-07-21 2024-04-09 北京得瑞领新科技有限公司 冷热数据标定方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US8433674B2 (en) Method for clipping migration candidate file in hierarchical storage management system
CN107491523B (zh) 存储数据对象的方法及装置
CN107943718B (zh) 一种清理缓存文件的方法和装置
US8615635B2 (en) Database management methodology
EP2541423B1 (en) Replacement policy for resource container
CN111198856B (zh) 文件管理方法、装置、计算机设备和存储介质
CN110445828B (zh) 一种基于Redis的数据分布式处理方法及其相关设备
CN111475483A (zh) 数据库迁移方法、装置及计算设备
CN112148736B (zh) 缓存数据的方法、设备及存储介质
CN109842621A (zh) 一种减少token存储数量的方法及终端
CN110647542A (zh) 一种数据获取方法和装置
CN111930305A (zh) 数据的存储方法和装置、存储介质、电子装置
CN115878027A (zh) 一种存储对象的处理方法、装置、终端及存储介质
CN113885801A (zh) 一种内存数据的处理方法及装置
EP3267329A1 (en) Data processing method having structure of cache index specified to transaction in mobile environment dbms
CN117130792B (zh) 缓存对象的处理方法、装置、设备及存储介质
CN112463073A (zh) 一种对象存储分布式配额方法、系统、设备和存储介质
CN110413689B (zh) 一种内存数据库的多节点数据同步方法与装置
CN110554914B (zh) 资源锁管理方法、装置、服务器及存储介质
EP4369191A1 (en) Memory scanning method and apparatus
CN111666045A (zh) 基于Git系统的数据处理方法、系统、设备及存储介质
CN112506875B (zh) 文件存储方法、相关装置及文件存储系统
CN114895850A (zh) 一种数据湖优化写的方法
CN113342270A (zh) 卷卸载方法、装置和电子设备
CN110019259B (zh) 分布式索引服务引擎的数据更新方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination