CN112417350A - 数据存储调整方法、装置及计算机设备 - Google Patents

数据存储调整方法、装置及计算机设备 Download PDF

Info

Publication number
CN112417350A
CN112417350A CN202010979551.2A CN202010979551A CN112417350A CN 112417350 A CN112417350 A CN 112417350A CN 202010979551 A CN202010979551 A CN 202010979551A CN 112417350 A CN112417350 A CN 112417350A
Authority
CN
China
Prior art keywords
cache
content
size
cache unit
hit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010979551.2A
Other languages
English (en)
Other versions
CN112417350B (zh
Inventor
王盛
蔡尚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202010979551.2A priority Critical patent/CN112417350B/zh
Publication of CN112417350A publication Critical patent/CN112417350A/zh
Priority to EP21868208.6A priority patent/EP4198774A4/en
Priority to PCT/CN2021/103644 priority patent/WO2022057379A1/zh
Priority to US18/026,259 priority patent/US20230359561A1/en
Application granted granted Critical
Publication of CN112417350B publication Critical patent/CN112417350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1021—Hit rate improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/601—Reconfiguration of cache memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/65—Details of virtual memory and virtual address translation
    • G06F2212/652—Page size control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种数据存储调整方法、装置及计算机设备，该方法包括：接收用户发送的对于目标内容的访问请求；获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；最后根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。本申请还提供一种计算机可读存储介质。本申请能够有效提高缓存单元的空间命中率，以及提高缓存单元的使用效率。

Description

数据存储调整方法、装置及计算机设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据存储调整方法、装置及计算机设备。
背景技术
随着计算机网络技术的发展，数据服务行业得到了快速的发展，人们可以从网络上获取越来越丰富的数据资源，比如，通过视频服务平台获取各种视频数据，通过网上图式馆查询各种图文数据，也可以直接通过搜索引擎搜索各种信息资讯。数据服务提供商建立数据服务器，然后通过互联网将数据服务器上的数据提供给每一个网络用户。
对于数据的存储，目前大部分数据服务器会将数据内容进行切片或者整个文件保存到本地磁盘上，其中，由于不同存储器存取速度的不同，数据服务器一般会对较为热点的那部分内容缓存到内存等缓存单元中，从而实现快速响应用户的数据服务请求。然而，在实际应用中，由于用户的喜好并不一致，因此热点统计的准确度也不是很高，导致对于缓存单元中数据访问的命中率并不高，缓存单元使用效率大为降低。
发明内容
本申请提出一种数据存储调整方法、装置及计算机设备，能够解决现有技术中缓存单元的命中率不高，缓存单元使用效率较低的问题。
首先，为实现上述目的，本申请提供一种数据存储调整方法，所述方法包括：
接收用户发送的对于目标内容的访问请求；获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
在一个例子中，当所述目标内容为目标文件中的部分内容时，所述获取所述目标内容的内容大小包括：将所述目标文件划分为依顺序排列的相同大小的数据分片；获取所述目标内容对应的数据分片在所述目标文件的所有数据分片中的排序区间；根据所述排序区间的数据分片数量与所有数据分片数量的比值以及所述目标文件的内容大小计算出所述目标内容的内容大小。
在一个例子中，所述在缓存单元查询出存储所述目标内容的缓存分片集包括：在存储所述目标文件的所述缓存单元的缓存分片区段中查找出所述排序区间对应的缓存分片作为存储所述目标内容的缓存分片集。
在一个例子中，当所述目标文件为视频文件、所述目标内容为视频片段时，所述排序区间为所述视频片段在所述视频文件中的时间区段。
在一个例子中，所述根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率包括：将所述缓存分片集包括的缓存分片数量与所述缓存单元中缓存分片的初始分片大小相乘得到所述缓存分片集对应的存储容量；计算所述目标内容的内容大小与所述缓存分片集对应的存储容量的比值作为所述空间命中率。
在一个例子中，所述根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小包括：将所述空间命中率与所述初始分片大小相乘，得到分片大小中间值；再根据所述下级存储的分片大小对所述分片大小中间值进行调整，得到新分片大小，使得所述下级存储的分片大小是所述新分片大小的整数倍。
在一个例子中，当同一时间段内接收到对于多个不同内容的访问请求时，所述方法还包括：分别计算出对于每一个内容的空间命中率作为子空间命中率；将所有的子空间命中率进行加权或平均计算，得到所述时间段对应的空间命中率。
此外，为实现上述目的，本申请还提供一种数据存储调整装置，所述装置包括：
接收模块，用于接收用户发送的对于目标内容的访问请求；查询模块，用于获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；计算模块，用于根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；调整模块，用于当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；设置模块，用于根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
进一步地，本申请还提出一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的数据存储调整方法的步骤。
进一步地，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据存储调整方法的步骤。
相较于现有技术，本申请所提出的数据存储调整方法、装置、计算机设备及计算机可读存储介质，能够接收用户发送的对于目标内容的访问请求；然后获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；再根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；最后根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。通过统计出缓存单元上缓存内容的空间命中率，然后在空间命中率较低的情况下调整缓存单元的缓存分片大小，从而能够有效提高缓存单元的空间命中率，以及提高缓存单元的使用效率。
附图说明
图1是本申请一实施例的应用环境示意图；
图2是本申请数据存储调整方法一具体实施例的流程示意图；
图3是当所述目标内容为目标文件中的部分内容时，图2步骤S202中的获取所述目标内容的内容大小的一具体实施例的流程示意图；
图4是本申请一示例性例子的数据存储调整方法的流程效果图；
图5是本申请数据存储调整装置一实施例的程序模块示意图；
图6是本申请计算机设备一可选的硬件架构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1是本申请一实施例的应用环境示意图。参阅图1所示，所述计算机设备1与用户端连接，所述计算机设备1至少包括一级存储和二级存储的两种存储器，其中，一级存储的存取速度大于二级存储的存取速度；在本实施例中，所述一级存储是内存单元，所述二级存储可以是SSD(Solid State Disk或Solid State Drive，固态驱动器)存储盘或HDD(HardDisk Drive，硬盘驱动器)存储盘。当然，在其他实施例中，所述计算机设备1也可以包括存取速度从大到小的三级存储，依次为内存单元，SSD存储盘和HDD存储盘，也可以包括更多级存储，这里不做限制。所述计算机设备1通过一级存储和二级存储保存有数据资源，所述计算机设备1能够接收用户端发送的对于目标内容的访问请求，并根据所述访问请求从一级存储或二级存储上查找出目标内容反馈给用户端。
在本实施例中，所述计算机设备1通过一级存储和二级存储保存不同的文件或者同一个文件的不同内容块。在一具体实施例中，所述计算机设备1通过将访问频次较高的较为热点的文件或内容块存储到一级存储，将访问频次较低的较为冷的文件或内容块存储到二级存储；当较为热点的文件或内容块变成较为冷的文件或内容块时，所述计算机设备1则会将该文件或内容块从一级存储转存到二级存储，相反则会从二级存储转存到一级存储。
一般来说，存储器以分片方式存储数据，参阅下表所示，其中，频次命中率P＝命中的次数/所有访问次数；空间命中率S＝命中的分片内使用的内容/分片大小。
Figure BDA0002687064230000061
P高，说明存储的内容较为热点，反之则是冷点内容；而S高，说明存储该内容的对应的一个或多个缓存分片利用率高，反之则利用率低。因此，对于数据服务提供商来说，追求P高和S高则能有效提高数据服务器的利用效率，从而减少服务器成本。
例如，视频服务器会配备内存、SSD存储盘和HDD存储盘。他们的访问速度比较显然：内存>SSD>HDD；视频服务器会将视频源文件存储在HDD磁盘上，然后在SSD和内存上缓存比较热门的视频内容。其中，由于视频全文件可能动辄好几个GB(GigaByte，十亿字节)的大小，如果直接缓存全文件的内容显然不太可能，一般做法是对文件进行切片，比如切片2MB(MByte，兆字节)的大小，把访问频次比较高的分片缓存在内存或者SSD上；这样用户的请求，一部分热的视频内容会从内存或者SSD上读取进行发送，一部分冷的视频内容会从HDD磁盘上读取发送，整体的服务性能比单纯从HDD磁盘读取提升了不少。
在本实施例中，所述一级存储作为一个缓存单元，所述二级存储作为所述缓存单元的下级存储。所述计算机设备1能够周期性地执行步骤：接收用户发送的对于目标内容的访问请求；获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。所述计算机设备1根据存储在缓存单元中的数据访问的空间命中率动态调整缓存单元中的缓存分片大小，从而避免出现缓存单元的命中率不高，缓存单元使用效率较低的情况。在本实施例中，所述计算机设备1可作为手机、平板、便携设备、PC机或者服务器等电子设备；也可以作为独立的功能模块，附加在所述电子设备上以实现对缓存内存的调整功能。
实施例一
图2是本申请数据存储调整方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备1为执行主体进行示例性描述。
如图2所示，所述数据存储调整方法可以包括步骤S200～S208。
步骤S200，接收用户发送的对于目标内容的访问请求。
步骤S202，获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集。
在本实施例中，所述计算机设备1与用户端连接，能够接收由用户端发送的对于较为热点的，也就是存储在缓存单元中的目标内容的访问请求；在其他实施例中，所述计算机设备1也可以直接提供一个交互界面，然后通过所述交互界面接收用户发送的对于目标内容的访问请求，例如，通过一个显示界面，接收用户的点触操作或者语音指令并进行识别，从而识别出对应的访问请求，这里不做限制。
当所述计算机设备1接收到用户发送的对于目标内容的访问请求之后，则会进一步获取所述目标内容的内容大小，比如，多少MB或者多少GB的数据量；并在缓存单元中查询出存储所述目标内容的缓存片集，例如，所述计算机设备1查找出缓存所述目标内容的缓存片的序号，或者编号，然后作为一个集合；通过该集合中的序号或编号能够定位存储所述目标内容对应的所有缓存片。
在一示例性例子中，所述目标内容也可以是一个文件内容中的一部分，例如，当所述计算机设备1为视频服务器时，所述计算机设备1能够接收用户对于目标视频的观看请求。当用户需要观看的只是一个视频中的某一个片段时，那么，所述计算机设备1接收到的访问请求对应的目标内容则是视频文件中的一个视频片段。
如图3所示，当所述目标内容为目标文件中的部分内容时，所述计算机设备1获取所述目标内容的内容大小包括步骤S300～S304。
步骤S300，将所述目标文件划分为依顺序排列的相同大小的数据分片。
步骤S302，获取所述目标内容对应的数据分片在所述目标文件的所有数据分片中的排序区间。
步骤S304，根据所述排序区间的数据分片数量与所有数据分片数量的比值以及所述目标文件的内容大小计算出所述目标内容的内容大小。
具体的，所述计算机设备1将目标文件进行存储时，需要对目标文件划分为若干数据分片的序列，然后依次存储到缓存单元对应的缓存区段中的每一个缓存分片。因此，当接收到用户对于目标内容的访问请求之后，所述计算机设备1则会查询出所述目标内容对应的数据分片在所述目标文件对应的所有数据分片中的排序区间。例如，30MB的视频文件包括100个视频帧、目标内容为其中的第30-50视频帧，而视频文件被划分为20个数据片；那么，所述计算机设备1则可以在接收到所述目标内容的访问请求之后，查询出所述目标内容在所述目标文件的排序区间，也就是20个数据分片中的第6-10数据分片；接着，再根据该排序区间和所述目标文件的内容大小计算出所述目标内容的内容大小，也就是((10-6+1)/20)*30MB＝7.5MB。
接着，所述计算机设备1在缓存单元查询出存储所述目标内容的缓存分片集，具体包括：在存储所述目标文件的所述缓存单元的缓存分片区段中查找出所述排序区间对应的缓存分片作为存储所述目标内容的缓存分片集。例如，30MB的视频文件包括100个视频帧、目标内容为其中的第30-50视频帧，而视频文件被划分为20个数据片，依次存储在缓存单元的10个缓存分片上，那么所述目标内容对应的缓存分片集的缓存分片序号段则为第(6/20)*10～(10/20)*10个缓存分片，也就是这10个缓存分片中的第2～5个缓存分片(其中起始缓存分片的序号为(6/20)*10＝1.5，取整，也就是第2个缓存分片)。
在另一具体实施例中，当所述目标文件为视频文件、所述目标内容为视频片段时，所述排序区间为所述视频片段在所述视频文件中的时间区段。具体的，所述计算机设备1接收用户对于目标内容的访问请求，也就是对于视频文件的某一时间区段的视频片段的访问请求，那么，所述计算机设备1可以直接根据所述视频片段的时间区段和所述视频文件的总时间计算出所述视频片段在所述视频文件中的排序区间；接着，根据所述排序区间和所视频文件大小，计算出视频片段的内容大小；以及根据所述排序区间和存储所述视频文件的所有缓存分片，查询出所述视频片段对应的缓存分片集。
步骤S204，根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率。
具体的，所述计算机设备1计算空间命中率的过程包括：先将所述缓存分片集包括的缓存分片数量与所述缓存单元中缓存分片的初始分片大小相乘得到所述缓存分片集对应的存储容量；然后计算所述目标内容的内容大小与所述缓存分片集对应的存储容量的比值作为所述空间命中率。
例如，假设用户请求的目标内容的范围为[a，b]，其中，a，b表示所述目标内容在目标文件中的下载量位置，比如，所述目标文件下载到100MB的时候，则是所述目标内容的起始点，下载到200MB的时候则是所述目标内容的终止点，也就是说，所述目标文件中第100MB～200MB对应范围[100，200]。缓存单元找那个缓存分片的初始分片大小为M。那么，范围[a，b]的目标内容对应的缓存分片的分片序号为[Cstart，Cend]，其中，Cstart＝[a/M]，[a/M]为对a除以M的数值取整；Cend＝[b/M]，[b/M]为对b除以M的数值取整。用户此次对于所述目标内容访问的空间命中率Sx＝(b–a+1)/((Cend–Cstart+1)*M)。
在另一具体实施例中，当同一时间段内接收到对于多个不同内容的访问请求时，所述计算机设备1则会：分别计算出对于每一个内容的空间命中率作为子空间命中率；将所有的子空间命中率进行加权或平均计算，得到所述时间段对应的空间命中率。例如，所述计算机设备1根据统一时段的两个不同内容的访问请求对应的子空间命中率求平均值，得到该时间段的空间命中率；或者对两个子空间命中率赋予不同权重值，再计算出该时间段的空间命中率。这里不做限制。
步骤S206，当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小。其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元。
当计算出用户访问所述目标内容的空间命中率之后，所述计算机设备1进一步判断所述空间命中率是否小于预设阈值，例如，80％，当所述空间命中率小于预设阈值时，所述计算机设备1则会根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小，具体包括：将所述空间命中率与所述初始分片大小相乘，得到分片大小中间值；再根据所述下级存储的分片大小对所述分片大小中间值进行调整，得到新分片大小，使得所述下级存储的分片大小是所述新分片大小的整数倍。例如，缓存单元的缓存分片的初始分片大小为M，空间命中率为Sx，下级存储的存储分片的分片大小为N，那么分片大小中间值M’＝M*Sx，新分片大小Mnew＝N/[N/M’]，[N/M’]为对N除以M’的数值取整。
在本实施例中，所述缓存单元与下级存储分别存储有较为热点的内容和较为冷点的内容，当所述下级存储上的较为冷点的内容变热之后则可以直接转存到所述缓存单元；反之，所述缓存单元上的较为热点的内容变冷之后，也会转存到所述下级存储上。下级存储上的存储分片一般是固定的，而为提高缓存单元的利用率，缓存单元的缓存分片设置较小；因此，为了方便缓存单元与下级存储之间的数据转存，则会将缓存单元的缓存分片大小设置为与下级存储的存储分片大小的成倍数关系(下级存储的存储分片的分片大小是缓存单元的缓存分片大小的倍数)，可以有效提供存储效率。
步骤S208，根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
当计算出所述缓存单元的缓存分片的新分片大小之后，所述计算机设备1则会根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。例如，当所述缓存单元对应的下级存储上有内容需要转存至所述缓存单元，那么，所述计算机设备1则会在所述缓存单元上新建立所述新分片大小对应的缓存分片，用于存储转存的内容。
在另一具体实施例中，所述计算机设备1根据所述新分片大小新建立缓存分片存储内容之后，还会进一步统计空间命中率。当统计出新的空间命中率小于预设阈值时，则会将新分片大小重新切换回初始分片大小，并在下次需要新建立缓存分片时，根据所述初始分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
如图4所示，是本申请一示例性例子的数据存储调整方法的流程效果图。如图4所示，所述计算机设备1接收用户请求之后，根据所述用户请求中的请求范围查找出对应的缓存分片集，然后再根据请求范围和缓存分片集两者的大小比值计算出空间命中率；当用户请求包括多个请求内容时，则会计算出多个空间命中率，并统计所有请求的空间命中率的平均值；根据空间命中率的平均值计算新分片大小，并根据新分片大小对缓存单元的缓存分片设定新分片大小。
综上所述，本实施例所提出的数据存储调整方法能够接收用户发送的对于目标内容的访问请求；然后获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；再根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；最后根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。通过统计出缓存单元上缓存内容的空间命中率，然后在空间命中率较低的情况下调整缓存单元的缓存分片大小，从而能够有效提高缓存单元的空间命中率，以及提高缓存单元的使用效率；也就是说，能够提高内存的利用率，能够让内存缓存的数据尽量被使用到。
实施例二
图5示意性示出了根据本申请实施例二的数据存储调整装置的框图，该数据存储调整装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图5所示，该数据存储调整装置400可以包括接收模块410、查询模块420、计算模块430、调整模块440和设置模块450，其中：
接收模块410，用于接收用户发送的对于目标内容的访问请求。
查询模块420，用于获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集。
计算模块430，用于根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率。
调整模块440，用于当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元。
设置模块450，用于根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
在示例性的实施例中，查询模块420，还用于：当所述目标内容为目标文件中的部分内容时，将所述目标文件划分为依顺序排列的相同大小的数据分片；获取所述目标内容对应的数据分片在所述目标文件的所有数据分片中的排序区间；根据所述排序区间的数据分片数量与所有数据分片数量的比值以及所述目标文件的内容大小计算出所述目标内容的内容大小。以及在存储所述目标文件的所述缓存单元的缓存分片区段中查找出所述排序区间对应的缓存分片作为存储所述目标内容的缓存分片集。其中，当所述目标文件为视频文件、所述目标内容为视频片段时，所述排序区间为所述视频片段在所述视频文件中的时间区段。
在示例性的实施例中，计算模块430，还用于：将所述缓存分片集包括的缓存分片数量与所述缓存单元中缓存分片的初始分片大小相乘得到所述缓存分片集对应的存储容量；计算所述目标内容的内容大小与所述缓存分片集对应的存储容量的比值作为所述空间命中率。
在示例性的实施例中，调整模块440，还用于：将所述空间命中率与所述初始分片大小相乘，得到分片大小中间值；再根据所述下级存储的分片大小对所述分片大小中间值进行调整，得到新分片大小，使得所述下级存储的分片大小是所述新分片大小的整数倍。以及，当同一时间段内接收到对于多个不同内容的访问请求时，分别计算出对于每一个内容的空间命中率作为子空间命中率；将所有的子空间命中率进行加权或平均计算，得到所述时间段对应的空间命中率。
实施例三
图6示意性示出了根据本申请实施例三的适于实现数据存储调整方法的计算机设备1的硬件架构示意图。本实施例中，计算机设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是具有网关功能的机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图6所示，计算机设备1至少包括但不限于：可通过系统总线相互通信链接存储器510、处理器520、网络接口530。其中：
存储器510至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器510可以是计算机设备1的内部存储模块，例如该计算机设备1的硬盘或内存。在另一些实施例中，存储器510也可以是计算机设备1的外部存储设备，例如该计算机设备1上配备的插接式硬盘，智能存储卡(SmartMedia Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器510还可以既包括计算机设备1的内部存储模块也包括其外部存储设备。本实施例中，存储器510通常用于存储安装于计算机设备1的操作系统和各类应用软件，例如数据存储调整方法的程序代码等。此外，存储器510还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器520在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器520通常用于控制计算机设备1的总体操作，例如执行与计算机设备1进行数据交互或者通信相关的控制和处理等。本实施例中，处理器520用于运行存储器510中存储的程序代码或者处理数据。
网络接口530可包括无线网络接口或有线网络接口，该网络接口530通常用于在计算机设备1与其他计算机设备之间建立通信链接。例如，网络接口530用于通过网络将计算机设备1与外部终端相连，在计算机设备1与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图6仅示出了具有部件510-530的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器510中的数据存储调整方法的程序代码还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器520)所执行，以完成本申请实施例。
实施例四
本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收用户发送的对于目标内容的访问请求；获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中数据存储调整方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请实施例的优选实施例，并非因此限制本申请实施例的专利范围，凡是利用本申请实施例说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请实施例的专利保护范围内。

Claims (10)

1.一种数据存储调整方法，其特征在于，所述方法包括：
接收用户发送的对于目标内容的访问请求；
获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；
根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；
当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；
根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
2.如权利要求1所述的数据存储调整方法，其特征在于，当所述目标内容为目标文件中的部分内容时，所述获取所述目标内容的内容大小包括：
将所述目标文件划分为依顺序排列的相同大小的数据分片；
获取所述目标内容对应的数据分片在所述目标文件的所有数据分片中的排序区间；
根据所述排序区间的数据分片数量与所有数据分片数量的比值以及所述目标文件的内容大小计算出所述目标内容的内容大小。
3.如权利要求2所述的数据存储调整方法，其特征在于，所述在缓存单元查询出存储所述目标内容的缓存分片集包括：
在存储所述目标文件的所述缓存单元的缓存分片区段中查找出所述排序区间对应的缓存分片作为存储所述目标内容的缓存分片集。
4.如权利要求2或3所述的数据存储调整方法，其特征在于，当所述目标文件为视频文件、所述目标内容为视频片段时，所述排序区间为所述视频片段在所述视频文件中的时间区段。
5.如权利要求1-3中任一项所述的数据存储调整方法，其特征在于，所述根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率包括：
将所述缓存分片集包括的缓存分片数量与所述缓存单元中缓存分片的初始分片大小相乘得到所述缓存分片集对应的存储容量；
计算所述目标内容的内容大小与所述缓存分片集对应的存储容量的比值作为所述空间命中率。
6.如权利要求1所述的数据存储调整方法，其特征在于，所述根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小包括：
将所述空间命中率与所述初始分片大小相乘，得到分片大小中间值；
再根据所述下级存储的分片大小对所述分片大小中间值进行调整，得到新分片大小，使得所述下级存储的分片大小是所述新分片大小的整数倍。
7.如权利要求1所述的数据存储调整方法，其特征在于，当同一时间段内接收到对于多个不同内容的访问请求时，所述方法还包括：
分别计算出对于每一个内容的空间命中率作为子空间命中率；
将所有的子空间命中率进行加权或平均计算，得到所述时间段对应的空间命中率。
8.一种数据存储调整装置，其特征在于，所述装置包括：
接收模块，用于接收用户发送的对于目标内容的访问请求；
查询模块，用于获取所述目标内容的内容大小，在缓存单元查询出存储所述目标内容的缓存分片集；
计算模块，用于根据所述内容大小和所述缓存分片集对应的存储容量计算出空间命中率；
调整模块，用于当所述空间命中率小于预设阈值时，根据所述空间命中率和所述缓存单元的下级存储的分片大小对所述缓存单元的初始分片大小进行调整，得到新分片大小；其中，所述下级存储是与所述缓存单元直接进行内容交换、且存取速度小于所述缓存单元的存储单元；
设置模块，用于根据所述新分片大小对所述缓存单元的新建立的缓存分片的分片大小进行设置。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据存储调整方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7中任一项所述的数据存储调整方法的步骤。
CN202010979551.2A 2020-09-17 2020-09-17 数据存储调整方法、装置及计算机设备 Active CN112417350B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010979551.2A CN112417350B (zh) 2020-09-17 2020-09-17 数据存储调整方法、装置及计算机设备
EP21868208.6A EP4198774A4 (en) 2020-09-17 2021-06-30 DATA STORAGE ADJUSTMENT METHOD AND APPARATUS AND COMPUTER DEVICE
PCT/CN2021/103644 WO2022057379A1 (zh) 2020-09-17 2021-06-30 数据存储调整方法、装置及计算机设备
US18/026,259 US20230359561A1 (en) 2020-09-17 2021-06-30 Method and apparatus for adjusting data storage and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010979551.2A CN112417350B (zh) 2020-09-17 2020-09-17 数据存储调整方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112417350A true CN112417350A (zh) 2021-02-26
CN112417350B CN112417350B (zh) 2023-03-24

Family

ID=74855302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979551.2A Active CN112417350B (zh) 2020-09-17 2020-09-17 数据存储调整方法、装置及计算机设备

Country Status (4)

Country Link
US (1) US20230359561A1 (zh)
EP (1) EP4198774A4 (zh)
CN (1) CN112417350B (zh)
WO (1) WO2022057379A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057379A1 (zh) * 2020-09-17 2022-03-24 上海哔哩哔哩科技有限公司 数据存储调整方法、装置及计算机设备
CN114327672A (zh) * 2021-12-14 2022-04-12 中国平安财产保险股份有限公司 数据缓存时间设置方法、装置、计算机设备及存储介质
CN116166575A (zh) * 2023-02-03 2023-05-26 摩尔线程智能科技(北京)有限责任公司 访存段长度的配置方法、装置、设备、介质和程序产品

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927265A (zh) * 2013-01-04 2014-07-16 深圳市龙视传媒有限公司 一种内容分级存储装置、内容获取方法及内容获取装置
CN103942289A (zh) * 2014-04-12 2014-07-23 广西师范大学 一种Hadoop上面向范围查询的内存缓存方法
US20150067262A1 (en) * 2013-08-30 2015-03-05 Vmware, Inc. Thread cache allocation
CN105205014A (zh) * 2015-09-28 2015-12-30 北京百度网讯科技有限公司 一种数据存储方法和装置
CN108628769A (zh) * 2017-03-17 2018-10-09 华为技术有限公司 一种缓存分配方法，及设备
CN110069219A (zh) * 2019-04-23 2019-07-30 深信服科技股份有限公司 一种数据存储方法、系统及电子设备和存储介质
CN110308875A (zh) * 2019-06-27 2019-10-08 深信服科技股份有限公司 数据读写方法、装置、设备及计算机可读存储介质
CN110377572A (zh) * 2019-07-18 2019-10-25 腾讯科技（深圳）有限公司 一种缓存空间管理方法、装置、设备及介质
CN110471894A (zh) * 2019-07-22 2019-11-19 腾讯科技（深圳）有限公司 一种数据预取方法、装置、终端及存储介质
US10496290B1 (en) * 2017-04-11 2019-12-03 EMC IP Holding Company LLC Method and system for window-based churn handling in data cache
CN110968762A (zh) * 2019-12-05 2020-04-07 北京天融信网络安全技术有限公司 一种用于检索的调整方法及装置
CN111339057A (zh) * 2020-02-29 2020-06-26 平安科技（深圳）有限公司 减少回源请求的方法、装置及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008181243A (ja) * 2007-01-23 2008-08-07 Hitachi Ltd ストレージシステムのキャッシュパーティション領域の設定を制御するデータベース管理システム
US8788783B1 (en) * 2010-06-18 2014-07-22 Disney Enterprises, Inc. Dynamically tuning the size of a cache stored in a shared memory
CN110221989A (zh) * 2019-06-20 2019-09-10 北京奇艺世纪科技有限公司 一种数据缓存方法、装置、存储介质及计算机设备
CN110688062B (zh) * 2019-08-26 2021-03-30 华为技术有限公司 一种缓存空间的管理方法及装置
CN112417350B (zh) * 2020-09-17 2023-03-24 上海哔哩哔哩科技有限公司 数据存储调整方法、装置及计算机设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927265A (zh) * 2013-01-04 2014-07-16 深圳市龙视传媒有限公司 一种内容分级存储装置、内容获取方法及内容获取装置
US20150067262A1 (en) * 2013-08-30 2015-03-05 Vmware, Inc. Thread cache allocation
CN103942289A (zh) * 2014-04-12 2014-07-23 广西师范大学 一种Hadoop上面向范围查询的内存缓存方法
CN105205014A (zh) * 2015-09-28 2015-12-30 北京百度网讯科技有限公司 一种数据存储方法和装置
CN108628769A (zh) * 2017-03-17 2018-10-09 华为技术有限公司 一种缓存分配方法，及设备
US10496290B1 (en) * 2017-04-11 2019-12-03 EMC IP Holding Company LLC Method and system for window-based churn handling in data cache
CN110069219A (zh) * 2019-04-23 2019-07-30 深信服科技股份有限公司 一种数据存储方法、系统及电子设备和存储介质
CN110308875A (zh) * 2019-06-27 2019-10-08 深信服科技股份有限公司 数据读写方法、装置、设备及计算机可读存储介质
CN110377572A (zh) * 2019-07-18 2019-10-25 腾讯科技（深圳）有限公司 一种缓存空间管理方法、装置、设备及介质
CN110471894A (zh) * 2019-07-22 2019-11-19 腾讯科技（深圳）有限公司 一种数据预取方法、装置、终端及存储介质
CN110968762A (zh) * 2019-12-05 2020-04-07 北京天融信网络安全技术有限公司 一种用于检索的调整方法及装置
CN111339057A (zh) * 2020-02-29 2020-06-26 平安科技（深圳）有限公司 减少回源请求的方法、装置及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057379A1 (zh) * 2020-09-17 2022-03-24 上海哔哩哔哩科技有限公司 数据存储调整方法、装置及计算机设备
CN114327672A (zh) * 2021-12-14 2022-04-12 中国平安财产保险股份有限公司 数据缓存时间设置方法、装置、计算机设备及存储介质
CN114327672B (zh) * 2021-12-14 2024-04-05 中国平安财产保险股份有限公司 数据缓存时间设置方法、装置、计算机设备及存储介质
CN116166575A (zh) * 2023-02-03 2023-05-26 摩尔线程智能科技(北京)有限责任公司 访存段长度的配置方法、装置、设备、介质和程序产品
CN116166575B (zh) * 2023-02-03 2024-01-23 摩尔线程智能科技(北京)有限责任公司 访存段长度的配置方法、装置、设备、介质和程序产品

Also Published As

Publication number Publication date
WO2022057379A1 (zh) 2022-03-24
EP4198774A4 (en) 2024-01-24
US20230359561A1 (en) 2023-11-09
EP4198774A1 (en) 2023-06-21
CN112417350B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112417350B (zh) 数据存储调整方法、装置及计算机设备
CN112416569B (zh) 缓存内存调整方法、装置及计算机设备
US7251649B2 (en) Method for prioritizing content
JP5032210B2 (ja) 制御計算機、計算機システム及びアクセス制御方法
CN107197359B (zh) 视频文件缓存方法及装置
CN105302830B (zh) 一种地图瓦片缓存方法及装置
CN102307234A (zh) 基于移动终端的资源检索方法
CN112905111A (zh) 数据缓存的方法和数据缓存的装置
CN111858520A (zh) 一种区块链节点数据分离存储的方法和装置
CN111124309B (zh) 一种分片映射关系确定方法、装置、设备及存储介质
CN112199304B (zh) 数据预取方法及装置
CN111930305A (zh) 数据的存储方法和装置、存储介质、电子装置
CN111625600B (zh) 数据存储的处理方法、系统、计算机设备及存储介质
US9762696B2 (en) Data storage communication apparatus, and data transmission and management methods using the same
US20170201602A1 (en) Network utilization improvement by data reduction based migration prioritization
CN115361710A (zh) 一种边缘缓存中的内容放置方法
CN111680014B (zh) 共享文件的获取方法、装置、电子设备及存储介质
CN112491939B (zh) 多媒体资源调度方法及系统
CN113392131A (zh) 数据处理方法、装置及计算机设备
CN107679093B (zh) 一种数据查询方法及装置
CN112445794A (zh) 一种大数据系统的缓存方法
CN111159202A (zh) 数据处理方法、虚拟装置、设备和存储介质
CN113342277B (zh) 数据处理方法及装置
CN113727128B (zh) 热点流量处理方法及系统
CN110716689A (zh) 数据处理方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant