CN111338560A - 一种缓存重建方法和装置 - Google Patents

一种缓存重建方法和装置 Download PDF

Info

Publication number
CN111338560A
CN111338560A CN201811559832.1A CN201811559832A CN111338560A CN 111338560 A CN111338560 A CN 111338560A CN 201811559832 A CN201811559832 A CN 201811559832A CN 111338560 A CN111338560 A CN 111338560A
Authority
CN
China
Prior art keywords
disk
cache
source data
file source
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811559832.1A
Other languages
English (en)
Inventor
温源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201811559832.1A priority Critical patent/CN111338560A/zh
Publication of CN111338560A publication Critical patent/CN111338560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种缓存重建方法、装置、电子设备和计算机可读存储介质。该方法包括：确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。本技术方案中，若干个线程同时将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置，减少重建时间，提高重建效率，保证服务器的正常使用。

Description

一种缓存重建方法和装置
技术领域
本发明涉及计算机技术领域，具体涉及一种缓存重建方法、装置、电子设备和计算机可读存储介质。
背景技术
作为存储端的服务器，为了保证访问文件的速度，各磁盘中的文件源数据，通常也会在缓存中保存一份。如果服务器进行重启，那么需要将各磁盘中的文件源数据重建至缓存中。现有技术中，是依次对各磁盘中的文件源数据进行重建操作，但是随着磁盘数量和/或磁盘中的文件数量的增多，会需要更多的时间完成重建，造成重建的效率低下，影响服务器的正常使用。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的缓存重建方法、装置、电子设备和计算机可读存储介质。
根据本发明的一个方面，提供了一种缓存重建方法，其中，该方法包括：
确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；
开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；
利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
可选地，所述确定缓存中的与内存中各磁盘的文件源数据对应的存储位置包括：
获取各磁盘的文件个数信息；
根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；
根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
可选地，所述从缓存中为各磁盘请求相应存储空间大小的存储位置包括：
根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
可选地，所述利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置包括：
根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
可选地，该方法还包括：
根据各磁盘的文件个数信息，判断各磁盘的文件源数据的大小的总和是否大于缓存的总的存储空间大小；
若判断为是，确定待重建的各磁盘的文件源数据；
所述利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置包括：
利用若干个线程，分别将相应的待重建的各磁盘的文件源数据重建到缓存中相应的存储位置。
可选地，所述确定待重建的各磁盘的文件源数据包括：
从各磁盘中选择出一个或多个磁盘作为待重建的磁盘，其中，待重建的磁盘的文件源数据的大小的总和与缓存的总的存储空间大小匹配。
可选地，该方法还包括：
利用与未被选择的磁盘对应的线程，将未被选择的磁盘中的文件源数据和文件删除。
可选地，所述确定待重建的各磁盘的文件源数据包括：
计算各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值；
根据预设比例和计算的差值，确定各磁盘的待舍弃的文件源数据，将各磁盘的非待舍弃的文件源数据作为待重建的各磁盘的文件源数据。
可选地，
所述预设比例是根据缓存重建前各磁盘的访问热度确定的。
可选地，该方法还包括：
利用若干个线程，分别将相应的磁盘中的待舍弃的文件源数据和对应的文件删除。
根据本发明的另一方面，提供了一种缓存重建装置，其中，该装置包括：
确定单元，适于确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；
开启单元，适于开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；
重建单元，适于利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
可选地，
所述确定单元，适于获取各磁盘的文件个数信息；根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
可选地，
所述确定单元，适于根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
可选地，
所述重建单元，适于根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
可选地，该装置还包括：
判断单元，适于根据各磁盘的文件个数信息，判断各磁盘的文件源数据的大小的总和是否大于缓存的总的存储空间大小；若判断为是，确定待重建的各磁盘的文件源数据；
所述重建单元，适于利用若干个线程，分别将相应的待重建的各磁盘的文件源数据重建到缓存中相应的存储位置。
可选地，
所述判断单元，适于从各磁盘中选择出一个或多个磁盘作为待重建的磁盘，其中，待重建的磁盘的文件源数据的大小的总和与缓存的总的存储空间大小匹配。
可选地，该装置还包括：
删除单元，适于利用与未被选择的磁盘对应的线程，将未被选择的磁盘中的文件源数据和文件删除。
可选地，
所述判断单元，适于计算各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值；根据预设比例和计算的差值，确定各磁盘的待舍弃的文件源数据，将各磁盘的非待舍弃的文件源数据作为待重建的各磁盘的文件源数据。
可选地，
所述预设比例是根据缓存重建前各磁盘的访问热度确定的。
可选地，该装置还包括：
删除单元，适于利用若干个线程，分别将相应的磁盘中的待舍弃的文件源数据和对应的文件删除。
根据本发明的又一方面，提供了一种电子设备，其中，该电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据前述的方法。
根据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的方法。
根据本发明的技术方案，确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。本技术方案中，若干个线程同时将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置，减少重建时间，提高重建效率，保证服务器的正常使用。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的缓存重建方法的流程示意图；
图2示出了根据本发明一个实施例的缓存重建装置的结构示意图；
图3示出了根据本发明一个实施例的电子设备的结构示意图；
图4示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的缓存重建方法的流程示意图。如图1所示，该方法包括：
步骤S110，确定缓存中的与内存中各磁盘的文件源数据对应的存储位置。
步骤S120，开启若干个线程，其中，开启的线程与内存中的磁盘一一对应。
步骤S130，利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
文件源数据中包括有磁盘保存的文件的基本信息，将文件源数据保存在缓存中，可以提高文件获取速度。
本实施例中，为每个磁盘开启一个线程，利用各线程，可以同时将各磁盘中保存的文件源数据重建到缓存中对应的存储位置，不需要依次对各磁盘中的文件源数据进行重建，减少重建时间，提高重建效率，保证服务器的正常使用。
在本发明的一个实施例中，图1所示的方法的步骤S110中的确定缓存中的与内存中各磁盘的文件源数据对应的存储位置包括：获取各磁盘的文件个数信息；根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
考虑到多个线程执行时，如果一个线程访问缓存，进行写数据，会加入互斥锁，而其他的线程无法访问该缓存，即多线程之间的互斥问题。为了解决这个问题，本实施例中，分别为每个磁盘在缓存中请求相应的存储位置，而每个线程仅访问相应的存储位置即可，这样线程之间不会互相影响，不会产生互斥问题。
在请求存储位置时，是根据各磁盘中的文件个数确定的，因为文件信息的格式固定，即每个文件信息所需的存储空间大小固定，文件个数越多，该磁盘的文件源数据所需的存储空间就越大。
例如，每个文件信息所需的存储空间是20千字节(KB)，磁盘1的文件个数是100个，则磁盘1的文件源数据所需要的存储空间是1.95兆(M)；磁盘2的文件个数是200个，则磁盘2的文件源数据所需要的存储空间是3.9M。那么将缓存中的0-1.95M的存储位置作为磁盘1对应的存储位置，将1.95M-5.85M的存储位置作为磁盘2对应的存储位置。
进一步地，上述的从缓存中为各磁盘请求相应存储空间大小的存储位置包括：根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
考虑到缓存有最小存储单元，例如，最小存储单元是1M，那么在为各磁盘分配存储位置时，都应该是1M的整数倍。例如，在上述例子基础上，将缓存中的0-2M的存储位置作为磁盘1对应的存储位置，将2M-6M的存储位置作为磁盘2对应的存储位置。
进一步地，图1所示的方法的步骤S130中的利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置包括：根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
在本实施例中，当将各磁盘与相应的缓存中的存储位置建立对应关系后，各磁盘对应的线程就只访问缓存中有对应关系的存储位置，例如，在上述例子的基础上，磁盘1对应的线程1仅访问缓存的0-2M的位置进行写数据，磁盘2对应的线程2仅访问缓存的2M-6M的位置进行写数据。
在本发明的一个实施例中，图1所示的方法还包括：根据各磁盘的文件个数信息，判断各磁盘的文件源数据的大小的总和是否大于缓存的总的存储空间大小；若判断为是，确定待重建的各磁盘的文件源数据；
图1所示的方法的步骤S130中的利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置包括：利用若干个线程，分别将相应的待重建的各磁盘的文件源数据重建到缓存中相应的存储位置。
考虑到服务器在重启后，各磁盘中的文件源数据的大小的总和可能会超过缓存的存储空间的大小，则无法全部进行重建，本实施例中，针对这种情况，确定待重建的各磁盘的文件源数据，然后将待重建的各磁盘的文件源数据进行重建。
这里的待重建的各磁盘的文件源数据包括两种情况，一种是选择待重建的磁盘，将待重建的磁盘中的所有的文件源数据进行重建；另一种是从各磁盘中保存的文件源数据中选择出待重建的文件源数据，将各磁盘中的待重建的文件源数据进行重建。
具体地，上述的确定待重建的各磁盘的文件源数据包括：从各磁盘中选择出一个或多个磁盘作为待重建的磁盘，其中，待重建的磁盘的文件源数据的大小的总和与缓存的总的存储空间大小匹配。
例如，有磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据需要重建，但是，磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据的大小总和大于缓存的总的存储空间大小。在磁盘1-磁盘4中，磁盘1、磁盘2和磁盘3中的文件源数据的大小的总和是小于或等于缓存的总的存储空间大小，那么就将磁盘1、磁盘2和磁盘3作为待重建的磁盘，然后利用磁盘1、磁盘2和磁盘3对应的线程1、线程2和线程3同时将磁盘1、磁盘2和磁盘3中的文件源数据重建到缓存的相应的存储位置。
进一步地，在上述实施例的基础上，图1所示的方法还包括：利用与未被选择的磁盘对应的线程，将未被选择的磁盘中的文件源数据和文件删除。
因为未被选择的磁盘中的文件源数据是没有被重建的，其保存的文件无法被访问，则为了节省空间，将未被选择的磁盘中的文件源数据和文件进行删除。以保证磁盘资源的合理分配。例如，在上述例子的基础上，例如磁盘4对应的线程4，将磁盘4中保存的文件源数据和文件删除。
具体地，上述的确定待重建的各磁盘的文件源数据包括：计算各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值；根据预设比例和计算的差值，确定各磁盘的待舍弃的文件源数据，将各磁盘的非待舍弃的文件源数据作为待重建的各磁盘的文件源数据。
在本实施例中，如果各磁盘的文件源数据的大小的总和大于缓存的总的存储空间大小，则分别从各磁盘中舍弃一部分文件源数据不进行重建。
例如，有磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据需要重建，但是，磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据的大小总和大于缓存的总的存储空间大小。预设比例是1:1:1:1，如果计算的各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值是100M，则根据预设比例，分别从磁盘1、磁盘2、磁盘3和磁盘4确定出25M的文件源数据作为带待舍弃的文件源数据，然后将磁盘1、磁盘2、磁盘3和磁盘4中的非待舍弃的文件源数据进行重建。
优选地，上述的预设比例是根据缓存重建前各磁盘的访问热度确定的。
在上述例子的基础上，如果磁盘1中的文件的访问热度较大，磁盘2中的文件的访问热度其次，那么就可以将磁盘1和磁盘2的舍弃比例相应的降低，例如，预设比例确定为1:2:3:3。
进一步地，在上述实施例基础上，图1所示的方法还包括：利用若干个线程，分别将相应的磁盘中的待舍弃的文件源数据和对应的文件删除。
例如，在上述例子的基础上，利用磁盘1、磁盘2、磁盘3和磁盘4对应的线程1、线程2、线程3和线程3分别从磁盘1、磁盘2、磁盘3和磁盘4中将确定出25M的带待舍弃的文件源数据删除。
图2示出了根据本发明一个实施例的缓存重建装置的结构示意图。如图2所示，该缓存重建装置200包括：
确定单元210，适于确定缓存中的与内存中各磁盘的文件源数据对应的存储位置。
开启单元220，适于开启若干个线程，其中，开启的线程与内存中的磁盘一一对应。
重建单元230，适于利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
文件源数据中包括有磁盘保存的文件的基本信息，将文件源数据保存在缓存中，可以提高文件获取速度。
本实施例中，为每个磁盘开启一个线程，利用各线程，可以同时将各磁盘中保存的文件源数据重建到缓存中对应的存储位置，不需要依次对各磁盘中的文件源数据进行重建，减少重建时间，提高重建效率，保证服务器的正常使用。
在本发明的一个实施例中，图2所示的确定单元210，适于获取各磁盘的文件个数信息；根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
考虑到多个线程执行时，如果一个线程访问缓存，进行写数据，会加入互斥锁，而其他的线程无法访问该缓存，即多线程之间的互斥问题。为了解决这个问题，本实施例中，分别为每个磁盘在缓存中请求相应的存储位置，而每个线程仅访问相应的存储位置即可，这样线程之间不会互相影响，不会产生互斥问题。
在请求存储位置时，是根据各磁盘中的文件个数确定的，因为文件信息的格式固定，即每个文件信息所需的存储空间大小固定，文件个数越多，该磁盘的文件源数据所需的存储空间就越大。
例如，每个文件信息所需的存储空间是20千字节(KB)，磁盘1的文件个数是100个，则磁盘1的文件源数据所需要的存储空间是1.95兆(M)；磁盘2的文件个数是200个，则磁盘2的文件源数据所需要的存储空间是3.9M。那么将缓存中的0-1.95M的存储位置作为磁盘1对应的存储位置，将1.95M-5.85M的存储位置作为磁盘2对应的存储位置。
进一步地，上述的确定单元210，适于根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
考虑到缓存有最小存储单元，例如，最小存储单元是1M，那么在为各磁盘分配存储位置时，都应该是1M的整数倍。例如，在上述例子基础上，将缓存中的0-2M的存储位置作为磁盘1对应的存储位置，将2M-6M的存储位置作为磁盘2对应的存储位置。
进一步地，图2所示的重建单元230，适于根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
在本实施例中，当将各磁盘与相应的缓存中的存储位置建立对应关系后，各磁盘对应的线程就只访问缓存中有对应关系的存储位置，例如，在上述例子的基础上，磁盘1对应的线程1仅访问缓存的0-2M的位置进行写数据，磁盘2对应的线程2仅访问缓存的2M-6M的位置进行写数据。
在本发明的一个实施例中，图2所示的装置还包括：
判断单元，适于根据各磁盘的文件个数信息，判断各磁盘的文件源数据的大小的总和是否大于缓存的总的存储空间大小；若判断为是，确定待重建的各磁盘的文件源数据。
图2所示的重建单元230，适于利用若干个线程，分别将相应的待重建的各磁盘的文件源数据重建到缓存中相应的存储位置。
考虑到服务器在重启后，各磁盘中的文件源数据的大小的总和可能会超过缓存的存储空间的大小，则无法全部进行重建，本实施例中，针对这种情况，确定待重建的各磁盘的文件源数据，然后将待重建的各磁盘的文件源数据进行重建。
这里的待重建的各磁盘的文件源数据包括两种情况，一种是选择待重建的磁盘，将待重建的磁盘中的所有的文件源数据进行重建；另一种是从各磁盘中保存的文件源数据中选择出待重建的文件源数据，将各磁盘中的待重建的文件源数据进行重建。
具体地，上述的判断单元，适于从各磁盘中选择出一个或多个磁盘作为待重建的磁盘，其中，待重建的磁盘的文件源数据的大小的总和与缓存的总的存储空间大小匹配。
例如，有磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据需要重建，但是，磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据的大小总和大于缓存的总的存储空间大小。在磁盘1-磁盘4中，磁盘1、磁盘2和磁盘3中的文件源数据的大小的总和是小于或等于缓存的总的存储空间大小，那么就将磁盘1、磁盘2和磁盘3作为待重建的磁盘，然后利用磁盘1、磁盘2和磁盘3对应的线程1、线程2和线程3同时将磁盘1、磁盘2和磁盘3中的文件源数据重建到缓存的相应的存储位置。
进一步地，在上述实施例的基础上，图2所示的装置还包括：
删除单元，适于利用与未被选择的磁盘对应的线程，将未被选择的磁盘中的文件源数据和文件删除。
因为未被选择的磁盘中的文件源数据是没有被重建的，其保存的文件无法被访问，则为了节省空间，将未被选择的磁盘中的文件源数据和文件进行删除。以保证磁盘资源的合理分配。例如，在上述例子的基础上，例如磁盘4对应的线程4，将磁盘4中保存的文件源数据和文件删除。
具体地，上述的判断单元，适于计算各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值；根据预设比例和计算的差值，确定各磁盘的待舍弃的文件源数据，将各磁盘的非待舍弃的文件源数据作为待重建的各磁盘的文件源数据。
在本实施例中，如果各磁盘的文件源数据的大小的总和大于缓存的总的存储空间大小，则分别从各磁盘中舍弃一部分文件源数据不进行重建。
例如，有磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据需要重建，但是，磁盘1、磁盘2、磁盘3和磁盘4中的文件源数据的大小总和大于缓存的总的存储空间大小。预设比例是1:1:1:1，如果计算的各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值是100M，则根据预设比例，分别从磁盘1、磁盘2、磁盘3和磁盘4确定出25M的文件源数据作为带待舍弃的文件源数据，然后将磁盘1、磁盘2、磁盘3和磁盘4中的非待舍弃的文件源数据进行重建。
优选地，上述的预设比例是根据缓存重建前各磁盘的访问热度确定的。
在上述例子的基础上，如果磁盘1中的文件的访问热度较大，磁盘2中的文件的访问热度其次，那么就可以将磁盘1和磁盘2的舍弃比例相应的降低，例如，预设比例确定为1:2:3:3。
进一步地，在上述实施例基础上，图2所示的装置还包括：
删除单元，适于利用若干个线程，分别将相应的磁盘中的待舍弃的文件源数据和对应的文件删除。
例如，在上述例子的基础上，利用磁盘1、磁盘2、磁盘3和磁盘4对应的线程1、线程2、线程3和线程3分别从磁盘1、磁盘2、磁盘3和磁盘4中将确定出25M的带待舍弃的文件源数据删除。
综上所述，根据本发明的技术方案，确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。本技术方案中，若干个线程同时将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置，减少重建时间，提高重建效率，保证服务器的正常使用。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的缓存重建装置、电子设备和计算机可读存储介质中的一些或者完整部件的一些或者完整功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者完整的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备300传统上包括处理器310和被安排成存储计算机可执行指令(程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行图1所示的以及各实施例中的任何方法步骤的程序代码340的存储空间330。例如，用于程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个程序代码340。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质400。该计算机可读存储介质400可以具有与图3的电子设备中的存储器320类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码410，即可以由诸如310之类的处理器读取的程序代码，当这些程序代码由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第一、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明的实施例公开了A1、一种缓存重建方法，其中，该方法包括：
确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；
开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；
利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
A2、如A1所述的方法，其中，所述确定缓存中的与内存中各磁盘的文件源数据对应的存储位置包括：
获取各磁盘的文件个数信息；
根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；
根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
A3、如A2所述的方法，其中，所述从缓存中为各磁盘请求相应存储空间大小的存储位置包括：
根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
A4、如A2所述的方法，其中，所述利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置包括：
根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
A5、如A1所述的方法，其中，该方法还包括：
根据各磁盘的文件个数信息，判断各磁盘的文件源数据的大小的总和是否大于缓存的总的存储空间大小；
若判断为是，确定待重建的各磁盘的文件源数据；
所述利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置包括：
利用若干个线程，分别将相应的待重建的各磁盘的文件源数据重建到缓存中相应的存储位置。
A6、如A5所述的方法，其中，所述确定待重建的各磁盘的文件源数据包括：
从各磁盘中选择出一个或多个磁盘作为待重建的磁盘，其中，待重建的磁盘的文件源数据的大小的总和与缓存的总的存储空间大小匹配。
A7、如A6所述的方法，其中，该方法还包括：
利用与未被选择的磁盘对应的线程，将未被选择的磁盘中的文件源数据和文件删除。
A8、如A5所述的方法，其中，所述确定待重建的各磁盘的文件源数据包括：
计算各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值；
根据预设比例和计算的差值，确定各磁盘的待舍弃的文件源数据，将各磁盘的非待舍弃的文件源数据作为待重建的各磁盘的文件源数据。
A9、如A8所述的方法，其中，
所述预设比例是根据缓存重建前各磁盘的访问热度确定的。
A10、如A8所述的方法，其中，该方法还包括：
利用若干个线程，分别将相应的磁盘中的待舍弃的文件源数据和对应的文件删除。
本发明的实施例还公开了B11、一种缓存重建装置，其中，该装置包括：
确定单元，适于确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；
开启单元，适于开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；
重建单元，适于利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
B12、如B11所述的装置，其中，
所述确定单元，适于获取各磁盘的文件个数信息；根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
B13、如B12所述的装置，其中，
所述确定单元，适于根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
B14、如B12所述的装置，其中，
所述重建单元，适于根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
B15、如B11所述的装置，其中，该装置还包括：
判断单元，适于根据各磁盘的文件个数信息，判断各磁盘的文件源数据的大小的总和是否大于缓存的总的存储空间大小；若判断为是，确定待重建的各磁盘的文件源数据；
所述重建单元，适于利用若干个线程，分别将相应的待重建的各磁盘的文件源数据重建到缓存中相应的存储位置。
B16、如B15所述的装置，其中，
所述判断单元，适于从各磁盘中选择出一个或多个磁盘作为待重建的磁盘，其中，待重建的磁盘的文件源数据的大小的总和与缓存的总的存储空间大小匹配。
B17、如B16所述的装置，其中，该装置还包括：
删除单元，适于利用与未被选择的磁盘对应的线程，将未被选择的磁盘中的文件源数据和文件删除。
B18、如B15所述的装置，其中，
所述判断单元，适于计算各磁盘的文件源数据的大小的总和与缓存的总的存储空间大小的差值；根据预设比例和计算的差值，确定各磁盘的待舍弃的文件源数据，将各磁盘的非待舍弃的文件源数据作为待重建的各磁盘的文件源数据。
B19、如B18所述的装置，其中，
所述预设比例是根据缓存重建前各磁盘的访问热度确定的。
B20、如B18所述的装置，其中，该装置还包括：
删除单元，适于利用若干个线程，分别将相应的磁盘中的待舍弃的文件源数据和对应的文件删除。
本发明的实施例还公开了C21、一种电子设备，其中，该电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据A1～A10中任一项所述的方法。
本发明的实施例还公开了D22、一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现A1～A10中任一项所述的方法。

Claims (10)

1.一种缓存重建方法，其中，该方法包括：
确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；
开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；
利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
2.如权利要求1所述的方法，其中，所述确定缓存中的与内存中各磁盘的文件源数据对应的存储位置包括：
获取各磁盘的文件个数信息；
根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；
根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
3.如权利要求2所述的方法，其中，所述从缓存中为各磁盘请求相应存储空间大小的存储位置包括：
根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
4.如权利要求2所述的方法，其中，所述利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置包括：
根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
5.一种缓存重建装置，其中，该装置包括：
确定单元，适于确定缓存中的与内存中各磁盘的文件源数据对应的存储位置；
开启单元，适于开启若干个线程，其中，开启的线程与内存中的磁盘一一对应；
重建单元，适于利用若干个线程，分别将相应的磁盘中保存的文件源数据重建到缓存中对应的存储位置。
6.如权利要求5所述的装置，其中，
所述确定单元，适于获取各磁盘的文件个数信息；根据获取的文件个数信息，计算各磁盘的文件源数据所需的存储空间大小；根据计算的各磁盘的文件源数据所需的存储空间大小，从缓存中为各磁盘请求相应存储空间大小的存储位置，并将各磁盘与相应存储空间大小的存储位置建立对应关系。
7.如权利要求6所述的装置，其中，
所述确定单元，适于根据缓存的最小存储单元，从缓存中为各磁盘请求相应存储空间大小的存储位置。
8.如权利要求6所述的装置，其中，
所述重建单元，适于根据建立的对应关系，利用若干个线程分别访问相应磁盘的存储位置，将相应的磁盘中保存的文件源数据重建到缓存中相应的存储位置。
9.一种电子设备，其中，该电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1～4中任一项所述的方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1～4中任一项所述的方法。
CN201811559832.1A 2018-12-19 2018-12-19 一种缓存重建方法和装置 Pending CN111338560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811559832.1A CN111338560A (zh) 2018-12-19 2018-12-19 一种缓存重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811559832.1A CN111338560A (zh) 2018-12-19 2018-12-19 一种缓存重建方法和装置

Publications (1)

Publication Number Publication Date
CN111338560A true CN111338560A (zh) 2020-06-26

Family

ID=71181276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811559832.1A Pending CN111338560A (zh) 2018-12-19 2018-12-19 一种缓存重建方法和装置

Country Status (1)

Country Link
CN (1) CN111338560A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020103814A1 (en) * 2000-12-12 2002-08-01 Edouard Duvillier High speed, non-log based database recovery technique
CN102622414A (zh) * 2012-02-17 2012-08-01 清华大学 基于对等结构的分布式高维索引并行查询框架
CN104050094A (zh) * 2013-03-11 2014-09-17 Lsi公司 管理高速缓存存储区的系统、方法和计算机可读介质
CN107180082A (zh) * 2017-05-03 2017-09-19 珠海格力电器股份有限公司 一种基于多级缓存机制的数据更新系统及方法
CN108279943A (zh) * 2017-01-05 2018-07-13 腾讯科技（深圳）有限公司 索引加载方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020103814A1 (en) * 2000-12-12 2002-08-01 Edouard Duvillier High speed, non-log based database recovery technique
CN102622414A (zh) * 2012-02-17 2012-08-01 清华大学 基于对等结构的分布式高维索引并行查询框架
CN104050094A (zh) * 2013-03-11 2014-09-17 Lsi公司 管理高速缓存存储区的系统、方法和计算机可读介质
CN108279943A (zh) * 2017-01-05 2018-07-13 腾讯科技（深圳）有限公司 索引加载方法和装置
CN107180082A (zh) * 2017-05-03 2017-09-19 珠海格力电器股份有限公司 一种基于多级缓存机制的数据更新系统及方法

Similar Documents

Publication Publication Date Title
US11106586B2 (en) Systems and methods for rebuilding a cache index
CN107968818B (zh) 数据的存储方法、装置及服务器集群
US9141526B2 (en) Reclaiming units by searching units for a predetermined criterion and storing data from a valid subunit
US10248556B2 (en) Forward-only paged data storage management where virtual cursor moves in only one direction from header of a session to data field of the session
CN107066498B (zh) 键值kv存储方法和装置
US10146686B2 (en) Lock free container packing
US9710283B2 (en) System and method for pre-storing small data files into a page-cache and performing reading and writing to the page cache during booting
CN108647151A (zh) 一种全闪系统元数据落盘方法、装置、设备及存储介质
CN108052643B (zh) 基于LSM Tree结构的数据存储方法、装置及存储引擎
CN108021333B (zh) 随机读写数据的系统、装置及方法
JP5932171B2 (ja) ストレージシステムにおけるオブジェクトベースのトランザクションのための方法およびシステム
US10789170B2 (en) Storage management method, electronic device and computer readable medium
US10198352B2 (en) Efficient pointer swizzling for persistent objects
US20240143219A1 (en) Software-hardware combination method for internal mapping address query of zoned namespace
CN107256233B (zh) 一种数据存储方法和装置
CN106227769B (zh) 数据存储方法及装置
CN106686095A (zh) 一种基于纠删码技术的数据存储方法及装置
US8412691B2 (en) Maintenance and access of a linked list
CN106599247B (zh) LSM-tree结构中数据文件的合并方法及装置
CN111338560A (zh) 一种缓存重建方法和装置
US10884934B1 (en) Prefetching data units to a cache of a storage system
CN109727629B (zh) 使用利用多间隙进度字段的磨损均衡的方法和系统
CN113064943A (zh) 一种数据采集方法、装置、电子设备和存储介质
CN111367868A (zh) 一种文件获取请求的处理方法和装置
CN110825652A (zh) 淘汰磁盘块上的缓存数据的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination