CN106709025A - 更新聚合对象的方法及装置 - Google Patents

更新聚合对象的方法及装置 Download PDF

Info

Publication number
CN106709025A
CN106709025A CN201611234563.2A CN201611234563A CN106709025A CN 106709025 A CN106709025 A CN 106709025A CN 201611234563 A CN201611234563 A CN 201611234563A CN 106709025 A CN106709025 A CN 106709025A
Authority
CN
China
Prior art keywords
aggregate objects
source file
disk
objects
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611234563.2A
Other languages
English (en)
Inventor
李旭东
李长春
李晓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611234563.2A priority Critical patent/CN106709025A/zh
Publication of CN106709025A publication Critical patent/CN106709025A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及文件存储领域，公开了一种更新聚合对象的方法及装置，克服了现有技术中，大量的小文件操作会带来严重的系统问题。该发明判断符合条件的源文件，将符合条件的源文件写入一个大文件形成聚合对象，再将聚合对象存入磁盘，并预定义源文件聚合所要求的源文件阈值、聚合对象阈值和时间阈值。统一更新同一聚合对象中元数据信息，减轻集群的写压力，减少客户端与交互次数，提高小文件写入效率，避免了对小文件操作频繁，一次写入，多次读取，提高磁盘空间使用率；提高顺序读性能，读取多个小文件不用频繁调用读接口，分析元数据、读数据耗时短。

Description

更新聚合对象的方法及装置
技术领域
该发明涉及文件存储领域，特别是涉及一种更新聚合对象的方法及装置。
背景技术
在一些应用场景中，比如社交购物网站、广电、网络视频等会产生文本、图片、音乐等，存在大量对小文件的操作。这些场景的特点是，产生的小文件数量多，大小一般在1M以下，小文件流动快，操作频繁，即一次写入，多次读取。给用户的体验小文件读写慢，磁盘空间消耗快。此外大量小文件的操作也会带来严重的系统问题，因为每个小文件存储都要调用一次Rados接口，执行一次全写流程，磁盘写数据压力大，每个小文件在磁盘存储中以固定大小，如4KB对齐，导致磁盘空间使用率低。读取多个小文件频繁调用读接口，存在分析元数据、读数据耗时长的现象。
发明内容
针对上述技术问题，本发明提供一种存储资源利用率高，运行效率较高的更新聚合对象的方法及装置。
为解决以上技术问题，本发明采用以下技术解决方案，一种更新聚合对象的方法包括以下步骤：
判断符合条件的源文件；
将符合条件的源文件写入一个大文件形成聚合对象；
将聚合对象存入磁盘。
优选地，判断符合条件的源文件之前，还包括，预定义源文件聚合所要求的阈值。
预定义源文件聚合所要求的阈值，包括预定义源文件阈值、聚合对象阈值、时间阈值。
优选地，判断符合条件的源文件包括，对源文件大小的判断，如果源文件大小大于源文件阈值，则直接将其写入磁盘，如果源文件大小小于源文件阈值，则将源文件写入一个大文件形成聚合对象。
优选地，将聚合对象存入磁盘之前，还包括，依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，对聚合对象进行存储，如果未达到，再次等待所要存储的源文件。
优选地，将聚合对象存入磁盘之前，还包括，对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，则直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，继续向聚合对象里写入源文件。
在聚合对象存入磁盘之前包括，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
一种更新聚合对象的装置，包括以下模块：
判断模块，用于判断符合条件的源文件；
写入模块，用于将符合条件的源文件写入一个大文件形成聚合对象；
存入模块，用于将聚合对象存入磁盘。
优选地，还包括预定义模块，用于判断符合条件的源文件之前，预定义源文件聚合所要求的阈值。
所述判断模块，用于对源文件大小的判断，如果源文件大小大于源文件阈值，则直接将其写入磁盘，如果源文件大小小于源文件阈值，则将源文件写入一个大文件形成聚合对象。
优选地，还包括时间间隔判断模块，用于将聚合对象存入磁盘之前，依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，对聚合对象进行存储，如果未达到，再次等待所要存储的源文件。
优选地，还包括聚合对象大小判断模块，用于对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，则直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，继续向聚合对象里写入源文件。
写入模块，用于在聚合对象存入磁盘之前包括，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
与现有技术相比，本发明一种更新聚合对象的方法及装置具有以下优点：
1、通过对时间间隔是否达到时间阈值，来决定将其写入磁盘或等待所要存储的源文件，避免了聚合对象长时间不存盘，不能及时存盘而存在数据丢失的风险。
2、通过对聚合对象大小的判断，来决定将其直接写入磁盘或继续向其写入源文件，避免了对小文件操作频繁，一次写入，多次读取。
3、统一更新同一聚合对象中元数据信息，减轻集群的写压力，减少客户端与交互次数，提高小文件写入效率，提高磁盘空间使用率；提高顺序读性能，读取多个小文件不用频繁调用读接口，分析元数据、读数据耗时短。
附图说明
图1是本发明更新聚合对象的方法及装置中方法的流程示意图之一；
图2是本发明更新聚合对象的方法及装置中方法的流程示意图之二；
图3是本发明更新聚合对象的方法及装置中方法的流程示意图之三；
图4是本发明更新聚合对象的方法及装置中方法的流程示意图之四；
图5是本发明更新聚合对象的方法及装置中装置的模块示意图之一；
图6是本发明更新聚合对象的方法及装置中装置的模块示意图之二；
图7是本发明更新聚合对象的方法及装置中装置的模块示意图之三；
图8是本发明更新聚合对象的方法及装置中装置的模块示意图之四。
具体实施方式
下面对本发明中涉及到的一些技术词语进行解释：
缓存首部，英文为Cache-Control，是最重要的规则。这个字段用于指定所有缓存机制在整个请求/响应链中必须服从的指令。这些指令指定用于阻止缓存对请求或响应造成不利干扰的行为。这些指令通常覆盖默认缓存算法。缓存指令是单向的，即请求中存在一个指令并不意味着响应中将存在同一个指令。其包括a．缓存的类型，b．缓存的行为，c．客户端行为。
下面结合附图和具体实施方式对本发明一种更新聚合对象的方法及装置作进一步说明：
实施例1
如图1所示，一种更新聚合对象的方法包括以下步骤：
步骤S101：判断符合条件的源文件。
步骤S102：将符合条件的源文件写入一个大文件形成聚合对象。
步骤S103：将聚合对象存入磁盘。
实施例2
如图2所示，一种更新聚合对象的方法包括以下步骤：
步骤S201：预定义源文件聚合所要求的阈值，包括预定义源文件阈值、聚合对象阈值。
步骤S202：对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，则进行步骤S206，直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，继续进行步骤S203，读取源文件，向聚合对象里写入源文件。
步骤S204：判断符合条件的源文件；其包括，对源文件大小的判断，如果源文件大小大于源文件阈值，则进行步骤S206，直接将其写入磁盘，如果源文件大小小于源文件阈值，则进行步骤S205，将源文件放入聚合对象，再次进行步骤S202，依次向下循环执行。
步骤S207：批量更新元数据。
其中步骤S206，在聚合对象存入磁盘之前包括，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
实施例3
如图3所示，一种更新聚合对象的方法包括以下步骤：
步骤S301：预定义源文件聚合所要求的阈值，包括预定义源文件阈值、时间阈值。
步骤S302：读取源文件。
步骤S303：判断源文件大小是否达到源文件阈值，如果源文件大小大于源文件阈值，则直接进行步骤S306，将其写入磁盘，如果源文件大小小于源文件阈值，则进行步骤S304，将符合条件的源文件写入一个大文件形成聚合对象。
步骤S305：将聚合对象存入磁盘之前，还包括，依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，进行步骤S306，对聚合对象写入磁盘进行存储，如果未达到，再次进行步骤S302，等待并读取所要存储的源文件，依次向下循环执行。
步骤S307：批量更新元数据。
步骤S308：更新最后写盘时间。
其中步骤S306：在聚合对象存入磁盘之前包括，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
实施例4
如图4所示，一种更新聚合对象的方法包括以下步骤：
步骤S401：预定义源文件聚合所要求的阈值，包括预定义源文件阈值、聚合对象阈值、时间阈值。
步骤S402：依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，进行步骤S406，对聚合对象写入磁盘进行存储，如果未达到，进行步骤S403。
步骤S403：对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，进行步骤S406，直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，进行步骤S404，读取源文件。
步骤S405：判断符合条件的源文件，即判断源文件大小是否达到源文件阀值；其包括，对源文件大小的判断，如果源文件大小大于源文件阈值，则进行步骤S407，直接将其写入磁盘，如果源文件大小小于源文件阈值，则进行步骤S406，将源文件放入聚合对象，再次进行步骤S403，依次向下循环执行。
步骤S408：批量更新元数据。
步骤S409：更新最后写盘时间。
其中步骤S407：在聚合对象存入磁盘之前包括，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
实施例5
如图5所示，一种更新聚合对象的装置包括以下模块：
判断模块201，用于判断符合条件的源文件。
写入模块202，用于将符合条件的源文件写入一个大文件形成聚合对象。
存入模块203，用于将聚合对象存入磁盘。
实施例6
如图6所示，一种更新聚合对象的装置包括以下模块：
优选地，还包括预定义模块204，用于判断符合条件的源文件之前，预定义源文件聚合所要求的阈值。
判断模块201，用于判断符合条件的源文件；如果源文件大小大于源文件阈值，则直接将其写入磁盘，如果源文件大小小于源文件阈值，则将源文件写入缓存，等待放入聚合对象。
写入模块202，用于将符合条件的源文件写入一个大文件形成聚合对象。
存入模块203，用于将聚合对象存入磁盘。
优选地，还包括聚合对象大小判断模块205，用于对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，则直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，继续向聚合对象里写入源文件。
写入模块202，用于在聚合对象存入磁盘之前，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
实施例7
如图7所示，一种更新聚合对象的装置包括以下模块：
优选地，还包括预定义模块204，用于判断符合条件的源文件之前，预定义源文件聚合所要求的阈值。
判断模块201，用于判断符合条件的源文件；如果源文件大小大于源文件阈值，则直接将其写入磁盘，如果源文件大小小于源文件阈值，则将源文件写入缓存，等待放入聚合对象。
写入模块202，用于将符合条件的源文件写入一个大文件形成聚合对象。
存入模块203，用于将聚合对象存入磁盘。
优选地，还包括时间间隔判断模块206，用于将聚合对象存入磁盘之前，依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，对聚合对象进行存储，如果未达到，再次等待所要存储的源文件。
写入模块202，用于在聚合对象存入磁盘之前，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
实施例8
如图8所示，一种更新聚合对象的装置包括以下模块：
优选地，还包括预定义模块204，用于判断符合条件的源文件之前，预定义源文件聚合所要求的阈值。
判断模块201，用于判断符合条件的源文件；如果源文件大小大于源文件阈值，则直接将其写入磁盘，如果源文件大小小于源文件阈值，则将源文件写入缓存，等待放入聚合对象。
写入模块202，用于将符合条件的源文件写入一个大文件形成聚合对象。
存入模块203，用于将聚合对象存入磁盘。
优选地，还包括时间间隔判断模块206，用于将聚合对象存入磁盘之前，依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，对聚合对象进行存储，如果未达到，再次等待所要存储的源文件。
优选地，还包括聚合对象大小判断模块205，用于对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，则直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，继续向聚合对象里写入源文件。
写入模块202，用于在聚合对象存入磁盘之前，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
本发明中，小文件不再单独进行磁盘存储，而将多个小文件以紧密方式对齐，如4K写入一个大文件，即聚合文件，实现小文件高效存储。判断模块用于判断符合条件的源文件，在聚合目录下，每个小文件，即源文件存储不再直接写入对应OBJ，而将多个小文件以紧密方式对齐写成一个大文件，即聚合文件，源文件写入缓存即写入完成，源文件不超过规定大小，如预设定值为512KB合并到聚合文件缓存中。
聚合对象大小判断模块，用于在聚合文件缓存达到一定大小，如预设定值为4MB或外界定时触发情况下数据落盘。落盘前调用对象头接口，在对象头中标记聚合文件缓存中包含源文件ino及位图信息，并将对象头放置聚合文件缓存首部。写元数据，源文件inode记录所属聚合文件ino、offset、len，提交元数据到MDS获取元数据，客户端发送请求到mds，mds从osd拿到元数据并发送给客户端。
时间间隔判断模块，具有定时刷新聚合对象以及元数据的功能，是当前写时刷新的一种补充,提供了一种在写流程外的聚合对象及元数据落盘的机制，解决的是当聚合对象不满预设定大小4M，有可能长时间不落盘的问题。在客户端中主要涉及两个线程：写线程，将源文件插入聚合对象，并更新聚合对象的最后修改时间；定时刷新线程，负责定时从list中取出聚合对象指针，根据最后一次写入时间判断是否需要刷新和批量更新元数据。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护内容。

Claims (10)

1.一种更新聚合对象的方法，其特征在于： 判断符合条件的源文件； 将符合条件的源文件写入一个大文件形成聚合对象； 将聚合对象存入磁盘。
2.根据权利要求1所述的更新聚合对象的方法，其特征在于，判断符合条件的源文件之前，还包括，预定义源文件聚合所要求的阈值。
3.根据权利要求2所述的更新聚合对象的方法，其特征在于，预定义源文件聚合所要求的阈值，包括预定义源文件阈值、聚合对象阈值、时间阈值。
4.根据权利要求1所述的更新聚合对象的方法，其特征在于，判断符合条件的源文件包括，对源文件大小的判断，如果源文件大小大于源文件阈值，则直接将其写入磁盘，如果源文件大小小于源文件阈值，则将源文件写入一个大文件形成聚合对象。
5.根据权利要求1所述的更新聚合对象的方法，其特征在于，将聚合对象存入磁盘之前，还包括，依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，对聚合对象进行存储，如果未达到，继续等待所要存储的源文件。
6.根据权利要求1所述的更新聚合对象的方法，其特征在于，将聚合对象存入磁盘之前，还包括，对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，则直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，继续向聚合对象里写入源文件。
7.根据权利要求1所述的更新聚合对象的方法，其特征在于，在聚合对象存入磁盘之前包括，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
8.一种更新聚合对象的装置，其特征在于，包括：
判断模块，用于判断符合条件的源文件；
写入模块，用于将符合条件的源文件写入一个大文件形成聚合对象；
存入模块，用于将聚合对象存入磁盘。
9.根据权利要求8所述的更新聚合对象的装置，其特征在于，还包括预定义模块，用于判断符合条件的源文件之前，预定义源文件聚合所要求的阈值。
10.根据权利要求8所述的更新聚合对象的装置，其特征在于，所述判断模块，用于对源文件大小的判断，如果源文件大小大于源文件阈值，则直接将其写入磁盘，如果源文件大小小于源文件阈值，则将源文件写入一个大文件形成聚合对象；优选地，还包括时间间隔判断模块，用于将聚合对象存入磁盘之前，依据上次写盘时间，判断时间间隔是否达到时间阈值，如果达到，对聚合对象进行存储，如果未达到，继续等待所要存储的源文件；优选地还包括聚合对象大小判断模块，用于对聚合对象大小的判断，如果聚合对象大小大于聚合对象阈值，则直接将其写入磁盘，如果聚合对象文件大小小于聚合对象阈值，继续向聚合对象里写入源文件；优选地，写入模块，在聚合对象存入磁盘之前包括，在对象头中标记聚合对象缓存中所包含的源文件信息及位图信息，并将对象头放置在聚合对象的缓存首部。
CN201611234563.2A 2016-12-28 2016-12-28 更新聚合对象的方法及装置 Pending CN106709025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611234563.2A CN106709025A (zh) 2016-12-28 2016-12-28 更新聚合对象的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611234563.2A CN106709025A (zh) 2016-12-28 2016-12-28 更新聚合对象的方法及装置

Publications (1)

Publication Number Publication Date
CN106709025A true CN106709025A (zh) 2017-05-24

Family

ID=58902929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611234563.2A Pending CN106709025A (zh) 2016-12-28 2016-12-28 更新聚合对象的方法及装置

Country Status (1)

Country Link
CN (1) CN106709025A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562915A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 读取小文件的方法、装置和设备及计算机可读存储介质
CN109101197A (zh) * 2018-08-15 2018-12-28 郑州云海信息技术有限公司 一种文件存储和访问方法、装置、文件存储器及系统
CN111309687A (zh) * 2020-01-21 2020-06-19 苏州浪潮智能科技有限公司 一种对象存储小文件处理方法、装置、设备及存储介质
CN111309702A (zh) * 2020-02-28 2020-06-19 苏州浪潮智能科技有限公司 一种文件内、文件间聚合方法及系统
CN111723056A (zh) * 2020-06-09 2020-09-29 北京青云科技股份有限公司 小文件的处理方法、装置、设备和存储介质
CN113268456A (zh) * 2021-05-20 2021-08-17 济南浪潮数据技术有限公司 一种文件处理方法、系统、设备及计算机可读存储介质
CN114116652A (zh) * 2021-11-29 2022-03-01 苏州浪潮智能科技有限公司 一种数据聚合存储方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508880A (zh) * 2011-10-18 2012-06-20 广东威创视讯科技股份有限公司 一种文件合并方法及分解方法
US20120303905A1 (en) * 2010-02-10 2012-11-29 Wei Zhang Method and apparatus for implementing cache
CN104572670A (zh) * 2013-10-15 2015-04-29 方正国际软件(北京)有限公司 一种小文件的存储、查询及删除方法和系统
CN105069048A (zh) * 2015-07-23 2015-11-18 东方网力科技股份有限公司 一种小文件存储方法、查询方法和装置
CN105404652A (zh) * 2015-10-29 2016-03-16 河海大学 一种基于hdfs的海量小文件处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303905A1 (en) * 2010-02-10 2012-11-29 Wei Zhang Method and apparatus for implementing cache
CN102508880A (zh) * 2011-10-18 2012-06-20 广东威创视讯科技股份有限公司 一种文件合并方法及分解方法
CN104572670A (zh) * 2013-10-15 2015-04-29 方正国际软件(北京)有限公司 一种小文件的存储、查询及删除方法和系统
CN105069048A (zh) * 2015-07-23 2015-11-18 东方网力科技股份有限公司 一种小文件存储方法、查询方法和装置
CN105404652A (zh) * 2015-10-29 2016-03-16 河海大学 一种基于hdfs的海量小文件处理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562915A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 读取小文件的方法、装置和设备及计算机可读存储介质
CN109101197A (zh) * 2018-08-15 2018-12-28 郑州云海信息技术有限公司 一种文件存储和访问方法、装置、文件存储器及系统
CN111309687A (zh) * 2020-01-21 2020-06-19 苏州浪潮智能科技有限公司 一种对象存储小文件处理方法、装置、设备及存储介质
CN111309702A (zh) * 2020-02-28 2020-06-19 苏州浪潮智能科技有限公司 一种文件内、文件间聚合方法及系统
CN111723056A (zh) * 2020-06-09 2020-09-29 北京青云科技股份有限公司 小文件的处理方法、装置、设备和存储介质
CN111723056B (zh) * 2020-06-09 2024-04-30 北京青云科技股份有限公司 小文件的处理方法、装置、设备和存储介质
CN113268456A (zh) * 2021-05-20 2021-08-17 济南浪潮数据技术有限公司 一种文件处理方法、系统、设备及计算机可读存储介质
CN113268456B (zh) * 2021-05-20 2023-12-08 济南浪潮数据技术有限公司 一种文件处理方法、系统、设备及计算机可读存储介质
CN114116652A (zh) * 2021-11-29 2022-03-01 苏州浪潮智能科技有限公司 一种数据聚合存储方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN106709025A (zh) 更新聚合对象的方法及装置
CN105205014B (zh) 一种数据存储方法和装置
CN107562645B (zh) 一种内存页管理方法及计算设备
CN103218312B (zh) 文件访问方法及系统
CN100383792C (zh) 缓存数据库数据组织方法
CN105653720B (zh) 一种可灵活配置的数据库分层存储优化方法
US10339021B2 (en) Method and apparatus for operating hybrid storage devices
CN110059033A (zh) 数据中心中的共享存储器控制器
CN106055274A (zh) 一种数据存储方法、数据读取方法及电子设备
CN103927215B (zh) 基于内存盘与SSD硬盘的kvm虚拟机调度的优化方法及系统
CN109086141A (zh) 内存管理方法和装置以及计算机可读存储介质
CN106951301B (zh) 文件预读方法及装置
CN106909323B (zh) 适用于dram/pram混合主存架构的页缓存方法及混合主存架构系统
CN100580669C (zh) 在Flash存储介质上的关于文件分配表的缓存实现方法
CN101957729A (zh) 逻辑块变换方法及基于该方法兼容用户读写的方法和装置
CN103500075A (zh) 一种基于新材料的外接的计算机加速设备
US20140195571A1 (en) Fast new file creation cache
CN102779098A (zh) 混合缓存的协同式自适应预取方法、中间件和系统
CN107422994A (zh) 一种提高数据读写性能的方法
CN107506139A (zh) 一种面向相变存储器的写请求优化装置
CN105589912B (zh) 一种利用mram处理频写文件的方法及存储结构
CN103488772A (zh) 一种通过外存对文件进行缓存的方法、系统及设备
US9857864B1 (en) Systems and methods for reducing power consumption in a memory architecture
US11372756B2 (en) Memory pool management
CN102314396B (zh) 区块为基础闪存的字节存取的方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524