CN112765113B - 索引压缩方法、装置、计算机可读存储介质及电子设备 - Google Patents
索引压缩方法、装置、计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN112765113B CN112765113B CN202110132075.5A CN202110132075A CN112765113B CN 112765113 B CN112765113 B CN 112765113B CN 202110132075 A CN202110132075 A CN 202110132075A CN 112765113 B CN112765113 B CN 112765113B
- Authority
- CN
- China
- Prior art keywords
- new
- size
- order part
- index
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000006835 compression Effects 0.000 title claims abstract description 33
- 238000007906 compression Methods 0.000 title claims abstract description 32
- 238000004590 computer program Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及索引压缩方法、装置、计算机可读存储介质及电子设备，该方法包括：将所述索引文件原有key分为高位部分和低位部分；复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；将原有size的大小压缩为2个字节后作为新size；基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。将原有key进行分割，只留低位部分存储在内存中，且复用高位部分与低位部分作为offset，并将原有size的大小压缩为2个字节后作为新size，以此大大减小了索引文件的大小，进而有效降低了索引文件所占内存的大小。
Description
技术领域
本发明涉及海量分布式小文件的存储索引技术领域，具体涉及索引压缩方法、装置、计算机可读存储介质及电子设备。
背景技术
在处理海量小文件(如数据大小为几KB或十几KB的文件)的系统的存储压力场景中，特别是操作系统的inode(索引节点)会占用一部分元数据，这样内核空间的压力特别大，在处理TB(Terabyte，太字节)级别的数据会有访问延时现象。所以现在一般使用文件聚合技术，在hdd(HardDiskDrive，硬盘驱动器)上分配一个大的空文件作为基本存储单元，命名为base.dat，每个base.dat大小设置为32GB。每个base.dat配置一个索引文件命名为base.idx。如图1所示，base.idx中包括key,offset，size，crc16这几个部分。
由此，在处理TB级别数据时，索引占用内存过多。以8TB为例，需要存储的索引值为，计算过程如下：
memory_8TB_size是8TB转换为字节的算法，单位是KB；
memory_8TB_size＝8*1024*1024*1024；
如果存储的小文件大小是8KB，小文件的个数就是总大小除以8KB。
min_file_count＝memory_8TB_size/8；
要计算索引占用的内存大小就是小文件个数乘以单个索引元数据的大小；
need_index_space＝min_file_count*16/1024.0/1024.0/1024.0；need_index_space＝16GB；其中need_index_space计算行里面与min_file_count相乘的16就是如图1所示的4个字节的key、4个字节的offset、4个字节的size、2个字节的crc16、2个字节的其他部分的数据大小相加得来的。
由此，目前需要有一种更好的方案来解决现有技术中索引占用内存过多的问题。
发明内容
本发明提供索引压缩方法、装置、计算机可读存储介质及电子设备，能够解决现有技术中索引占用内存过多的技术问题。
本发明解决上述技术问题的技术方案如下：
本发明实施例提出了一种索引压缩方法，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；该方法包括：
将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；
复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；
将原有size的大小压缩为2个字节后作为新size；
基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。
在一个具体的实施例中，所述高位部分的范围为0-63。
在一个具体的实施例中，所述低位部分的范围为0-65535。
在一个具体的实施例中，每个所述atomic.dat的大小为0-512MB。
在一个具体的实施例中，每个所述base.dat包含64个atomic.dat。
在一个具体的实施例中，新size的默认单位大于或等于8KB。
本发明实施例还提出了一种文件存储系统内存索引压缩的设备，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；该设备包括：
分割模块，用于将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；
复用模块，用于复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；
压缩模块，用于将原有size的大小压缩为2个字节后作为新size；
组成模块，用于基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。
本发明实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的方法。
本发明实施例还提出了一种电子设备，包括：一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
本发明的有益效果是：
通过本方案，将原有key进行分割，只留低位部分存储在内存中，且复用高位部分与低位部分作为offset，并将原有size的大小压缩为2个字节后作为新size，以此大大减小了索引文件的大小，进而有效降低了索引文件所占内存的大小。
附图说明
图1为现有索引文件内存布局框架结构示意图；
图2为本发明实施例提出的一种索引压缩方法的流程示意图；
图3为本发明实施例提出的一种索引压缩方法生成的新索引文件的结构示意图；
图4为本发明实施例提出的一种索引压缩方法生成的高位部分与低位部分的结构示意图；
图5为本发明实施例提出的一种索引压缩方法生成的高位部分与低位部分的示意图；
图6为本发明实施例提出的一种索引压缩方法中base.dat的结构示意图；
图7为本发明实施例提出的一种索引压缩设备的结构示意图；
图8为本发明实施例提出的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
所述索引压缩方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、可编程门阵列(Field－ProgrammableGateArray，FPGA)、数字处理器(DigitalSignalProcessor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(PersonalDigitalAssistant，PDA)、游戏机、交互式网络电视(InternetProtocolTelevision，IPTV)、智能式穿戴式设备等。所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(VirtualPrivateNetwork，VPN)等。
本发明实施例提供的一种索引压缩方法，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；key的作用是用作查询，定位一片小文件。offset含义是在base.dat的绝对偏移量，通过这个值可以找到小文件在base.dat的位置。size代表的意思是这个小文件块的名字长度是4个字节。最后crc16的作用是用于校验，具体的每次取文件都通过crc16校验。如图2所示，该方法包括：
步骤101、将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；
具体的，如图3所示，在分布式文件系统里面key的作用是用作查询，定位一片小文件。首先要表示232次方个状态，使用4个字节(每个字节有8位)表示这些状态是最经济的(经过前面的计算得知，在数据量很大的前提下面，每多一个字节索引可能就多占用1GB或者以上的内存)。
如图4所示，key的优化，在文件系统里面直接使用4个字节存储，但是在内存里面只需使用2个字节存储。把4个字节分成两个区间，高两个字节直接作为索引，低两个直接作为内存中的key值。进一步的，所述高位部分的范围为0-63。所述低位部分的范围为0-65535。
如图5所示的索引的二位矩阵中，首先使用high定位一片索引，每片索引是65535个元素，再使用low值，定位具体位置。可以看上图，先使用high定位灰色部分，再使用low，部分定位具体元素。查找过程可以为：
high＝(key&0xFFFF0000)>>16；
low＝key&0xFFFF。
步骤102、复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；
首先新的索引里面offset就是key，高两位是base.dat里面atomic.dat的区间，范围是0-63。key表示offset的时候，就是相对本atomic.dat的偏移地址。比如key是0x000100001的位置就是base.dat里面第2个atomic.dat的第1块存储块。每个atomic.dat的大小是0-512MB。只要知道atomic.dat的编号，就是大的内存偏移，如果知道，key值就知道相对于这个atomic.dat偏移地址。最后使用key就得到相对于整个文件的offset地址。base.dat包含64个atomic.dat，布局如图6所示。
步骤103、将原有size的大小压缩为2个字节后作为新size；
由于本系统定位是小文件，所以不会存储过大的文件。新size的默认单位大于或等于8KB。也即size的默认单位可以是8KB。size的值为1就是8KB，size的值为2就是16KB。size虽然只使用了两个字节但时可以表示单个512MB的最大文件。
步骤104、基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。
以8TB举例来进行说明，需要存储的索引值为，计算过程如下：
memory_8TB_size是8TB转换为字节的算法，单位是KB；
memory_8TB_size＝8*1024*1024*1024；
如果存储的小文件大小是8KB，小文件的个数就是总大小除以8KB。
min_file_count＝memory_8TB_size/8；
要计算索引占用的内存大小就是小文件个数乘以单个索引元数据的大小：
need_index_space＝min_file_count*6/1024.0/1024.0/1024.0；
need_index_space＝6GB。
由此可以看出，使用索引压缩的方式，在search性能不变的前提下，极大的节约了内存，内存索引压缩超过50％，老的系统需要16GB，新的系统只要6GB。
本发明实施例还公开了一种索引压缩设备，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；如图7所示，该设备包括：
分割模块201，用于将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；
复用模块202，用于复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；
压缩模块203，用于将原有size的大小压缩为2个字节后作为新size；
组成模块204，用于基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。
在一个具体的实施例中，所述高位部分的范围为0-63。
在一个具体的实施例中，所述低位部分的范围为0-65535。
在一个具体的实施例中，每个所述atomic.dat的大小为0-512MB。
在一个具体的实施例中，每个所述base.dat包含64个atomic.dat。
在一个具体的实施例中，新size的默认单位大于或等于8KB。
本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述的方法。
本发明还公开了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的方法。
如图8所示，是本发明实现索引压缩方法的较佳实施例的电子设备的结构示意图。所述电子设备可以包括处理器301、存储器302总线，还可以包括存储在所述存储器302中并可在所述处理器301上运行的计算机程序，例如实现索引压缩方法的程序。
本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，所述电子设备既可以是总线型结构，也可以是星形结构，所述电子设备还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述电子设备还可以包括输入输出设备、网络接入设备等。
需要说明的是，所述电子设备仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。其中，存储器302至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器302在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器3022在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(SmartMediaCard,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(FlashCard)等。进一步地，存储器302还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器302不仅可以用于存储安装于电子设备的应用软件及各类数据，例如索引压缩的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器301在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路
所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(CentralProcessingunit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器301是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器302内的程序或者模块(例如执行索引压缩程序等)，以及调用存储在所述存储器302内的数据，以执行电子设备1的各种功能和处理数据。
本发明实施例提出了索引压缩方法、装置、计算机可读存储介质及电子设备，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；该方法包括：将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；将原有size的大小压缩为2个字节后作为新size；基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。本方案中将原有key进行分割，只留低位部分存储在内存中，且复用高位部分与低位部分作为offset，并将原有size的大小压缩为2个字节后作为新size，以此大大减小了索引文件的大小，进而有效降低了索引文件所占内存的大小。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种索引压缩方法，其特征在于，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；该方法包括：
将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；
复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；
将原有size的大小压缩为2个字节后作为新size；
基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。
2.根据权利要求1所述的方法，其特征在于，所述高位部分的范围为0-63。
3.根据权利要求1或2所述的方法，其特征在于，所述低位部分的范围为0-65535。
4.根据权利要求1所述的方法，其特征在于，每个所述atomic.dat的大小为0-512MB。
5.根据权利要求1或2所述的方法，其特征在于，每个所述base.dat包含64个atomic.dat。
6.根据权利要求1所述的方法，其特征在于，新size的默认单位大于或等于8KB。
7.一种索引压缩设备，其特征在于，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；该设备包括：
分割模块，用于将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；
复用模块，用于复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；
压缩模块，用于将原有size的大小压缩为2个字节后作为新size；
组成模块，用于基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任意一项所述的方法。
9.一种电子设备，其特征在于，包括：一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110132075.5A CN112765113B (zh) | 2021-01-31 | 2021-01-31 | 索引压缩方法、装置、计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110132075.5A CN112765113B (zh) | 2021-01-31 | 2021-01-31 | 索引压缩方法、装置、计算机可读存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112765113A CN112765113A (zh) | 2021-05-07 |
| CN112765113B true CN112765113B (zh) | 2024-04-09 |
Family
ID=75704238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110132075.5A Active CN112765113B (zh) | 2021-01-31 | 2021-01-31 | 索引压缩方法、装置、计算机可读存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112765113B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012168781A (ja) * | 2011-02-15 | 2012-09-06 | Nippon Telegr & Teleph Corp <Ntt> | 分散型データストアシステム及び分散型データストアシステムにおけるレコード管理方法 |
| CN103559027A (zh) * | 2013-10-22 | 2014-02-05 | 北京航空航天大学 | 一种key与value分开存储的key-value存储系统设计方法 |
| CN105224828A (zh) * | 2015-10-09 | 2016-01-06 | 人和未来生物科技（长沙）有限公司 | 一种基因序列片段快速定位用键值索引数据压缩方法 |
| CN106874348A (zh) * | 2016-12-26 | 2017-06-20 | 贵州白山云科技有限公司 | 文件存储和索引方法、装置及读取文件的方法 |
| CN109583861A (zh) * | 2018-11-23 | 2019-04-05 | 中科驭数（北京）科技有限公司 | key-value数据库中的数据压缩方法、访问方法和系统 |
| CN110299187A (zh) * | 2019-07-04 | 2019-10-01 | 南京邮电大学 | 一种基于Hadoop的并行化基因数据压缩方法 |
| CN110502472A (zh) * | 2019-08-09 | 2019-11-26 | 西藏宁算科技集团有限公司 | 一种大量小文件的云存储优化方法及其系统 |
| CN111382120A (zh) * | 2018-12-29 | 2020-07-07 | 贵州白山云科技股份有限公司 | 一种小文件管理方法、系统和计算机设备 |
| CN111475509A (zh) * | 2020-04-03 | 2020-07-31 | 李俊宏 | 一种基于大数据的用户画像和多维分析系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9792310B2 (en) * | 2015-04-29 | 2017-10-17 | Sap Se | Run index compression |
-
2021
- 2021-01-31 CN CN202110132075.5A patent/CN112765113B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012168781A (ja) * | 2011-02-15 | 2012-09-06 | Nippon Telegr & Teleph Corp <Ntt> | 分散型データストアシステム及び分散型データストアシステムにおけるレコード管理方法 |
| CN103559027A (zh) * | 2013-10-22 | 2014-02-05 | 北京航空航天大学 | 一种key与value分开存储的key-value存储系统设计方法 |
| CN105224828A (zh) * | 2015-10-09 | 2016-01-06 | 人和未来生物科技（长沙）有限公司 | 一种基因序列片段快速定位用键值索引数据压缩方法 |
| CN106874348A (zh) * | 2016-12-26 | 2017-06-20 | 贵州白山云科技有限公司 | 文件存储和索引方法、装置及读取文件的方法 |
| CN109583861A (zh) * | 2018-11-23 | 2019-04-05 | 中科驭数（北京）科技有限公司 | key-value数据库中的数据压缩方法、访问方法和系统 |
| CN111382120A (zh) * | 2018-12-29 | 2020-07-07 | 贵州白山云科技股份有限公司 | 一种小文件管理方法、系统和计算机设备 |
| CN110299187A (zh) * | 2019-07-04 | 2019-10-01 | 南京邮电大学 | 一种基于Hadoop的并行化基因数据压缩方法 |
| CN110502472A (zh) * | 2019-08-09 | 2019-11-26 | 西藏宁算科技集团有限公司 | 一种大量小文件的云存储优化方法及其系统 |
| CN111475509A (zh) * | 2020-04-03 | 2020-07-31 | 李俊宏 | 一种基于大数据的用户画像和多维分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112765113A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102321913B1 (ko) | 불휘발성 메모리 장치, 및 그것을 포함하는 메모리 시스템 | |
| US8621143B2 (en) | Elastic data techniques for managing cache storage using RAM and flash-based memory | |
| Jung et al. | nvramdisk: A transactional block device driver for non-volatile ram | |
| EP3036642A1 (en) | Hardware managed compressed cache | |
| US11487460B2 (en) | Deferred reclamation of invalidated entries associated with replication in a log-structured array | |
| US20160253105A1 (en) | Compressing and compacting memory on a memory device | |
| US11287996B2 (en) | Method, device and computer program product for storing data | |
| US8904145B2 (en) | Adjusting memory allocation of a partition using compressed memory paging statistics | |
| CN112463356A (zh) | Gpu堆管理器内存地址分配方法、系统、终端及存储介质 | |
| US10795825B2 (en) | Compressing data for storage in cache memories in a hierarchy of cache memories | |
| US10963377B2 (en) | Compressed pages having data and compression metadata | |
| US6279092B1 (en) | Kernel identification for space management in compressed memory systems | |
| CN112765113B (zh) | 索引压缩方法、装置、计算机可读存储介质及电子设备 | |
| CN111858590B (zh) | 一种存储系统元数据组织方法、系统、终端及存储介质 | |
| CN111435331B (zh) | 存储卷写数据方法、装置、电子设备及机器可读存储介质 | |
| CN115374024A (zh) | 一种内存数据排序方法及相关设备 | |
| Filgueira et al. | Data locality aware strategy for two-phase collective I/O | |
| US11016685B2 (en) | Method and defragmentation module for defragmenting resources | |
| CN111008195A (zh) | 一种数据库空闲空间管理方法、系统、终端及存储介质 | |
| CN107273188B (zh) | 一种虚拟机中央处理单元cpu绑定方法及装置 | |
| US9092530B1 (en) | Systems and methods for rapidly provisioning virtual storage objects | |
| US20230273727A1 (en) | Dynamic storage for adaptive mapping for data compression on a storage device | |
| EP4372539A1 (en) | Hybrid design for large scale block device compression using flat hash table | |
| CN115858412A (zh) | 数据缓存方法、装置、电子设备及存储介质 | |
| CN117149447B (zh) | 带宽调整方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |