CN103294710B - 一种数据存取方法和装置 - Google Patents
一种数据存取方法和装置 Download PDFInfo
- Publication number
- CN103294710B CN103294710B CN201210048746.0A CN201210048746A CN103294710B CN 103294710 B CN103294710 B CN 103294710B CN 201210048746 A CN201210048746 A CN 201210048746A CN 103294710 B CN103294710 B CN 103294710B
- Authority
- CN
- China
- Prior art keywords
- data
- file block
- key
- block
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000004899 motility Effects 0.000 abstract 1
- 238000013500 data storage Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种数据存取方法和装置。本发明实施例提供的一种数据存取方法包括：利用内存映射文件机制为存储在磁盘上的数据文件建立内存通道；将数据文件划分为多个相同大小的逻辑文件块；利用所述内存通道将一条键值对数据写入一个逻辑文件块中；生成所述逻辑文件块的索引信息，在接收到访问请求时，根据访问请求中的主键信息和索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据。本方案提高了磁盘性能和数据存取的灵活性，且能够减少数据在网络中的传输、加快存取响应速率，数据存取效率较高。
Description
技术领域
本发明涉及互联网通信技术领域，特别涉及一种数据存取方法和装置。
背景技术
随着无线互联网的发展，网络用户的数目不断增加，从而对服务器端的性能要求也越来越高。例如，目前利用移动终端设备进行即时通讯的用户群体日益壮大，注册用户以及活跃用户不断增多，对于即时通讯(IM)服务端性能的要求也越来越高。
数据存取是服务器端的主要任务之一，目前的数据存取主要包括数据库存取和文件存取两种方式。采用数据库存取时，应用较多的数据库有Oracle数据库、SQLServer数据库、MySQL数据库，这些数据库都具有数据的增添、删除、修改、查询以及数据的备份、导出等功能。而文件存取主要应用在图片、语音等多媒体数据以及日志等不需大量查询及删改的数据存取场景中。
数据存取技术的创新和优化，对于提高无线互联网领域中服务器端的性能有很大的帮助。而目前的数据存取方案至少具有如下不足：
采用数据库存取方式时，由于数据库特定的数据存储方式和索引方式，造成了磁盘空间以及性能的损耗过大，数据库在进行增添、修改等操作时，会对整张数据表或者某行数据加锁，导致并发操作的效率较低；并且，通常会部署多台服务器执行存取操作，但在操作数据时，都需要访问同一数据库服务器，在业务量较大时，会给数据库服务器带来较大的压力，延缓数据存取的响应时间。同时，访问数据库以及数据在网络中传输的过程，也需要占用一部分网络资源，增加了系统负担。
采用文件存取方式时，由于直接读写磁盘上的文件，性能较低，对磁盘输入输出(IO)的需求较大，而且读取和删改也不够灵活。
发明内容
本发明提供的一种数据存取方法和装置，以解决现有方案磁盘空间和性能的损耗过大、并发操作的效率较低、存取响应时间过长以及存取操作不够灵活的问题。
为达到上述目的，本发明实施例采用了如下技术方案：
本发明实施例提供了一种数据存取方法，利用内存映射文件机制为存储在磁盘上的数据文件建立内存通道，所述方法包括：
将所述数据文件划分为多个相同大小的逻辑文件块；
利用所述内存通道将一条键值对数据写入一个逻辑文件块中，所述键值对数据包括数据的主键和数据的值；
生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系；
在接收到访问请求时，根据访问请求中的主键信息和索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据。
本发明实施例还提供了一种数据存取装置，所述装置包括：
内存通道建立单元，用于利用内存映射文件MMF机制为存储在磁盘上的数据文件建立内存通道；
文件块划分单元，用于将所述数据文件划分为多个相同大小的逻辑文件块；
数据存取单元，用于利用所述内存通道将一条键值对数据写入一个逻辑文件块中，所述键值对数据包括数据的主键和数据的值；
索引生成单元，用于生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系；
所述数据存取单元，还用于在接收到访问请求时，根据访问请求中的主键信息和所述索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据
本发明实施例的有益效果是：
本发明实施例通过建立内存通道并直接操作内存实现数据的存取，提供了一种新型的数据存取方案，该方案无需再对磁盘上的数据文件进行磁盘I/O操作，显著提高了磁盘性能和数据存取的灵活性，数据存取效率较高。
并且，由于本实施例的方案不依赖于数据库特定的数据存储方式和索引方式，避免了并发操作导致存取效率较低的问题；且本方案能够在本地服务器上实现数据存取，减少数据在网络中的传输，加快存取响应速率，节省了网络资源，降低了系统负担。
附图说明
图1为本发明实施例一提供的一种数据存取方法流程示意图；
图2为本发明实施例一提供的一种数据存储方式示意图；
图3为本发明实施例二提供的一种数据存取装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1，为本发明实施例一提供的一种数据存取方法，所述方法包括：
11：利用内存映射文件(Memory Mapped File，MMF)机制为存储在磁盘上的数据文件建立内存通道。
MMF机制类似于虚拟内存机制，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，内存文件映射的物理存储器来自一个已经存在于磁盘上的数据文件，而且在对该数据文件进行操作之前必须首先对数据文件进行映射，即建立一个磁盘与内存之间的内存通道。使用内存映射文件处理存储于磁盘上的数据文件时，将不必再对文件执行磁盘I/O操作。
本实施例中首先新建一个指定容量大小的数据文件，初始时数据文件的内容为空。利用MMF机制在内存中开辟一块映射该数据文件的内存缓存区，并为该数据文件建立一个内存通道，如文件通道(file channel)等，利用该内存通道将内存与数据文件联系起来。
12：将所述数据文件划分为多个相同大小的逻辑文件块。
将数据文件划分为多个逻辑文件块(Block)，以块为单位对数据文件进行存取，能够提高数据存取速率。即本方案提供了一种块处理方式，将逻辑文件块的容量设置为相同大小，如一个逻辑文件块的大小表示为V，则利用逻辑文件块的起始地址与预先设定的V值即可获知一个逻辑文件块在磁盘上所占用的存储空间，实现对该逻辑文件块中数据的存取。这种块处理方式，无需额外设置并保存每个逻辑文件块的结束地址，节省了系统资源且操作方便、快捷。
本实施例中不对各个步骤执行的具体次序进行限定，例如，上述步骤12可以在步骤11之后执行，或者，步骤11和步骤12也可以同时执行。
13：利用所述内存通道将一条键值对数据写入一个逻辑文件块中，所述键值对数据包括数据的主键和数据的值。
在一个逻辑文件块中存储一条数据，本实施例主要对键值对(Key-Value)类型数据的存取场景为例进行说明。键值对类型的一条数据中包含数据的主键(Key)和数据的值(Value)。
在初始时，各个逻辑文件块都为空逻辑文件块，利用内存通道将数据按条逐次写入逻辑文件块中即可。后续再进行数据的写入时，可以对空逻辑文件块进行记录，以将新的数据插入至数据文件中，并不对已存储的数据造成影响。例如，本实施例可以建立一个空地址链表，用于记录所有未存储数据的逻辑文件块以及块地址，在写入数据时，从空地址链表中获取出一个块地址，将数据写入该块地址下的逻辑文件块中。在此，不对上述从空地址链表中获取块地址的具体方式进行限定，例如，可以按照空地址链表中排列块地址的顺序从首个块地址起逐次取出一个块地址作为所获取到的空逻辑文件块的地址，或者，也可以从空地址链表中随机取出或按照预设规则取出一个块地址作为所获取到的空逻辑文件块的地址。
在写入数据时，本实施例对所述键值对类型的数据进行解析，得到该条数据的主键(Key)的长度并将该条数据转换为二进制形式的数据；将所述主键的长度写入逻辑文件块从块首开始的预定字节中，并在所述预定字节后，以二进制形式写入所述数据的主键；将所述数据的值(Value)，以二进制形式写入逻辑文件块中主键之后的字节中。
具体的，参见图2，显示了一种数据存储方式示意图。数据文件分为多个逻辑文件块，如逻辑文件块1至逻辑文件块4等。在一个逻辑文件块(如逻辑文件块3)中存储一条数据时，首先在块首存储该条数据的主键的长度(Length)，例如，在块首开始的4个字节中存储该条数据的Key的长度，从而在根据逻辑文件块生成索引信息时，能够获知索引信息的容量大小，合理分配存储空间，提高资源的利用率。
然后，在逻辑文件块中存储主键长度的字节之后存入数据的主键。并且，本实施例采用二进制形式进行数据的存储，将一条数据的主键和值都转换为二进制形式的数据之后，再存入逻辑文件块中的相应位置。
在主键之后的位置，存入二进制形式的数据的值，这时，本实施例采用了一种序列化的处理方式：利用序列化规则对所述数据的值进行序列化，所述序列化规则包括按照数据的类型(Type)、长度(Length)和实体数据(Data)的顺序排列数据；将序列化后的数据的值，以二进制形式写入逻辑文件块中主键之后的字节中，即按照类型、长度和实体数据的顺序将数据的值写入逻辑文件块。
一条数据的值中可以包含多个信息项，例如，对于一条包含身份信息的数据，数据的值中可以包括人员的“姓名”、“性别”、“年龄”等信息项，则对于每一信息项都采用序列化的处理方案。例如，对“姓名”部分序列化之后，得到该部分数据的类型(如Type1)、长度(如Length1)和实体数据(如Data1)，分别将Type1、Length1和Data1写入逻辑文件块。
14：生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系，即一条数据的主键和存储该数据的逻辑文件块地址的对应关系。
本实施例中将索引信息存储在内存缓存中，则在数据存取结束，内存掉电后，索引信息消失；当重新启动数据存取，内存上电后，需要重新建索引信息。即本实施例中的索引信息和空地址链表能够在使用时随时重新生成，而无需占用磁盘空间，从而使磁盘空间可以全部用来存储数据，提高了磁盘的资源利用率。
在生成索引信息时，对每一存储有数据的逻辑文件块，解析逻辑文件块中的主键和该逻辑文件块的地址，建立主键和逻辑文件块的地址间对应关系，作为每一存储有数据的逻辑文件块的索引信息。例如，对每一逻辑文件块，读取逻辑文件块的块首起4个字节的数据，以查询每一逻辑文件块中存储的主键长度(Length)，判断读取的数据是否大于零，若是，确认相应逻辑文件块中存储有数据，读取4个字节之后长度为Length的字节，得到数据的主键；若否，确认相应逻辑文件块中没有存储数据的空逻辑文件块，将空逻辑文件块的地址记录在空地址链表中。
将数据的主键和存储该数据的逻辑文件块的地址存储至索引信息中，并建立主键和逻辑文件块地址的对应关系。由于本实施例中采用相同大小的逻辑文件块，上述逻辑文件块的地址采用该逻辑文件块的起始地址即可实现对数据的存取。
进一步的，本实施例在索引信息中采用哈希表建立主键和逻辑文件块地址的对应关系，从而能够快速地利用主键查找到块地址，提高存取效率。
15：在接收到访问请求时，根据访问请求中的主键信息和索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据。
对逻辑文件块中数据的访问操作主要包括对数据的修改、删除和查询。
在修改数据时，根据数据的主键在索引信息中找到逻辑文件块的地址，定位到需要执行修改操作的逻辑文件块，将用于修改的新数据转换为二进制数据，并按照序列化方式通过内存通道写入所定位的逻辑文件块中。
在查询(或读取)数据时，利用内存通道(整块)读取所定位的逻辑文件块中的数据，并根据序列化规则对读取到的数据进行反序列化，得到所访问的数据。
在删除数据时，利用内存通道删除所定位的逻辑文件块中的数据，将逻辑文件块中主键长度的设置为零，将逻辑文件块的地址加入空地址链表中，并删除索引信息中数据主键与该逻辑文件块的对应关系。例如，当索引信息采用哈希表时，删除哈希表中存储的主键和与该主键对应的逻辑文件块地址。
本方案采用按块存取数据的方式，能够有效从数据文件中读取并写入数据，提高数据存取的效率。
进一步的，由于本方案中数据是以文件形式存在的，对数据的备份和还原，仅需通过文件拷贝即可，方便了对数据的管理和维护。
本发明实施例通过建立内存通道并直接操作内存实现数据的存取，提供了一种新型的数据存取方案，该方案无需再对磁盘上的数据文件进行磁盘I/O操作，显著提高了磁盘性能和数据存取的灵活性，数据存取效率较高。
并且，由于本实施例的方案不依赖于数据库特定的数据存储方式和索引方式，避免了并发操作导致存取效率较低的问题；且本方案能够在本地服务器上实现数据存取，减少数据在网络中的传输，加快存取响应速率，节省了网络资源，降低了系统负担。
本发明实施例二提供了一种数据存取装置，参见图3，所述装置包括：
内存通道建立单元31，用于利用内存映射文件(MMF)机制为存储在磁盘上的数据文件建立内存通道。
文件块划分单元32，用于将所述数据文件划分为多个相同大小的逻辑文件块。
数据存取单元33，用于利用所述内存通道将一条键值对数据写入一个逻辑文件块中，所述键值对数据包括数据的主键和数据的值。
索引生成单元34，用于生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系。例如，在索引信息中采用哈希表建立主键和逻辑文件块地址的对应关系。
所述数据存取单元33，还用于在接收到访问请求时，根据访问请求中的主键信息和所述索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据。
进一步的，所述数据存取单元33包括：解析转换模块，用于对所述键值对类型的数据进行解析，得到该条数据的主键的长度并将该条数据转换为二进制形式的数据；以及，写入模块，用于将所述主键的长度写入逻辑文件块从块首开始的预定字节中，并在所述预定字节后，以二进制形式写入所述数据的主键；将所述数据的值，以二进制形式写入逻辑文件块中主键之后的字节中。
其中，所述写入模块，通过如下方式将所述数据的值，以二进制形式写入逻辑文件块中主键之后的字节中：
利用序列化规则对所述数据的值进行序列化，所述序列化规则包括按照数据的类型、长度和实体数据的顺序排列数据；将序列化后的数据的值，以二进制形式写入逻辑文件块中主键之后的字节中。
进一步的，所述索引生成单元34，具体用于对每一存储有数据的逻辑文件块，解析逻辑文件块中的主键和该逻辑文件块的地址，建立主键和逻辑文件块的地址间对应关系，作为每一存储有数据的逻辑文件块的索引信息。
本实施例中的装置还能够遍历查询每一逻辑文件块中存储的主键长度，当主键长度大于零，确认相应逻辑文件块中存储有数据；否则，确认相应逻辑文件块为没有存储数据的空逻辑文件块，将空逻辑文件块的地址记录在空地址链表中。
具体的，数据存取单元33通过如下方式选取数据写入的逻辑文件块：
从所述空地址链表中获取一个空逻辑文件块的地址，将所述地址下的逻辑文件块作为当前数据写入的逻辑文件块。
具体的，所述数据存取单元33利用内存通道访问所定位的逻辑文件块中的数据包括：
利用内存通道将序列化后的新的数据写入所定位的逻辑文件块中；或者，
利用内存通道读取所定位的逻辑文件块中的数据，并根据序列化规则对读取到的数据进行反序列化，得到所访问的数据；或者，
利用内存通道删除所定位的逻辑文件块中的数据，将逻辑文件块中主键长度的设置为零，将逻辑文件块的地址加入空地址链表中，并删除索引信息中数据主键与该逻辑文件块的对应关系。
本发明装置实施例中各单元和模块的具体工作方式可以参见本发明实施例的方法实施例。
由上所述，本实施例至少具有如下优点：
1：在读取和写入数据时，直接操作内存，通过操作系统底层机制，映射到文件中，数据读取效率高，I/O使用灵活；
2：数据文件可以与本数据存取装置放在一台服务器上，减少了数据在网络中的传输，节省了网络资源；
3：数据文件可以分散存储在不同的服务器上，对于并发操作更加高效；
4：索引信息和空地址链表可以随时重新生成，所占用的磁盘空间全部用来存储数据，提高了磁盘资源利用率。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种数据存取方法，其特征在于，利用内存映射文件MMF机制为存储在磁盘上的数据文件建立内存通道，所述方法包括：
将所述数据文件划分为多个相同大小的逻辑文件块；
利用所述内存通道将一条键值对类型的数据写入一个逻辑文件块中，所述键值对类型的数据包括数据的主键和数据的值；
生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系；
在接收到访问请求时，根据访问请求中的主键信息和索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据；
所述利用所述内存通道将一条键值对类型的数据写入一个逻辑文件块中包括：
对所述键值对类型的数据进行解析，得到该条数据的主键的长度并将该条数据转换为二进制形式的数据；
将所述主键的长度写入逻辑文件块从块首开始的预定字节中，并在所述预定字节后，以二进制形式写入所述数据的主键；
将所述数据的值，以二进制形式写入逻辑文件块中主键之后的字节中。
2.根据权利要求1所述的方法，其特征在于，所述将所述数据的值，以二进制形式写入逻辑文件块中主键之后的字节中包括：
利用序列化规则对所述数据的值进行序列化，所述序列化规则包括按照数据的类型、长度和实体数据的顺序排列数据；
将序列化后的数据的值，以二进制形式写入逻辑文件块中主键之后的字节中。
3.根据权利要求1所述的方法，其特征在于，所述生成所述逻辑文件块的索引信息包括：
对每一存储有数据的逻辑文件块，解析逻辑文件块中的主键和该逻辑文件块的地址，建立主键和逻辑文件块的地址间对应关系，作为每一存储有数据的逻辑文件块的索引信息。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括设置空地址链表：
遍历查询每一逻辑文件块中存储的主键长度，当主键长度大于零，确认相应逻辑文件块中存储有数据；否则，确认相应逻辑文件块为没有存储数据的空逻辑文件块，将空逻辑文件块的地址记录在所述空地址链表中。
5.根据权利要求4所述的方法，其特征在于，通过如下方式选取数据写入的逻辑文件块：
从所述空地址链表中获取一个空逻辑文件块的地址，将所述地址下的逻辑文件块作为当前数据写入的逻辑文件块。
6.根据权利要求4所述的方法，其特征在于，所述利用内存通道访问所定位的逻辑文件块中的数据包括：
利用内存通道将序列化后的新的数据写入所定位的逻辑文件块中；或者，
利用内存通道读取所定位的逻辑文件块中的数据，并根据序列化规则对读取到的数据进行反序列化，得到所访问的数据；或者，
利用内存通道删除所定位的逻辑文件块中的数据，将逻辑文件块中主键长度的设置为零，将逻辑文件块的地址加入空地址链表中，并删除索引信息中数据主键与该逻辑文件块的对应关系。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在索引信息中采用哈希表建立主键和逻辑文件块地址的对应关系。
8.一种数据存取装置，其特征在于，所述装置包括：
内存通道建立单元，用于利用内存映射文件MMF机制为存储在磁盘上的数据文件建立内存通道；
文件块划分单元，用于将所述数据文件划分为多个相同大小的逻辑文件块；
数据存取单元，用于利用所述内存通道将一条键值对类型的数据写入一个逻辑文件块中，所述键值对类型的数据包括数据的主键和数据的值；
索引生成单元，用于生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系；
所述数据存取单元，还用于在接收到访问请求时，根据访问请求中的主键信息和所述索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据；
所述数据存取单元包括：
解析转换模块，用于对所述键值对类型的数据进行解析，得到该条数据的主键的长度并将该条数据转换为二进制形式的数据；
写入模块，用于将所述主键的长度写入逻辑文件块从块首开始的预定字节中，并在所述预定字节后，以二进制形式写入所述数据的主键；将所述数据的值，以二进制形式写入逻辑文件块中主键之后的字节中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210048746.0A CN103294710B (zh) | 2012-02-28 | 2012-02-28 | 一种数据存取方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210048746.0A CN103294710B (zh) | 2012-02-28 | 2012-02-28 | 一种数据存取方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103294710A CN103294710A (zh) | 2013-09-11 |
| CN103294710B true CN103294710B (zh) | 2016-08-31 |
Family
ID=49095600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210048746.0A Active CN103294710B (zh) | 2012-02-28 | 2012-02-28 | 一种数据存取方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103294710B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516987A (zh) * | 2013-10-09 | 2014-01-15 | 哈尔滨工程大学 | 一种高速图像采集及实时存储系统 |
| CN103577553A (zh) * | 2013-10-18 | 2014-02-12 | 汉柏科技有限公司 | 数据存储方法 |
| CN103593486B (zh) * | 2013-12-06 | 2017-11-21 | 国家电网公司 | 一种电能质量海量数据存储及读取方法 |
| CN104750557B (zh) * | 2013-12-27 | 2018-07-03 | 华为技术有限公司 | 一种内存管理方法和内存管理装置 |
| CN104182508B (zh) * | 2014-08-19 | 2018-10-30 | 华为技术有限公司 | 一种数据处理方法和数据处理装置 |
| CN105530162A (zh) * | 2014-10-21 | 2016-04-27 | 中兴通讯股份有限公司 | 离线消息处理方法及装置 |
| CN105159987B (zh) * | 2015-08-31 | 2019-03-29 | 深圳市茁壮网络股份有限公司 | 一种数据存储、查找方法及装置 |
| CN105159616A (zh) * | 2015-09-11 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种磁盘空间管理方法及装置 |
| CN105320775B (zh) * | 2015-11-11 | 2019-05-14 | 中科曙光信息技术无锡有限公司 | 数据的存取方法和装置 |
| CN106919628A (zh) * | 2015-12-28 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 一种图数据的处理方法和装置 |
| CN106126553B (zh) * | 2016-06-16 | 2020-02-14 | 西安科技大市场有限公司 | 一种基于科技资源大数据的存储方法 |
| CN106127074B (zh) * | 2016-06-24 | 2018-12-21 | 江西金格科技股份有限公司 | 一种基于智能密钥的存储设备及其数据存储和读取方法 |
| CN106302829A (zh) * | 2016-10-26 | 2017-01-04 | 腾讯音乐娱乐（深圳）有限公司 | 一种信息访问方法、装置及服务器 |
| CN106802923B (zh) * | 2016-12-19 | 2020-05-19 | 华中科技大学 | 一种基于固态盘的文件更新方法及系统 |
| CN108959285B (zh) * | 2017-05-18 | 2020-12-22 | 北京京东尚科信息技术有限公司 | 数据库主键获取方法及装置、存储介质、电子设备 |
| CN107609143B (zh) * | 2017-09-21 | 2020-06-05 | 国电南瑞科技股份有限公司 | 一种分布式实时内存数据库的分片信息存储方法 |
| CN110399227B (zh) * | 2018-08-24 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 一种数据访问方法、装置和存储介质 |
| CN109918380A (zh) * | 2019-03-08 | 2019-06-21 | 上海拉扎斯信息科技有限公司 | 数据处理方法、装置、存储介质和电子设备 |
| CN110134335B (zh) * | 2019-05-10 | 2022-08-12 | 天津大学深圳研究院 | 一种基于键值对的rdf数据管理方法、装置及存储介质 |
| CN110096515A (zh) * | 2019-05-10 | 2019-08-06 | 天津大学深圳研究院 | 一种基于三元组的rdf数据管理方法、装置及存储介质 |
| CN110110034A (zh) * | 2019-05-10 | 2019-08-09 | 天津大学深圳研究院 | 一种基于图的rdf数据管理方法、装置及存储介质 |
| CN111639076B (zh) * | 2020-05-14 | 2023-12-22 | 民生科技有限责任公司 | 一种跨平台高效键值存储方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533408A (zh) * | 2009-04-21 | 2009-09-16 | 北京四维图新科技股份有限公司 | 一种海量数据的处理方法及处理装置 |
| CN101567002A (zh) * | 2009-05-25 | 2009-10-28 | 北京中企开源信息技术有限公司 | 一种实时数据存储的方法和系统 |
| CN102298641A (zh) * | 2011-09-14 | 2011-12-28 | 清华大学 | 一种基于键值库的文件与结构化数据统一存储方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7895380B2 (en) * | 2009-01-21 | 2011-02-22 | Ati Technologies Ulc | Communication protocol for sharing memory resources between components of a device |
-
2012
- 2012-02-28 CN CN201210048746.0A patent/CN103294710B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533408A (zh) * | 2009-04-21 | 2009-09-16 | 北京四维图新科技股份有限公司 | 一种海量数据的处理方法及处理装置 |
| CN101567002A (zh) * | 2009-05-25 | 2009-10-28 | 北京中企开源信息技术有限公司 | 一种实时数据存储的方法和系统 |
| CN102298641A (zh) * | 2011-09-14 | 2011-12-28 | 清华大学 | 一种基于键值库的文件与结构化数据统一存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103294710A (zh) | 2013-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103294710B (zh) | 一种数据存取方法和装置 | |
| CN109254733B (zh) | 用于存储数据的方法、装置和系统 | |
| CN107169083B (zh) | 公安卡口海量车辆数据存储与检索方法及装置、电子设备 | |
| CN104346357B (zh) | 一种嵌入式终端的文件存取方法及系统 | |
| US11232073B2 (en) | Method and apparatus for file compaction in key-value store system | |
| US20160364407A1 (en) | Method and Device for Responding to Request, and Distributed File System | |
| US10552089B2 (en) | Data processing for managing local and distributed storage systems by scheduling information corresponding to data write requests | |
| CN113821171B (zh) | 一种基于哈希表与lsm树的键值存储方法 | |
| CN112632069B (zh) | 哈希表数据存储管理方法、装置、介质和电子设备 | |
| CN111400312B (zh) | 一种基于改进lsm树的边缘存储数据库 | |
| KR20200122994A (ko) | 키 값 첨부 | |
| CN103399823B (zh) | 业务数据的存储方法、设备和系统 | |
| CN103488685B (zh) | 一种基于分布式存储系统的碎片文件存储方法 | |
| AU2013403132A1 (en) | Data storage method, data storage apparatus, and storage device | |
| CN108089825B (zh) | 一种基于分布式集群的存储系统 | |
| CN107241444B (zh) | 一种分布式缓存数据管理系统、方法及装置 | |
| CN109918352B (zh) | 存储器系统和存储数据的方法 | |
| CN113806300B (zh) | 数据存储方法、系统、装置、设备及存储介质 | |
| WO2017132797A1 (zh) | 数据整理方法、存储设备、存储控制器以及存储阵列 | |
| CN107798063A (zh) | 快照处理方法和快照处理装置 | |
| CN107423425B (zh) | 一种对k/v格式的数据快速存储和查询方法 | |
| CN102724301B (zh) | 云数据库系统以及云数据读写处理方法、设备 | |
| CN116414828A (zh) | 一种数据管理方法及相关装置 | |
| CN103491124A (zh) | 一种对彩信数据进行处理的方法及分布式缓存系统 | |
| US20230048813A1 (en) | Method of storing data and method of reading data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: Room 810, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080 Patentee after: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd. Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building 6 storey block A room 602 Patentee before: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |