CN108959592A - 一种云计算平台的文件分布系统 - Google Patents
一种云计算平台的文件分布系统 Download PDFInfo
- Publication number
- CN108959592A CN108959592A CN201810760923.5A CN201810760923A CN108959592A CN 108959592 A CN108959592 A CN 108959592A CN 201810760923 A CN201810760923 A CN 201810760923A CN 108959592 A CN108959592 A CN 108959592A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- storage
- distributed
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 claims abstract description 51
- 238000013507 mapping Methods 0.000 claims description 19
- 241000272201 Columbiformes Species 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 4
- 230000005055 memory storage Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 230000002688 persistence Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种云计算平台的文件分布系统，包括接收系统、判断系统、处理系统、存储系统；所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述处理系统，用于对所接收到的的数据资源进行处理；所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源。
Description
技术领域
本发明涉及分布式文件系统，特别是一种云计算平台的文件分布系统。
背景技术
分布式文件系统是实现存储系统扩展性和高可靠的重要技术手段。分布式文件系统包含多个节点(例如，计算机)，其中，任意一个或多个节点出现故障时，文件系统仍然可以正常工作。所谓的分布式是指文件系统的重要控制信息是分布在多个节点上，从而提高了文件系统的整体的可靠性。现有的流媒体视频系统的后端存储大多使用集中式架构，若遇到故障则无法保证服务的可靠性。
目前全球企业数据的总容量大约是每三年就要翻两番。因此，如何保证企业拥有足够的存储空间可靠地存储数据，并能满足企业对低成本和高可用的数据需求，已经成为绝大多数企业面对的越来越严峻的挑战。
现有技术中，采用分布式文件系统，进行存储和检索，可以减少投资的成本，而采用文件系统方式又存在对于频繁变动数据的存储检索的效率低下的问题。采用分布式文件系统存储数据，实现云存储；云底层应用采用分布式文件系统作存储，在分布式文件系统上操作会跨网络，性能与网络带宽和I/O的限制，应用程序直接在分布式文件系统上写很慢，无法满足实际生产系统的需求。
发明内容
为了克服现有技术的上述缺点，本发明的目的是提供一种采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源的云计算平台的文件分布系统。
本发明解决其技术问题所采用的技术方案是：
一种云计算平台的文件分布系统，所述文件分布系统包括接收系统、判断系统、处理系统、存储系统；
所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；
所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述判断系统包括判断写入模块；
所述处理系统，用于对所接收到的的数据资源进行处理；所述处理系统包括写操作模块、判断批次模块和判断完成模块；
所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；所述存储系统包括存储模块和保存模块；
所述存储模块包括：
多个存储节点、多个接入节点、元数据服务器；存储节点与接入节点一一对应；其中，
接入节点，分别设置有相应的逻辑节点号LUN，用于接收到数据存储请求时，完成存储数据的挂载，通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接；
元数据服务器，用于将接入节点的LUN映射成分布式文件系统的至少一个文件，并记录映射关系，将映射关系加入到元数据信息中；根据元数据信息，确定将存储的数据根据LUN写入映射的文件所对应的存储节点；
存储节点，用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间。
作为本发明的进一步改进：所述元数据服务器，还用于根据存储在分布式文件系统映射的文件的数据切片和数据分布信息，更新元数据信息。
作为本发明的进一步改进：所述元数据信息还包括：分布式文件系统中相应的映射文件分片的数量、偏移量、分布、副本和存储策略，存储接入节点的状态和维护信息。
作为本发明的进一步改进：所述读取服务器，用于根据元数据信息，获取存储数据所在的分布式文件系统映射的文件的数据切片和数据分布；通过LUN对应的块存储节点的接入节点的进行数据读取。
作为本发明的进一步改进：元数据服务器还用于，根据元数据信息进行分布式文件系统及块存储节点的调度、对系统内存储介质进行状态维护和容量调整。
作为本发明的进一步改进：所述初始化模块进行初始化，读入程序的配置信息，记录第一个批次开始的时间；
所述保存模块打开分布式文件系统中的一个或多个文件，对于频繁读写的文件，将文件句柄和对应的文件名称保存在内存中；
所述判断写入模块判断是否有需要连续写入的数据内容，如果有，将准备连续写入的多个字符串拼接成一个长字符串，将长字符串一次性写入分布式文件系统的文件；否则，直接将数据写入分布式文件系统的文件；
所述写操作模块对文件进行写操作，根据保存模块在内存中记录的内容，按照文件名称找到对应的文件句柄，直接进行写入操作，把数据写入分布式文件系统文件中；
所述判断批次模块采集获取当前时间，判断是否到达预设的批次时间，如果到达预设的批次时间，调用分布式文件系统的刷数据接口，将写入分布式文件系统缓存的数据刷到磁盘上，否则，进行下一个循环的数据写入；
所述判断完成模块判断对应文件的数据是否写完，如果写完，关闭该文件；否则，将当前时间置为下一个批次的开始时间，进行下一个循环的数据写入。
作为本发明的进一步改进：所述存储系统还包括存储引擎，所述存储引擎包括Pigeon FlexObject和PigeonList。
与现有技术相比，本发明的有益效果是：
本发明的存储系统具有构建和维护简单、扩容灵活可靠、高可用性、高稳定性和高数据安全性的优点。分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的的数据进行处理；将处理后的数据存储到相应的目标存储节点。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源。
具体实施方式
现结合实施例对本发明进一步说明：
一种云计算平台的文件分布系统，所述文件分布系统包括接收系统、判断系统、处理系统、存储系统；
所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；
所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述判断系统包括判断写入模块；
所述处理系统，用于对所接收到的的数据资源进行处理；所述处理系统包括写操作模块、判断批次模块和判断完成模块；
所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；所述存储系统包括存储模块和保存模块；
所述存储模块包括：
多个存储节点、多个接入节点、元数据服务器；存储节点与接入节点一一对应；其中，
接入节点，分别设置有相应的逻辑节点号LUN，用于接收到数据存储请求时，完成存储数据的挂载，通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接；
元数据服务器，用于将接入节点的LUN映射成分布式文件系统的至少一个文件，并记录映射关系，将映射关系加入到元数据信息中；根据元数据信息，确定将存储的数据根据LUN写入映射的文件所对应的存储节点；
存储节点，用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间；
所述存储节点由多个存储实例组成；同一个存储节点中的多个存储实例保存相同的数据，同一个存储节点的多个存储实例都部署在同的物理服务器上。因为该存储系统中每份待存储数据都会多份保存，如果是在同物理服务器上分布，该存储系统就可以保证高可用和数据安全。当该存储系统的数据增加的时候，就可以灵活动态地增加存储节点来进行扩容。
所述元数据服务器，还用于根据存储在分布式文件系统映射的文件的数据切片和数据分布信息，更新元数据信息。
所述元数据信息还包括：分布式文件系统中相应的映射文件分片的数量、偏移量、分布、副本和存储策略，存储接入节点的状态和维护信息。
所述读取服务器，用于根据元数据信息，获取存储数据所在的分布式文件系统映射的文件的数据切片和数据分布；通过LUN对应的块存储节点的接入节点的进行数据读取。
所述元数据服务器还用于，根据元数据信息进行分布式文件系统及块存储节点的调度、对系统内存储介质进行状态维护和容量调整。
所述初始化模块进行初始化，读入程序的配置信息，记录第一个批次开始的时间；
所述保存模块打开分布式文件系统中的一个或多个文件，对于频繁读写的文件，将文件句柄和对应的文件名称保存在内存中；
所述判断写入模块判断是否有需要连续写入的数据内容，如果有，将准备连续写入的多个字符串拼接成一个长字符串，将长字符串一次性写入分布式文件系统的文件；否则，直接将数据写入分布式文件系统的文件；
所述写操作模块对文件进行写操作，根据保存模块在内存中记录的内容，按照文件名称找到对应的文件句柄，直接进行写入操作，把数据写入分布式文件系统文件中；
所述判断批次模块采集获取当前时间，判断是否到达预设的批次时间，如果到达预设的批次时间，调用分布式文件系统的刷数据接口，将写入分布式文件系统缓存的数据刷到磁盘上，否则，进行下一个循环的数据写入；
所述判断完成模块判断对应文件的数据是否写完，如果写完，关闭该文件；否则，将当前时间置为下一个批次的开始时间，进行下一个循环的数据写入。
所述存储系统还包括存储引擎，所述存储引擎包括Pigeon FlexObject和PigeonList。
业界通常认为关系型数据库系统自身限制数据的吞吐，直接依靠传统的关系型数据库系统如Oracle、Mysql是比较难解决上述问题的，同时相应的成本会很高，为处理巨大的数据同时支持高可用性，存储引擎选用Pigeon FlexObject和PigeonList，采用可伸缩的、高可用的、分布式结构化的key-value存储方案。从而解决大规模数据在数据断增长的情况下，让服务加稳定，容易扩展。能够解决大容的关键数据存储，支持海的交易数据、用户数据、用户行为数据的存储，并且可以实现极高的稳定性，甚至在部分物理服务器硬件故障的情况下也要保证该存储系统对外停止服务，会引起数据丢失与完整。
所述Pigeon FlexObject是一个高性能、持久化、分布式的Key-Value数据对象存储引擎，其主要特点：常用数据保存在内存，读写性能极为高效；支持JSON或者XML等通用的各种格式化数据；支持Redo-log数据持久化技术；分布式、主从同步、读写分离。
所述Pigeon List是一个高性能、持久化、分布式的Key-List数据队列存储引擎，其主要特点：支持海List，每个List可以支持数以10亿计的对象常用数据保存在内存，读写性能极为高效；一个list由多个band组成；一个band包含有多个对象。Band采用块链组织，通过二分法可极快的查找和添加删除操作，快速的插入，删除，定位列表中的任意对象；支持任意排序条件；支持Redo-log数据持久化技术；分布式、主从同步、读写分离。
综上所述，本领域的普通技术人员阅读本发明文件后，根据本发明的技术方案和技术构思无需创造性脑力劳动而作出其他各种相应的变换方案，均属于本发明所保护的范围。
Claims (7)
1.一种云计算平台的文件分布系统，其特征在于：所述文件分布系统包括接收系统、判断系统、处理系统、存储系统；
所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；
所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述判断系统包括判断写入模块；
所述处理系统，用于对所接收到的的数据资源进行处理；所述处理系统包括写操作模块、判断批次模块和判断完成模块；
所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；所述存储系统包括存储模块和保存模块；
所述存储模块包括：
多个存储节点、多个接入节点、元数据服务器；存储节点与接入节点一一对应；其中，
接入节点，分别设置有相应的逻辑节点号LUN，用于接收到数据存储请求时，完成存储数据的挂载，通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接；
元数据服务器，用于将接入节点的LUN映射成分布式文件系统的至少一个文件，并记录映射关系，将映射关系加入到元数据信息中；根据元数据信息，确定将存储的数据根据LUN写入映射的文件所对应的存储节点；
存储节点，用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间。
2.根据权利要求1所述的一种云计算平台的文件分布系统，其特征在于：所述元数据服务器，还用于根据存储在分布式文件系统映射的文件的数据切片和数据分布信息，更新元数据信息。
3.根据权利要求2所述的一种云计算平台的文件分布系统，其特征在于：所述元数据信息还包括：分布式文件系统中相应的映射文件分片的数量、偏移量、分布、副本和存储策略，存储接入节点的状态和维护信息。
4.根据权利要求3所述的一种云计算平台的文件分布系统，其特征在于：所述分布式文件系统还包括读取服务器，用于根据元数据信息，获取存储数据所在的分布式文件系统映射的文件的数据切片和数据分布；通过LUN对应的块存储节点的接入节点的进行数据读取。
5.根据权利要求4所述的一种云计算平台的文件分布系统，其特征在于：元数据服务器还用于，根据元数据信息进行分布式文件系统及块存储节点的调度、对系统内存储介质进行状态维护和容量调整。
6.根据权利要求1所述的一种云计算平台的文件分布系统，其特征在于：
所述初始化模块进行初始化，读入程序的配置信息，记录第一个批次开始的时间；
所述保存模块打开分布式文件系统中的一个或多个文件，对于频繁读写的文件，将文件句柄和对应的文件名称保存在内存中；
所述判断写入模块判断是否有需要连续写入的数据内容，如果有，将准备连续写入的多个字符串拼接成一个长字符串，将长字符串一次性写入分布式文件系统的文件；否则，直接将数据写入分布式文件系统的文件；
所述写操作模块对文件进行写操作，根据保存模块在内存中记录的内容，按照文件名称找到对应的文件句柄，直接进行写入操作，把数据写入分布式文件系统文件中；
所述判断批次模块采集获取当前时间，判断是否到达预设的批次时间，如果到达预设的批次时间，调用分布式文件系统的刷数据接口，将写入分布式文件系统缓存的数据刷到磁盘上，否则，进行下一个循环的数据写入；
所述判断完成模块判断对应文件的数据是否写完，如果写完，关闭该文件；否则，将当前时间置为下一个批次的开始时间，进行下一个循环的数据写入。
7.根据权利要求1所述的一种云计算平台的文件分布系统，其特征在于：所述存储系统还包括存储引擎，所述存储引擎包括Pigeon FlexObject和PigeonList。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810760923.5A CN108959592A (zh) | 2018-07-12 | 2018-07-12 | 一种云计算平台的文件分布系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810760923.5A CN108959592A (zh) | 2018-07-12 | 2018-07-12 | 一种云计算平台的文件分布系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108959592A true CN108959592A (zh) | 2018-12-07 |
Family
ID=64483062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810760923.5A Pending CN108959592A (zh) | 2018-07-12 | 2018-07-12 | 一种云计算平台的文件分布系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108959592A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109857719A (zh) * | 2019-01-23 | 2019-06-07 | 平安科技（深圳）有限公司 | 分布式文件处理方法、装置、计算机设备以及存储介质 |
| CN110334063A (zh) * | 2019-07-15 | 2019-10-15 | 深圳前海微众银行股份有限公司 | 文件系统的操作方法、装置、设备及计算机可读存储介质 |
| CN114153606A (zh) * | 2021-11-29 | 2022-03-08 | 中汽创智科技有限公司 | 一种文件处理方法、装置、设备、存储介质、系统及车辆 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488433A (zh) * | 2013-09-18 | 2014-01-01 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的批量文件操作方法及系统 |
| CN104679665A (zh) * | 2013-12-02 | 2015-06-03 | 中兴通讯股份有限公司 | 一种实现分布式文件系统块存储的方法及系统 |
| CN105335513A (zh) * | 2015-10-30 | 2016-02-17 | 迈普通信技术股份有限公司 | 一种分布式文件系统及文件存储方法 |
| CN106682109A (zh) * | 2016-12-05 | 2017-05-17 | 深圳市中博睿存科技有限公司 | 分布式文件系统及其数据处理方法和装置 |
-
2018
- 2018-07-12 CN CN201810760923.5A patent/CN108959592A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488433A (zh) * | 2013-09-18 | 2014-01-01 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的批量文件操作方法及系统 |
| CN104679665A (zh) * | 2013-12-02 | 2015-06-03 | 中兴通讯股份有限公司 | 一种实现分布式文件系统块存储的方法及系统 |
| CN105335513A (zh) * | 2015-10-30 | 2016-02-17 | 迈普通信技术股份有限公司 | 一种分布式文件系统及文件存储方法 |
| CN106682109A (zh) * | 2016-12-05 | 2017-05-17 | 深圳市中博睿存科技有限公司 | 分布式文件系统及其数据处理方法和装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109857719A (zh) * | 2019-01-23 | 2019-06-07 | 平安科技（深圳）有限公司 | 分布式文件处理方法、装置、计算机设备以及存储介质 |
| WO2020151337A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 分布式文件处理方法、装置、计算机设备以及存储介质 |
| CN109857719B (zh) * | 2019-01-23 | 2024-03-01 | 平安科技（深圳）有限公司 | 分布式文件处理方法、装置、计算机设备以及存储介质 |
| CN110334063A (zh) * | 2019-07-15 | 2019-10-15 | 深圳前海微众银行股份有限公司 | 文件系统的操作方法、装置、设备及计算机可读存储介质 |
| CN110334063B (zh) * | 2019-07-15 | 2024-05-14 | 深圳前海微众银行股份有限公司 | 文件系统的操作方法、装置、设备及计算机可读存储介质 |
| CN114153606A (zh) * | 2021-11-29 | 2022-03-08 | 中汽创智科技有限公司 | 一种文件处理方法、装置、设备、存储介质、系统及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11468027B2 (en) | Method and apparatus for providing efficient indexing and computer program included in computer readable medium therefor | |
| CN100583832C (zh) | 数据管理方法及系统 | |
| US6973654B1 (en) | Systems and methods for the repartitioning of data | |
| US20070179981A1 (en) | Efficient data management in a cluster file system | |
| US9612758B1 (en) | Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data | |
| CN103647797A (zh) | 一种分布式文件系统及其数据访问方法 | |
| CN108959592A (zh) | 一种云计算平台的文件分布系统 | |
| CN104408111A (zh) | 一种删除重复数据的方法及装置 | |
| JPWO2013018808A1 (ja) | 分散ストレージシステムおよび方法 | |
| CN102117248A (zh) | 一种缓存系统和在缓存系统中缓存数据的方法 | |
| CN103595797B (zh) | 一种分布式存储系统中的缓存方法 | |
| US11314719B2 (en) | Method for implementing change data capture in database management system | |
| CN113377868B (zh) | 一种基于分布式kv数据库的离线存储系统 | |
| CN109144413A (zh) | 一种元数据管理方法及装置 | |
| CN103888499A (zh) | 一种分布式对象处理的方法及系统 | |
| US20200019474A1 (en) | Consistency recovery method for seamless database duplication | |
| US20180225356A1 (en) | Systems And Methods Of Scalable Distributed Databases | |
| CN103329111A (zh) | 一种基于块存储的数据处理方法、装置及系统 | |
| CN105975638A (zh) | 一种基于NoSQL的海量航空物流小文件存储结构及其存取方法 | |
| KR20200056357A (ko) | 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법 | |
| CN111159176A (zh) | 一种海量流数据的存储和读取的方法和系统 | |
| CN108959660A (zh) | 一种基于hdfs分布式文件系统的存储方法及使用方法 | |
| CN103473337A (zh) | 一种分布式存储系统中处理面向海量目录和文件的方法 | |
| CN104158863A (zh) | 基于事务级别全程高速缓冲的云存储机制 | |
| CN103310008A (zh) | 一种云控制服务器及其文件索引方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
| RJ01 | Rejection of invention patent application after publication |