CN108595109A - 一种基于Ceph分布式存储系统的多客户端写的方法 - Google Patents

一种基于Ceph分布式存储系统的多客户端写的方法 Download PDF

Info

Publication number
CN108595109A
CN108595109A CN201711486672.8A CN201711486672A CN108595109A CN 108595109 A CN108595109 A CN 108595109A CN 201711486672 A CN201711486672 A CN 201711486672A CN 108595109 A CN108595109 A CN 108595109A
Authority
CN
China
Prior art keywords
client
write
clients
file destination
active client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711486672.8A
Other languages
English (en)
Other versions
CN108595109B (zh
Inventor
牛勇刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201711486672.8A priority Critical patent/CN108595109B/zh
Publication of CN108595109A publication Critical patent/CN108595109A/zh
Application granted granted Critical
Publication of CN108595109B publication Critical patent/CN108595109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Ceph分布式存储系统的多客户端写的方法，该方法包括：向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；若存在，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许当前客户端对目标文件进行写操作；当所述当前客户端与所述其他客户端完成对目标文件的写操作后，将所述当前客户端与所述其他客户端所写内容合并，并存入磁盘。该方法通过为不同客户端分配不同的内存区域，允许多客户端同时对同一文件进行写操作，有效提高了用户使用效率，为用户提供了良好的使用体验。本发明还公开了一种基于Ceph分布式存储系统的多客户端写的装置、设备以及计算机可读存储介质，均具有上述有益效果。

Description

一种基于Ceph分布式存储系统的多客户端写的方法
技术领域
本发明涉及分布式存储领域，特别涉及一种基于Ceph分布式存储系统的多客户端写的方法；还涉及一种基于Ceph分布式存储系统的多客户端写的装置、设备以及计算机可读存储介质。
背景技术
随着大数据、云计算的飞速发展，以及用户数据量的不断扩大，分布式存储系统的发展也愈发迅速。Ceph分布式存储系统就是其中之一，该系统提供了对象、块以及文件存储功能，其可靠性高、管理简便。Ceph分布式存储系统可供成千的用户访问PB乃至EB级的数据。其中，Cephfs是POSIX(Portable Operating System Interface，可移植操作系统接口)兼容的文件系统，它使用Ceph存储集群来存储数据。对于Cephfs文件系统来说，其主要由MON(Cluster Monitors，集群监视器)、OSD(Object Storage cluster，对象存储集群)、MDS(Metadata Server cluster，元数据服务器)组成。MON是监控节点，负责监控整个Cephfs文件系统的状态；MDS是元数据服务器，负责管理元数据；OSD是存储服务，负责存储数据。目前，用户通过各客户端，例如FUSE(Filesystem in Userspace，用户空间文件系统)，NFS(Network File System，网络文件系统)等，可以实现对Cepfs文件系统的访问，实现数据的读写。但是，对于Cephfs文件系统来说，其在多个客户端访问同一个文件的时候，出于客户端同步信息的需要，而无法实现不同客户端同时对同一个文件进行写操作。由于多客户端对同一文件不能同时写，从而导致用户使用效率低，体验差的问题。
因此，如何实现多客户端同时对同一个文件进行写操作是本领域技术人员亟待解决的技术问题。
发明内容
本发明的目的是提供一种基于Ceph分布式存储系统的多客户端写方法，该方法允许多客户端同时对同一文件进行写操作，有效提高了用户使用效率，为用户提供了良好的使用体验。本发明的另一个目的是提供一种基于Ceph分布式存储系统的多客户端写装置、设备以及计算机可读存储介质，均具有上述有益效果。
为解决上述技术问题，本发明提供了一种基于Ceph分布式存储系统的多客户端写的方法，所述方法包括：
从MDS中查询当前时间是否存在其他客户端正在对目标文件进行写操作；
若存在其他客户端正在对所述目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许所述当前客户端对所述目标文件进行写操作；
当所述当前客户端与所述其他客户端完成对所述目标文件的写操作后，将所述当前客户端与所述其他客户端所写内容合并，并存入磁盘。
优选的，所述开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许所述当前客户端对所述目标文件进行写操作包括：
向OSD发送开启所述多客户端同时写模式的通知；
通过所述OSD为所述当前客户端分配所述额外的内存区域；
允许所述当前客户端将写入所述目标文件的内容缓存至所述额外的内存区域。
优选的，所述将当前客户端与所述其他客户端所写内容合并包括：
触发文件内容调整操作；
根据所述当前客户端与所述其他客户端对所述目标文件进行写操作的先后顺序，将所述当前客户端与所述其他客户端所写内容合并。
优选的，所述将当前客户端与所述其他客户端所写内容合并，并存入磁盘后还包括：
释放所述额外的内存区域；
向所述MDS发送更新元数据信息的通知；
通过所述MDS更新元数据信息。
本发明还提供了一种基于Ceph分布式存储系统的多客户端写的装置，所述装置包括：
查询单元，用于从MDS中查询当前时间是否存在其他客户端正在对目标文件进行写操作；
开启单元，用于若存在其他客户端正在对所述目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许所述当前客户端对所述目标文件进行写操作；
处理单元，用于当所述当前客户端与所述其他客户端完成对所述目标文件的写操作后，将所述当前客户端与所述其他客户端所写内容合并，并存入磁盘。
优选的，所述开启单元包括：
发送子单元，用于向OSD发送开启所述多客户端同时写模式的通知；
分配子单元，用于通过所述OSD为所述当前客户端分配所述额外的内存区域；
缓存子单元，用于允许所述当前客户端将写入所述目标文件的内容缓存至所述额外的内存区域。
优选的，所述处理单元包括：
触发子单元，用于触发文件内容调整操作；
合并子单元，用于根据所述当前客户端与所述其他客户端对所述目标文件进行写操作的先后顺序，将所述当前客户端与所述其他客户端所写内容合并。
优选的，还包括：
释放单元，用于释放所述额外的内存区域；
更新单元，用于向所述MDS发送更新元数据信息的通知，通过所述MDS更新元数据信息。
本发明还提供了一种基于Ceph分布式存储系统的多客户端写的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时，实现如上述任一项所述的基于Ceph分布式存储系统的多客户端写方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于Ceph分布式存储系统的多客户端写方法的步骤。
本发明所提供的基于Ceph分布式存储系统的多客户端写的方法，包括向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；若存在其他客户端正在对所述目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许所述当前客户端对所述目标文件进行写操作；当所述当前客户端与所述其他客户端完成对所述目标文件的写操作后，将所述当前客户端与所述其他客户端所写内容合并，并存入磁盘。
可见，本发明所提供的基于Ceph分布式存储系统的多客户端写的方法，当前客户端预对目标文件进行写操作时，首先向MDS查询是否存在其他客户端此时正在对所述目标文件进行写操作，若存在，则通过OSD为所述当前客户端分配额外的内存区域，允许所述当前客户对所述目标文件进行写操作，同时将所写内容存储到所述额外的内存区域中，从而实现了多客户端同时对同一个文件进行写操作，且不存在各客户端所写内容相互覆盖的问题，有效提高了用户使用效率，为用户提供了良好的使用体验。
本发明所提供的基于Ceph分布式存储系统的多客户端写的装置、设备以及计算机可读存储介质，均具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的基于Ceph分布式存储系统的多客户端写的方法的流程示意图；
图2为本发明实施例所提供的基于Ceph分布式存储系统的多客户端写的装置的示意图；
图3为本发明实施例所提供的基于Ceph分布式存储系统的多客户端写的设备的示意图。
具体实施方式
本发明的核心是提供一种基于Ceph分布式存储系统的多客户端写的方法，该方法允许多客户端同时对同一文件进行写操作，有效提高了用户使用效率，为用户提供了良好的使用体验。本发明的另一个核心是提供一种基于Ceph分布式存储系统的多客户端写装置、设备以及计算机可读存储介质，均具有上述有益效果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的基于Ceph分布式存储系统的多客户端写的方法的流程示意图；参考图1可知，该方法可以包括以下步骤：
S100：向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；
具体的，可在原有对某文件进行写操作流程的基础上，增加是否有其他客户端正在对该文件进行写操作的判断，即当前客户端在当前时间预对某一个文件，即目标文件进行写操作时，可向MDS查询此时是否存在其他客户端正在对该目标文件进行写操作。其中，上述当前时间为客户端预对目标文件进行写操作的时间，当前客户端为当前时间预对目标文件进行写操作的客户端，区别于其他正在对该目标文件进行写操作的客户端。
S200：若存在其他客户端正在对目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许当前客户端对目标文件进行写操作；
具体的，通过向MDS查询，如果存在其他客户端正在对目标文件进行写操作，则开启多客户端同时写模式，赋予当前客户端写权限，允许当前客户端对目标文件进行写操作。为确保当前客户端与其他客户端所写内容不发生覆盖，可为当前客户端分配额外的内存区域，使当前客户端与其他客户端所写内容缓存于不同的内存区域。当然，对于内存区域的具体分配方式，可根据实际需要确定，本发明在此不作具体限定。
相反，通过向MDS查询，如果不存在其他客户端正在对目标文件进行写操作，则无需开启多客户端同时写模式，按照原有流程执行写操作即可。
优选的，上述开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许当前客户端对目标文件进行写操作可以包括：
向OSD发送开启多客户端同时写模式的通知；
通过OSD为当前客户端分配额外的内存区域；
允许当前客户端将写入目标文件的内容缓存至额外的内存区域。
具体的，由于Ceph分布式存储系统中，OSD负责管理存储服务，所以可以向OSD发送开启多客户端同时写模式的通知，从而在OSD接收到该通知后，为当前客户端分配额外的内存区域，允许当前客户端对目标文件进行写操作，同时将当前客户端所写入目标文件的内容缓存至所分配的额外的内存区域中。
S300：当前客户端与其他客户端完成对目标文件的写操作后，将当前客户端与其他客户端所写内容合并，并存入磁盘。
具体的，当前客户端与其他客户端完成对目标文件的写操作后，可以将当前客户端与其他客户端所写内容合并，并将合并后的内容存入磁盘。其中，将当前客户端与其他客户端所写内容进行合并的方式可以为根据当前客户端与其他客户端开始对目标文件进行写操作的时间先后，依次将当前客户端与其他客户端所写内容合并；或者按照当前客户端与其他客户端结束对目标文件进行写操作的时间先后，按序将当前客户端与其他客户端所写内容合并。而对于具体的合并方式，本发明不作具体限定，可以根据实际情况作出差异性的选择。
进一步，将合并后的内容存入磁盘，并可在将合并后的内容存入磁盘后退出多客户端同时写模式。
优选的，上述将当前客户端与其他客户端所写内容合并可以包括：
触发文件内容调整操作；
根据当前客户端与其他客户端对目标文件进行写操作的先后顺序，将当前客户端与其他客户端所写内容合并。
具体的，当前客户端与其他客户端完成对目标文件的写操作后，即可触发文件内容调整操作，通过相关调整指令，根据当前客户端与其他客户端对目标文件进行写操作的先后顺序，依次将各客户端所写内容合并在一起，形成完整的文件内容。
综上所述，本发明所提供的基于Ceph分布式存储系统的多客户端写的方法，当客户端预对文件进行写操作时，首先向MDS查询是否存在其他客户端此时正在对该文件进行写操作，若存在则通过OSD为该客户端分配额外的内存区域，允许该客户对该文件进行写操作，同时将该客户端所写内容存储到额外的内存区域中，从而实现了多客户端同时对同一个文件进行写操作的目的，有效提高了用户使用效率，为用户提供了良好的使用体验。
在上述实施例的基础上：
作为一种优选的实施方式，上述将当前客户端与其他客户端所写内容合并，并存入磁盘后还可以包括：
释放额外的内存区域；
向MDS发送更新元数据信息的通知；
通过MDS更新元数据信息。
具体的，不同客户端对同一文件所写内容存储在不同的内存区域，将当前客户端与其他客户端所写内容合并，并存入磁盘后，则可以将额外的内存区域中的内容删除，释放该内存区域，以使该内存区域可以再次被利用。写入内容的目标文件，其大小、修改时间等元数据信息均发生改变，所以可以向MDS发送更新元数据信息的通知，进而通过MDS更新元数据信息。
通过该优选实施例，可以达到充分利用内存区域，避免内存区域的浪费的目的；同时，可以确保元数据信息的准确性。
本发明还提供了一种基于Ceph分布式存储系统的多客户端写的装置，下文描述的该装置可以与上文描述的基于Ceph分布式存储系统的多客户端写的方法相互对应参照。请参考图2，图2为本发明实施例所提供的基于Ceph分布式存储系统的多客户端写的装置的示意图；通过图2可知，该基于Ceph分布式存储系统的多客户端写装置包括：
查询单元10，用于向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；
开启单元20，用于若存在其他客户端正在对所述目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许当前客户端对目标文件进行写操作；
处理单元30，用于当当前客户端与其他客户端完成对目标文件的写操作后，将当前客户端与其他客户端所写内容合并，并存入磁盘。
优选的，开启单元20包括：
发送子单元，用于向OSD发送开启所述多客户端同时写模式的通知；
分配子单元，用于通过OSD为当前客户端分配额外的内存区域；
缓存子单元，用于允许当前客户端将写入目标文件的内容缓存至额外的内存区域。
优选的，处理单元30包括：
触发子单元，用于触发文件内容调整操作；
合并子单元，用于根据当前客户端与其他客户端对目标文件进行写操作的先后顺序，将当前客户端与其他客户端所写内容合并。
优选的，还包括：
释放单元，用于释放额外的内存区域；
更新单元，用于向MDS发送更新元数据信息的通知，通过MDS更新元数据信息。
对于本发明所提供的装置的介绍请参照上述方法实施例，本发明在此不做赘述。
本发明还提供了一种基于Ceph分布式存储系统的多客户端写的设备，同样下文描述的该设备可以与上文描述的基于Ceph分布式存储系统的多客户端写的方法相互对应参照。
请参考图3，图3为本发明实施例所提供的基于Ceph分布式存储系统的多客户端写的设备的示意图；由图3可知，该设备可以包括存储器1和处理器2。
存储器1，用于存储计算机程序；
处理器2，用于执行计算机程序时实现如下步骤：
向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；若存在其他客户端正在对目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许当前客户端对目标文件进行写操作；当当前客户端与其他客户端完成对目标文件的写操作后，将当前客户端与其他客户端所写内容合并，并存入磁盘。
对于本发明所提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如下的步骤：
向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；若存在其他客户端正在对目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许当前客户端对目标文件进行写操作；当当前客户端与其他客户端完成对目标文件的写操作后，将当前客户端与其他客户端所写内容合并，并存入磁盘。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明所提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于Ceph分布式存储系统的多客户端写的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围。

Claims (10)

1.一种基于Ceph分布式存储系统的多客户端写的方法，其特征在于，所述方法包括：
向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；
若存在其他客户端正在对所述目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许所述当前客户端对所述目标文件进行写操作；
当所述当前客户端与所述其他客户端完成对所述目标文件的写操作后，将所述当前客户端与所述其他客户端所写内容合并，并存入磁盘。
2.根据权利要求1所述的方法，其特征在于，所述开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许所述当前客户端对所述目标文件进行写操作包括：
向OSD发送开启所述多客户端同时写模式的通知；
通过所述OSD为所述当前客户端分配所述额外的内存区域；
允许所述当前客户端将写入所述目标文件的内容缓存至所述额外的内存区域。
3.根据权利要求2所述的方法，其特征在于，所述将当前客户端与所述其他客户端所写内容合并包括：
触发文件内容调整操作；
根据所述当前客户端与所述其他客户端对所述目标文件进行写操作的先后顺序，将所述当前客户端与所述其他客户端所写内容合并。
4.根据权利要求3所述的方法，其特征在于，所述将当前客户端与所述其他客户端所写内容合并，并存入磁盘后还包括：
释放所述额外的内存区域；
向所述MDS发送更新元数据信息的通知；
通过所述MDS更新元数据信息。
5.一种基于Ceph分布式存储系统的多客户端写的装置，其特征在于，所述装置包括：
查询单元，用于向MDS查询当前时间是否存在其他客户端正在对目标文件进行写操作；
开启单元，用于若存在其他客户端正在对所述目标文件进行写操作，则开启多客户端同时写模式，为当前客户端分配额外的内存区域，允许所述当前客户端对所述目标文件进行写操作；
处理单元，用于当所述当前客户端与所述其他客户端完成对所述目标文件的写操作后，将所述当前客户端与所述其他客户端所写内容合并，并存入磁盘。
6.根据权利要求5所述的装置，其特征在于，所述开启单元包括：
发送子单元，用于向OSD发送开启所述多客户端同时写模式的通知；
分配子单元，用于通过所述OSD为所述当前客户端分配所述额外的内存区域；
缓存子单元，用于允许所述当前客户端将写入所述目标文件的内容缓存至所述额外的内存区域。
7.根据权利要求6所述装置，其特征在于，所述处理单元包括：
触发子单元，用于触发文件内容调整操作；
合并子单元，用于根据所述当前客户端与所述其他客户端对所述目标文件进行写操作的先后顺序，将所述当前客户端与所述其他客户端所写内容合并。
8.根据权利要求7所述的装置，其特征在于，还包括：
释放单元，用于释放所述额外的内存区域；
更新单元，用于向所述MDS发送更新元数据信息的通知，通过所述MDS更新元数据信息。
9.一种基于Ceph分布式存储系统的多客户端写的设备，其特征在于，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时，实现如权利要求1至4任一项所述的基于Ceph分布式存储系统的多客户端写方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于Ceph分布式存储系统的多客户端写的方法的步骤。
CN201711486672.8A 2017-12-29 2017-12-29 一种基于Ceph分布式存储系统的多客户端写的方法 Active CN108595109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711486672.8A CN108595109B (zh) 2017-12-29 2017-12-29 一种基于Ceph分布式存储系统的多客户端写的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711486672.8A CN108595109B (zh) 2017-12-29 2017-12-29 一种基于Ceph分布式存储系统的多客户端写的方法

Publications (2)

Publication Number Publication Date
CN108595109A true CN108595109A (zh) 2018-09-28
CN108595109B CN108595109B (zh) 2021-06-29

Family

ID=63633134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711486672.8A Active CN108595109B (zh) 2017-12-29 2017-12-29 一种基于Ceph分布式存储系统的多客户端写的方法

Country Status (1)

Country Link
CN (1) CN108595109B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407985A (zh) * 2018-10-15 2019-03-01 郑州云海信息技术有限公司 一种数据管理的方法以及相关装置
CN113535094A (zh) * 2021-08-06 2021-10-22 上海德拓信息技术股份有限公司 基于分布式存储的跨平台客户端实现方法
CN117914867A (zh) * 2024-03-19 2024-04-19 苏州元脑智能科技有限公司 一种数据缓冲方法、装置、设备及计算机可读存储介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11237959A (ja) * 1998-02-24 1999-08-31 Fujitsu Ltd 多重書き込み記憶装置
CN1496510A (zh) * 2001-03-07 2004-05-12 �׹��Ĺ��ʹ�˾ 分布式共享磁盘系统中的磁盘写操作
CN101131623A (zh) * 2004-04-14 2008-02-27 株式会社日立制作所 存储系统
CN103095687A (zh) * 2012-12-19 2013-05-08 华为技术有限公司 元数据处理方法及装置
CN103257831A (zh) * 2012-02-20 2013-08-21 深圳市腾讯计算机系统有限公司 存储器的读写控制方法及对应的存储器
US20140032957A1 (en) * 2012-07-25 2014-01-30 International Business Machines Corporation Synchronous mode replication to multiple clusters
US20150112947A1 (en) * 2013-10-22 2015-04-23 Nice Systems Ltd. System and method for database flow management
CN105187489A (zh) * 2015-08-05 2015-12-23 深圳联友科技有限公司 可集群并支持多用户同时上传的文件传输方法和系统
US9223800B1 (en) * 2013-12-23 2015-12-29 Emc Corporation Cluster file system providing object store and functionality for transformation of metadata files into objects
US20160070774A1 (en) * 2000-10-13 2016-03-10 Miosoft Corporation Maintaining a relationship between two different items of data
CN105512203A (zh) * 2015-11-27 2016-04-20 积成电子股份有限公司 一种多视图数据存储和合并方法
CN105549905A (zh) * 2015-12-09 2016-05-04 上海理工大学 一种多虚拟机访问分布式对象存储系统的方法
CN106462490A (zh) * 2014-03-26 2017-02-22 Tivo有限公司 多媒体流水线架构
US20170109398A1 (en) * 2015-09-25 2017-04-20 Mongodb, Inc. Systems and methods for data conversion and comparison
CN106599301A (zh) * 2016-12-29 2017-04-26 郑州云海信息技术有限公司 多客户端并发数据读写加速方法及装置
CN106657356A (zh) * 2016-12-29 2017-05-10 郑州云海信息技术有限公司 一种云存储系统的数据写入方法、装置及云存储系统
CN106845259A (zh) * 2017-02-28 2017-06-13 郑州云海信息技术有限公司 一种分布式文件读写权限设置方法
CN106897440A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统文件读写处理方法
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN107231435A (zh) * 2017-07-13 2017-10-03 中体彩科技发展有限公司 数据同步监控方法及系统
CN107395763A (zh) * 2017-08-30 2017-11-24 郑州云海信息技术有限公司 一种多客户端同步处理文件的方法、服务端及系统

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11237959A (ja) * 1998-02-24 1999-08-31 Fujitsu Ltd 多重書き込み記憶装置
US20160070774A1 (en) * 2000-10-13 2016-03-10 Miosoft Corporation Maintaining a relationship between two different items of data
CN1496510A (zh) * 2001-03-07 2004-05-12 �׹��Ĺ��ʹ�˾ 分布式共享磁盘系统中的磁盘写操作
CN101131623A (zh) * 2004-04-14 2008-02-27 株式会社日立制作所 存储系统
CN103257831A (zh) * 2012-02-20 2013-08-21 深圳市腾讯计算机系统有限公司 存储器的读写控制方法及对应的存储器
US20140032957A1 (en) * 2012-07-25 2014-01-30 International Business Machines Corporation Synchronous mode replication to multiple clusters
CN103095687A (zh) * 2012-12-19 2013-05-08 华为技术有限公司 元数据处理方法及装置
US20150112947A1 (en) * 2013-10-22 2015-04-23 Nice Systems Ltd. System and method for database flow management
US9223800B1 (en) * 2013-12-23 2015-12-29 Emc Corporation Cluster file system providing object store and functionality for transformation of metadata files into objects
CN106462490A (zh) * 2014-03-26 2017-02-22 Tivo有限公司 多媒体流水线架构
CN105187489A (zh) * 2015-08-05 2015-12-23 深圳联友科技有限公司 可集群并支持多用户同时上传的文件传输方法和系统
US20170109398A1 (en) * 2015-09-25 2017-04-20 Mongodb, Inc. Systems and methods for data conversion and comparison
CN105512203A (zh) * 2015-11-27 2016-04-20 积成电子股份有限公司 一种多视图数据存储和合并方法
CN105549905A (zh) * 2015-12-09 2016-05-04 上海理工大学 一种多虚拟机访问分布式对象存储系统的方法
CN106599301A (zh) * 2016-12-29 2017-04-26 郑州云海信息技术有限公司 多客户端并发数据读写加速方法及装置
CN106657356A (zh) * 2016-12-29 2017-05-10 郑州云海信息技术有限公司 一种云存储系统的数据写入方法、装置及云存储系统
CN106845259A (zh) * 2017-02-28 2017-06-13 郑州云海信息技术有限公司 一种分布式文件读写权限设置方法
CN106897440A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统文件读写处理方法
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN107231435A (zh) * 2017-07-13 2017-10-03 中体彩科技发展有限公司 数据同步监控方法及系统
CN107395763A (zh) * 2017-08-30 2017-11-24 郑州云海信息技术有限公司 一种多客户端同步处理文件的方法、服务端及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郑涔等: "一种适用于协同设计环境的分布式存储系统", 《微型电脑应用》 *
高平等: "版本控制系统_Subversion技术及其在软件开发库的应用", 《航空电子技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407985A (zh) * 2018-10-15 2019-03-01 郑州云海信息技术有限公司 一种数据管理的方法以及相关装置
CN109407985B (zh) * 2018-10-15 2022-02-18 郑州云海信息技术有限公司 一种数据管理的方法以及相关装置
CN113535094A (zh) * 2021-08-06 2021-10-22 上海德拓信息技术股份有限公司 基于分布式存储的跨平台客户端实现方法
CN117914867A (zh) * 2024-03-19 2024-04-19 苏州元脑智能科技有限公司 一种数据缓冲方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN108595109B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN103473251B (zh) 在使用处理器件的计算环境中提供使用选择性元组版本化的文件系统快照的方法和系统
US7797357B1 (en) File system and methods for performing file create and open operations with efficient storage allocation
CN102483768B (zh) 基于策略的储存结构分布
US20080016121A1 (en) Method, an apparatus and a system for managing a snapshot storage pool
US20190370170A1 (en) Garbage collection implementing erasure coding
CN107632791A (zh) 一种存储空间的分配方法及系统
US7305537B1 (en) Method and system for I/O scheduler activations
CN104636286B (zh) 用于数据访问的方法和设备
CN110457281A (zh) 数据处理方法、装置、设备及介质
CN108595109A (zh) 一种基于Ceph分布式存储系统的多客户端写的方法
CN108363813A (zh) 数据存储方法、装置和系统
CN110046133A (zh) 一种存储文件系统的元数据管理方法、装置及系统
CN102609466B (zh) 一种共享内存的控制方法及系统
KR102342564B1 (ko) 파일 시스템을 생성하고 삭제하는 장치 및 그의 구동 방법
CN105339885B (zh) 磁盘上数据的小随机更改的高效存储
CN107368583A (zh) 一种多集群信息查询的方法及系统
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
CN109739933A (zh) 存储空间释放方法、装置、终端及计算机可读存储介质
CN107220184B (zh) 一种lun存储单元的管理方法及装置
CN110377529A (zh) 一种全闪存储系统数据管理的方法、装置以及设备
CN109582213A (zh) 数据重构方法及装置、数据存储系统
CN109117088A (zh) 一种数据处理方法及系统
CN106445409A (zh) 一种分布式块存储的数据写入方法及装置
CN107426321A (zh) 一种分布式存储系统配额分配方法及装置
CN109086462A (zh) 一种分布式文件系统中元数据的管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant