CN108804038A - 日志数据迁移的方法、装置、服务器和计算机可读介质 - Google Patents

日志数据迁移的方法、装置、服务器和计算机可读介质 Download PDF

Info

Publication number
CN108804038A
CN108804038A CN201810532578.XA CN201810532578A CN108804038A CN 108804038 A CN108804038 A CN 108804038A CN 201810532578 A CN201810532578 A CN 201810532578A CN 108804038 A CN108804038 A CN 108804038A
Authority
CN
China
Prior art keywords
block device
target block
daily record
current hosts
record data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810532578.XA
Other languages
English (en)
Inventor
王彦斌
顾雷雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
New H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd filed Critical New H3C Technologies Co Ltd
Priority to CN201810532578.XA priority Critical patent/CN108804038A/zh
Publication of CN108804038A publication Critical patent/CN108804038A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种日志数据迁移的方法、装置、服务器和计算机可读介质，涉及计算机技术领域，该方法包括：在Ceph集群中查找为当前主机分配的目标块设备；在挂载到目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至目标块设备中；创建目标关系，并将目标关系发送至Ceph集群的监控器中，以使管理设备在当前主机发生故障之后，从监控器中查询目标关系，并根据查询结果从目标块设备中读取日志数据，其中，目标关系中包括当前主机和目标块设备之间的挂载信息。本公开所提供的方法缓解了现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时局限性较大，以及现有的技术方案在对日志数据进行存储时可靠性较低的技术问题。

Description

日志数据迁移的方法、装置、服务器和计算机可读介质
技术领域
本公开涉及计算机技术领域，尤其是涉及一种日志数据迁移的方法、装置、服务器和计算机可读介质。
背景技术
Ceph是一种软件定义存储技术，它是一个开源项目，为块存储、对象存储和文件存储提供软件定义的、统一的存储解决方案，具备可大规模扩展、高性能、无单点故障的分布式存储系统，对外提供海量、无差别以及统一的分布式存储服务。在部署Ceph集群时，Ceph集群的架构主要包括基础存储系统(Reliable Autonomic Distributed Object Store，简称RADOS)、基础库librados和高层应用接口。其中，RADOS主要由两种主机组成，一种是为数众多的、负责完成数据存储和维护功能的对象存储设备(Object Storage Device，简称OSD)；另一种则是若干个负责完成系统状态监测和维护的监控器Monitor。
发明内容
有鉴于此，本公开的目的在于提供一种日志数据迁移的方法、装置、服务器和计算机可读介质，以缓解现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时局限性较大，以及现有的技术方案在对日志数据进行存储时可靠性较低的技术问题。
第一方面，本公开实施例提供了一种日志数据迁移的方法，应用于Ceph集群中的各个主机，包括：在Ceph集群中查找为当前主机分配的目标块设备；在挂载到所述目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至所述目标块设备中；创建目标关系，并将所述目标关系发送至所述Ceph集群的监控器中，以使管理设备在所述当前主机发生故障之后，从所述监控器中查询目标关系，并根据查询结果从所述目标块设备中读取日志数据，其中，所述目标关系中包括所述当前主机和所述目标块设备之间的挂载信息。
进一步地，所述方法还包括：检测所述目标块设备的已用容量；如果检测到所述目标块设备的已用容量大于预设容量，则向所述Ceph集群的控制中心发送扩容请求，其中，所述扩容请求为请求所述Ceph集群的控制中心对所述目标块设备进行扩容。
进一步地，在所述当前主机挂载所述目标块设备上之后，所述方法还包括：监控所述目标块设备的工作状态；如果监控到所述目标块设备出现了故障，则所述当前主机将文件系统中日志记录路径由所述目标块设备的路径信息修改为本地日志存储空间的路径信息。
进一步地，所述目标块设备为在检测到所述当前主机的本地日志存储空间的存储率大于预设存储率的情况下，在Ceph集群中为当前主机分配的目标块设备；或者；所述目标块设备为在所述Ceph集群部署完成之后，在Ceph集群中为所述当前主机分配的目标块设备。
进一步地，所述方法还包括：在生成新日志数据后，基于文件系统中的日志记录路径确定所述新日志数据的日志存储空间；如果基于所述日志记录路径确定出的所述日志存储空间为目标块设备，则将所述新日志数据存储在所述目标块设备中，其中，所述目标块设备为所述Ceph集群为所述当前主机创建的块设备。
第二方面，本公开实施例还提供了一种日志数据迁移的装置，设置于Ceph集群中的主机，包括：第一确定模块，用于在Ceph集群中查找为当前主机分配的目标块设备；迁移模块，用于在挂载到所述目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至所述目标块设备中；创建发送模块，用于创建目标关系，并将所述目标关系发送至所述Ceph集群的监控器中，以使管理设备在所述当前主机发生故障之后，从所述监控器中查询目标关系，并根据查询结果从所述目标块设备中读取日志数据，其中，所述目标关系中包括所述当前主机和所述目标块设备之间的挂载信息。
进一步地，所述装置还包括：检测模块，用于检测所述目标块设备的已用容量；扩容请求发送模块，用于在检测到所述目标块设备的已用容量大于预设容量的情况下，向所述Ceph集群的控制中心发送扩容请求，其中，所述扩容请求为请求所述Ceph集群的控制中心对所述目标块设备进行扩容。
进一步地，所述装置还包括：监控模块，用于在所述当前主机挂载所述目标块设备上之后，监控所述目标块设备的工作状态；修改模块，用于在监控到所述目标块设备出现了故障的情况下，所述当前主机将文件系统中日志记录路径由所述目标块设备的路径信息修改为本地日志存储空间的路径信息。
进一步地，所述目标块设备为在检测到所述当前主机的本地日志存储空间的存储率大于预设存储率的情况下，在Ceph集群中为当前主机分配的目标块设备；或者，所述目标块设备为在所述Ceph集群部署完成之后，在Ceph集群中为所述当前主机分配的目标块设备。
进一步地，所述装置还包括：第二确定模块，用于在生成新日志数据后，基于所述当前主机的文件系统中的日志记录路径确定所述新日志数据的日志存储空间；存储模块，用于在基于所述日志记录路径确定出的所述日志存储空间为目标块设备的情况下，将所述新日志数据存储在所述目标块设备中，其中，所述目标块设备为所述Ceph集群为所述当前主机创建的块设备。
第三方面，本公开实施例还提供了一种服务器，所述服务器为部署有对象存储系统Ceph集群的服务器，其中，所述服务器包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行，以实现上述所述的方法。
第四方面，本公开实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述所述的方法。
在本公开实施例中，首先，在Ceph集群中查找为当前主机分配的目标块设备；当前主机在挂载目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至目标块设备中，之后，还可以创建目标关系，并将目标关系发送至Ceph集群的监控器中，以使管理设备在当前主机发生故障之后，从监控器中查询目标关系，并根据查询结果从目标块设备中读取日志数据，其中，目标关系中包括当前主机和目标块设备之间的挂载信息。本公开中，借助于Ceph集群的分布式存储技术和海量的存储空间来为Ceph集群中的主机创建块设备，然后，将块设备作为主机的远程日志盘来对主机的日志数据进行存储。通过该方式缓解了现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时局限性较大的技术问题，从而节省了主机本地系统盘的存储空间。
进一步地，在本公开中还创建了目标关系，以使管理员在当前主机故障的情况下，通过该目标关系在Ceph集群的监控器中查询目标块设备，并从目标块设备中读取日志数据，通过该处理方式，进一步地保证了日志数据可靠性。
本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开实施例的一种日志数据迁移的方法的流程图；
图2是根据本公开实施例的第一种可选地日志数据迁移的方法的流程图；
图3是根据本公开实施例的第二种可选地日志数据迁移的方法的流程图；
图4是根据本公开实施例的第三种可选地日志数据迁移的方法的流程图；
图5是根据本公开实施例的第四种可选地日志数据迁移的方法的流程图；
图6是根据本公开实施例的第五种可选地日志数据迁移的方法的流程图；
图7是根据本公开实施例的第六种可选地日志数据迁移的方法的流程图；
图8是根据本公开实施例的一种日志数据迁移的装置的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
Ceph是一种软件定义存储技术，它是一个开源项目，为块存储、对象存储和文件存储提供软件定义的、统一的存储解决方案，具备可大规模扩展、高性能、无单点故障的分布式存储系统，对外提供海量、无差别以及统一的分布式存储服务。Ceph自上而下分为4个层次，分别是：基础存储系统RADOS，基础库Librados，高层应用接口和应用层。Ceph的底层是RADOS由连个组件组成：对象存储设备OSD和若干个负责完成系统状态检测和维护的Monitor。
监控器Monitor：Ceph集群的Monitor负载监控整个集群的健康状况，Monitor以守护进程的形式存在。这些守护进程通过Ceph集群的关键信息来维护Ceph集群成员状态、对等主机状态，以及集群配置信息。
块设备也叫RBD(Reliable Block Device)或RADOS块设备，为Ceph客户端提供基于块的可靠的分布式和高性能的持久化存储，通常作为一个额外的磁盘使用。客户端可以灵活地使用这个磁盘，可以作为裸设备使用，也可以格式化成文件系统，然后挂载使用。RBD利用Librbd库将块数据连续地存储在跨越多个OSD的条带状存储空间中。RBD有Ceph的RADOS层提供支持，因此每个块设备都分布在多个Ceph主机上，从而提供了高性能和出色的可靠性。
在现有技术中，当Ceph集群的主机在本地系统盘中的日志盘被写满时，需要相应的删除日志盘中的日志数据才能继续向日志盘中存储日志数据，但是这就会导致删掉的日志数据无法进行恢复。在本公开中，利用Ceph集群本身的分布式存储技术和海量的存储空间，将Ceph集群中每个主机的日志数据存储在Ceph集群的块设备中，不再占用每个主机本地系统盘的空间。本公开能够解决Ceph集群中各个主机的日志盘因存储空闲不足而被写满的问题，节省了本地系统盘有限的存储空间；同时极大的提高了每个主机日志的可靠性。下面将结合具体实施例介绍本公开中的日志数据迁移的方法。
实施例1
根据本公开实施例，提供了一种日志数据迁移的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本公开实施例的一种日志数据迁移的方法的流程图，如图1所示，该方法应用于Ceph集群中的各个主机，该方法包括如下步骤：
步骤S102，在Ceph集群中查找为当前主机分配的目标块设备；
步骤S104，在挂载目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至目标块设备中；
步骤S106，创建目标关系，并将目标关系发送至Ceph集群的监控器中，以使管理设备在当前主机发生故障之后，从监控器的中查询目标关系，并根据查询结果从目标块设备中读取日志数据，其中，目标关系中包括当前主机和目标块设备之间的挂载信息。
本公开中，借助于Ceph集群的分布式存储技术和海量的存储空间来为Ceph集群中的主机创建块设备，然后，将块设备作为主机的远程日志盘来对主机的日志数据进行存储。通过该方式缓解了现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时局限性较大的技术问题，从而节省了主机本地系统盘的存储空间；在本公开中，通过创建目标关系，能够进一步保证日志数据可靠性。
基础存储系统RADOS中的每台主机都需要记录日志，其中，日志主要分为Ceph集群中各个组件的日志、每台主机的操作系统日志，以及每台主机中其他应用程序的日志。一般情况下，在多个主机上部署Ceph集群之前，每个主机在安装操作系统后将会在系统盘中划分出一个分区作为日志盘，其中，该日志盘用于存储各类日志数据，以及记录主机中其他应用程序的日志数据，该分区的空间大小设定为k。Ceph集群部署完成后，该主机同样将相关的日志数据记录到本地日志盘(也即，本地日志存储空间)中，其中，k需要设定合理的大小，只需要满足上述过程中产生的日志所需要的存储空间即可，具体的数值在本公开中不再详细赘述。但是，随着Ceph集群的长时间运行，该日志盘中积累的日志数据越来越多，这就会导致日志盘被写满，进而对Ceph集群造成影响。由于日志盘的存储空间难以扩容，因此，只能提前配置大容量的日志盘来存储更多的日志数据，但是大容量的日志盘会对有限的本地系统盘存储空间造成浪费。另外，当某个主机故障而无法恢复时，该主机的日志数据难以取出，无法分析日志数据。针对上述问题，现有技术中的一个解决方案是定时删除主机的日志盘中的历史日志数据。但是，被删除的历史日志数据无法进行恢复，因此，该方案的局限性太大，也无法保证日志数据的可靠性。
为了解决现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时，处理方式局限性较大的技术问题。在本公开实施例中，可以采用当前主机挂载目标块设备的方式，来实现日志数据的迁移，以解决上述问题。
在本公开实施例中，在确定出对当前主机的本地日志存储空间中的日志数据进行迁移，则在Ceph集群中查找为当前主机分配的目标块设备。其中，确定是否对当前主机的本地日志存储空间中的日志数据进行迁移可以通过以下两种实施方式来实现。
在一个可选的实施方式中，在多个主机上完成Ceph集群的部署之后，为当前主机分配目标块设备，并按照上述步骤S102至步骤S106所描述的方法对当前主机中的本地日志存储空间中的日志数据进行迁移。
具体地，在本公开实施例中，在多个主机上完成Ceph集群的部署之后，则确定对各个主机的本地日志存储空间中的日志数据进行迁移。此时，Ceph集群利用自身的分布式存储系统和块存储功能，为Ceph集群中的每台主机建立一个块设备，以通过该块设备提供块存储业务，其中，每个块设备都与每台主机一一对应。在为每台主机创建块设备之后，每台主机就可以作为客户端在本地挂载块设备。在主机挂载到对应的块设备之后，主机需要对块设备进行格式化，并将格式化之后的块设备作为该主机的日志盘，其中，此时的日志盘又可以称为远程日志盘，该远程日志盘用于存储该主机的所有日志数据。其中，在对块设备进行格式化处理之后，就能够向块设备中存储日志数据。
在另一个可选的实施方式中，在检测到当前主机的本地日志存储空间的存储率大于预设存储率的情况下，在Ceph集群中为当前主机分配目标块设备，并按照上述步骤S102至步骤S106所描述的方法对当前主机中的本地日志存储空间中的日志数据进行迁移，具体过程描述如下：
在多个主机上完成Ceph集群的部署之后，各个主机还可以通过本地日志存储空间来存储日志数据。此时，各个主机将监控本地日志存储空间的存储率，其中，如果监控到存储率大于预设存储率，则需要对当前主机的本地日志存储空间的日志数据进行迁移。此时，Ceph集群利用自身的分布式存储系统和块存储功能，为Ceph集群中的每台主机建立一个块设备，以通过该块设备提供块存储业务，其中，每个块设备都与每台主机一一对应。在为每台主机创建块设备之后，每台主机就可以作为客户端在本地挂载块设备。在主机挂载到对应的块设备之后，主机需要对块设备进行格式化，并将格式化之后的块设备作为该主机的远程日志盘，该远程日志盘用于存储该主机的所有日志数据。其中，在对块设备进行格式化处理之后，就能够向块设备中存储日志数据。
需要说明的是，在本公开实施例中，可以通过下述过程来实现将主机挂载在对应的目标块设备上。
具体地，在本公开实施例中，根据块存储的特性，主机挂载可以通过iSCSI target和iSCSI initiator的方式来实现，其中，iSCSI(Internet Small Computer SystemInterface)是一种互联网小型计算机系统接口协议。具体地，在本公开实施例中，Ceph集群中的块设备可以作为iSCSI target端，对外提供挂载存储卷的服务，同时将Ceph集群中的主机作为iSCSI initiator端。
在实现iSCSI initiator端挂载到iSCSI target端时，具体过程描述如下：首先，在iSCSI initiator端查找iSCSI发起程序。然后，点击iSCSI发起程序的发现页面，然后点击发现门户，接下来，在弹出的窗口中，可以输入iSCSI target端的地址信息。例如，输入的是iSCSI target端所在主机的地址信息，例如：192.168.0.106。此时，在发现页面上会自动显示所有的有效target。之后，就可以在iSCSI initiator端选中target设备：“目标块设备”，然后，点击连接，即向目标块设备所在的主机发送挂载请求。在iSCSI target端向iSCSI initiator端反馈可以挂载的响应信息时，即可以完成将iSCSI initiator端挂载到iSCSI target端。
实施例2
图2是根据本公开实施例的第一种可选地日志数据迁移的方法的流程图。在另一个实施例中，如图2所示，该方法包括如下步骤：
步骤S201，在Ceph集群中查找为当前主机分配的目标块设备；步骤S201与步骤S102相同，此处不再赘述。
步骤S202，当前主机在挂载目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至目标块设备中；步骤S202与步骤S104相同，此处不再赘述。
步骤S203，当前主机在本地存储空间中创建目标关系，其中，目标关系中包括当前主机和目标块设备之间的挂载信息，具体包括：当前主机的身份信息、目标块设备的属性信息、当前主机和目标块设备之间的关联关系；
步骤S204，将目标关系发送至Ceph集群的监控器中，以使Ceph集群的监控器对目标关系进行管理，其中，管理设备在当前主机发生故障之后，从监控器中查询目标关系，并根据查询结果从目标块设备中读取日志数据，其中，目标关系中包括当前主机和目标块设备之间的挂载信息。
在本公开实施例中，在确定出对当前主机的本地日志存储空间中的日志数据进行迁移时，在Ceph集群中查找为当前主机分配的目标块设备。
之后，当前主机向目标块设备所在的主机发送挂载请求，以请求将当前主机挂载在目标块设备中。其中，可以通过上述实施例1中所描述的基于iSCSI target和iSCSIinitiator的方式来实现将当前主机挂载在目标块设备，此处不再详细赘述。
在将当前主机挂载在目标块设备上之后，就可以确定目标块设备为当前主机的日志存储设备，此时，该目标块设备就可以用于后续主机的日志数据的存储操作。
在将当前主机挂载在目标块设备上之后，还可以将当前主机的本地日志存储空间中已存储的日志数据迁移至对应的目标块设备中。
在将当前主机挂载在目标块设备上之后，当前主机可以在本地建立目标关系logmap，其中，目标关系log map中包括当前主机和目标块设备之间的挂载信息，具体记录了Ceph集群中每个主机身份信息，以及每个主机挂载的目标块设备信息。主机的身份信息主要用于识别Ceph集群中每个主机的身份，块设备的信息主要用于识别该主机挂载的远程日志盘所属的块设备(即，目标块设备)，以及挂载的方式、块设备的大小等。例如，目标关系log map中记录的主机身份信息是主机名和主机的IP地址，块设备信息是块设备名称和target名称，主机的身份信息与块设备信息一一对应。需要说明的是，在本公开实施例中，主机的身份信息和块设备的信息并不限定是上述信息，目标关系log map中的信息还可以是其他能够唯一确定主机和其对应的块设备的信息。
在当前主机创建目标关系log map之后，每台主机可以将在本地创建的目标关系log map发送到Ceph集群的监控器Monitor中，由监控器Monitor统一进行汇总和管理。Monitor中维护着一个log map，其中存储了集群中每个主机的身份信息及其远程日志盘(也即，目标块设备)的信息。其中，Ceph集群监控器Monitor中维护的log map中包括主机和对应的块设备之间的挂载信息，具体包括集群中各个主机的身份信息，以及与其对应的目标块设备的信息。每个主机上创建的log map包括主机自身的身份信息，以及与其对应的目标块设备的信息。
在本公开实施例中，当Ceph集群中的某一台主机因故障无法启动时，管理员可直接从Ceph集群监控器Monitor中读取log map，从中获取到该宕机的主机所挂载远程日志盘(也即，目标块设备)的信息。根据该信息，管理员可以在其他客户端上挂载宕机的远程日志盘，从而读取该主机的日志数据。因此，在本公开实施例中，通过建立log map的方式，能够避免在主机因为故障无法启动时，该主机的日志数据无法获取或者难以获取的情况，进一步的保证了日志数据的可靠性。
例如，在主机A1至主机AN上部署Ceph集群。在主机A1至主机AN上部署Ceph集群之后，则确定为主机A1至主机AN中的每个主机建立一个块设备，以通过该块设备来为对应的主机提供块存储服务，其中，可以为主机Ai(Ai为主机A1至主机AN中的第i个主机)创建一个块设备(也即，上述目标块设备)。在为主机Ai创建块设备之后，主机Ai就可以在本地挂载对应的块设备，具体挂载过程如上述实施例1，此处不再赘述。
在主机Ai挂载在对应的块设备之后，主机Ai就可以确定与主机Ai相对应的块设备即为主机Ai的日志存储设备。在主机Ai挂载在对应的块设备之后，主机Ai还可以将本地日志存储空间(主机Ai系统盘中的日志盘)中已存储的日志数据迁移至对应的块设备上。
在主机Ai挂载在目标块设备上之后，主机Ai还可以在本地建立目标关系log map，其中，目标关系log map中包括主机Ai的主机名和主机Ai的IP地址，主机Ai所对应的块设备的名称和target名称。在主机Ai创建目标关系log map之后，主机Ai可以将在本地创建的目标关系log map发送到Ceph集群的监控器Monitor中，由监控器Monitor统一进行汇总和管理。
实施例3
图3是根据本公开实施例的第二种可选地日志数据迁移的方法的流程图。在另一个实施例中，在上述步骤S102-S106所描述的实施例的基础上，如图3所示，该方法包括如下步骤：
步骤S301，检测目标块设备的已用容量；
步骤S302，如果检测到目标块设备的已用容量大于预设容量，则向Ceph集群的控制中心发送扩容请求，其中，扩容请求为请求Ceph集群的控制中心对目标块设备进行扩容。
在本公开实施例中，在确定出对当前主机的本地日志存储空间中的日志数据进行迁移时，在Ceph集群中查找为当前主机分配的目标块设备。
之后，当前主机向目标块设备所在的主机发送挂载请求，以请求将当前主机挂载在目标块设备中。其中，可以通过上述实施例1中所描述的基于iSCSI target和iSCSIinitiator的方式来实现将当前主机挂载在目标块设备，此处不再详细赘述。
在将当前主机挂载在目标块设备上之后，就可以确定目标块设备为当前主机的日志存储设备，此时，该目标块设备就可以用于后续主机的日志数据的存储操作。
Ceph集群为每台主机分配的初始远程日志盘(即，目标块设备)的空间设为m，随着日志数据的不断写入，当远程日志盘(即，目标块设备)的已用容量达到p％(即，预设容量占目标块设备存储总容量的比例)时，则Ceph集群中的控制中心将为远程日志盘(即，目标块设备)自动扩容，扩容的空间大小为n，其中，n与m可以相同，还可以不同。扩容是Ceph集群本身具备的功能，具体过程不再详细说明。其中，上述m、n、p的值需要设定合理，具体数值不再详细说明。
通过上述描述可知，每台主机可以每隔一段时间或者实时检测目标块设备的已用容量，当检测到目标块设备的已用容量大于预设容量，则向Ceph集群的控制中心发送扩容请求，以请求Ceph集群的控制中心对目标块设备进行扩容。
例如，在上述实施例2的基础上，在主机Ai挂载到对应的目标块设备上之后，主机Ai可以检测目标块设备的已用容量。如果主机Ai检测到目标块设备的已用容量大于预设容量，则主机Ai向Ceph集群的控制中心发送扩容请求，以请求Ceph集群的控制中心对目标块设备进行扩容。在Ceph集群的控制中心对目标块设备进行扩容之后，主机Ai还需要对扩容的部分进行格式化处理，以通过格式化处理之后的扩容部分来存储主机Ai的日志数据。
实施例4
图4是根据本公开实施例的第三种可选地日志数据迁移的方法的流程图。在另一个实施例中，在上述步骤S102-S106所描述的实施例的基础上，如图4所示，该方法包括如下步骤：
步骤S401，当前主机在挂载目标块设备上之后，将文件系统中日志记录路径修改为目标块设备的路径信息，并将本地日志存储空间中已存储的日志数据迁移至目标块设备中。
在本公开实施例中，在确定出对当前主机的本地日志存储空间中的日志数据进行迁移时，在Ceph集群中查找为当前主机分配的目标块设备。
之后，当前主机向目标块设备所在的主机发送挂载请求，以请求将当前主机挂载在目标块设备中。其中，可以通过上述实施例1中所描述的基于iSCSI target和iSCSIinitiator的方式来实现将当前主机挂载在目标块设备，此处不再详细赘述。
在将当前主机挂载在目标块设备上之后，就可以将当前主机的文件系统中日志记录路径修改为目标块设备的路径信息，以确定该目标块设备为当前主机的日志存储设备，此时，该目标块设备就可以用于后续主机的日志数据的存储操作。
实施例5
图5是根据本公开实施例的第四种可选地日志数据迁移的方法的流程图。在另一个实施例中，在上述步骤S102-S106所描述的实施例的基础上，如图5所示，该方法包括如下步骤：
步骤S501，监控目标块设备的工作状态；
步骤S502，如果监控到目标块设备出现了故障，则当前主机将文件系统中日志记录路径由目标块设备的路径信息修改为本地日志存储空间的路径信息。
在本公开实施例中，在确定出对当前主机的本地日志存储空间中的日志数据进行迁移时，在Ceph集群中查找为当前主机分配的目标块设备。
之后，当前主机向目标块设备所在的主机发送挂载请求，以请求将当前主机挂载在目标块设备中。其中，可以通过上述实施例1中所描述的基于iSCSI target和iSCSIinitiator的方式来实现将当前主机挂载在目标块设备，此处不再详细赘述。
在将当前主机挂载在目标块设备上之后，确定目标块设备为当前主机的日志存储设备，并将本地日志存储空间中已存储的日志数据迁移至目标块设备中，其中，确定目标块设备为当前主机的日志存储设备的过程在上述实施例4中进行介绍，此处不再赘述。
在将当前主机挂载在目标块设备上之后，当前主机还可以每隔一段时间或者实时监控目标块设备的工作状态。如果监控到目标块设备出现了故障，则当前主机将文件系统中日志记录路径由目标块设备的路径信息修改为本地日志存储空间的路径信息。通过上述方式，能够避免目标块设备出现故障时，主机的日志数据无法进行存储从而导致日志数据丢失的情况。
通过本公开实施例可知，在本公开中，能够实现目标块设备和本地日志存储空间的灵活切换。一方面，通过为主机挂载目标块设备，能够避免主机因为故障无法启动时，该主机的日志数据无法获取或者难以获取的情况，同时，目标块设备还利用了Ceph集群的存储空间，避免了因主机本地有限的系统盘空间而导致日志盘被写满的情况发生，同时，本公开不需要增加额外的技术成本以及设备开销，利用Ceph集群本身的技术，节省了成本。另一个方面，通过设置目标块设备和本地日志存储空间的灵活切换，能够避免目标块设备出现故障时，主机的日志数据无法进行存储从而导致日志数据丢失的情况。
实施例6
图6是根据本公开实施例的第五种可选地日志数据迁移的方法的流程图。在另一个实施例中，如图6所示，该方法包括如下步骤：
步骤S601，主机安装操作系统，并在系统盘中设置日志盘(即，本地日志存储空间)；
步骤S602，在主机上部署Ceph集群，并在部署完成之后，Ceph集群为主机创建一个块设备；
步骤S603，主机挂载块设备，并将该块设备作为远程日志盘；其中，可以通过上述实施例1中所描述的基于iSCSI target和iSCSI initiator的方式来实现将当前主机挂载在目标块设备，此处不再详细赘述；
步骤S604，将本地日志存储空间中的日志数据复制到远程日志盘，并确定远程日志盘为当前主机的日志存储设备；其中，可以通过上述实施例4中所描述的方式来确定远程日志盘为当前主机的日志存储设备，此处不再详细赘述；
步骤S605，主机创建目标关系log map，其中，目标关系log map中包括主机和目标块设备之间的挂载信息，具体包括以下至少之一：主机的身份信息、块设备的属性信息、主机和块设备之间的关联关系；
步骤S606，主机将目标关系log map发送至Ceph集群的监控器中，以使Ceph集群的监控器对目标关系log map进行管理；其中，Ceph集群的监控器能够允许管理员获取目标关系log map，以使管理员根据目标关系log map挂载出现故障的主机的远程日志盘，并读取该日志盘中的日志数据；
步骤S607，在主机挂载块设备之后，主机还可以检测块设备的已用容量；
步骤S608，判断已用容量是否大于预设容量，如果是，则执行步骤S609，否则，返回执行步骤S607；
步骤S609，向Ceph集群的控制中心发送扩容请求，其中，扩容请求为请求Ceph集群的控制中心对块设备进行扩容。
本公开中，借助于Ceph集群的分布式存储技术和海量的存储空间来为Ceph集群中的主机创建块设备，然后，将块设备作为主机的远程日志盘来对主机的日志数据进行存储。通过该方式缓解了现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时局限性较大的技术问题，在保证了日志数据可靠性的同时，也节省了主机本地系统盘的存储空间。
实施例7
图7是根据本公开实施例的第六种可选地日志数据迁移的方法的流程图。在另一个实施例中，在上述步骤S102-S106所描述的实施例的基础上，如图7所示，该方法包括如下步骤：
步骤S702，在生成新日志数据后，基于当前主机的文件系统中的日志记录路径确定待存储的日志数据的日志存储空间；
步骤S704，如果基于日志记录路径确定出的日志存储空间为目标块设备，则将新日志数据存储在目标块设备中，其中，目标块设备为Ceph集群为当前主机创建的块设备。
在本公开实施例中，在通过上述实施例1至实施例6所描述的过程完成数据的迁移之后，就可以通过目标块设备来存储当前主机的日志数据。具体存储过程即为上述步骤S702至步骤S704所描述的过程，即：
在当前主机中产生待存储的日志数据之后，当前主机在基于其文件系统中的日志记录路径确定待存储的日志数据的日志存储空间。如果当前主机确定出该日志存储空间为Ceph集群为当前主机创建的目标块设备，则将待存储的日志数据存储在目标块设备中。如果当前主机确定出该日志存储空间为当前主机的本地系统盘中的日志盘，则将待存储的日志数据存储在该日志盘中。
本公开借助于Ceph集群的分布式存储技术和海量的存储空间来为Ceph集群中的主机创建块设备的方式，能够将块设备作为主机的远程日志盘来对主机的日志数据进行存储，通过该方式缓解了现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时局限性较大的技术问题，在保证了日志数据可靠性的同时，也节省了主机本地系统盘的存储空间。
实施例8
本公开实施例还提供了一种日志数据迁移的装置，该日志数据迁移的装置主要用于执行本公开实施例上述内容所提供的日志数据迁移的方法，以下对本公开实施例提供的日志数据迁移的装置做具体介绍。
图8是根据本公开实施例的一种日志数据迁移的装置的示意图，如图8所示，该日志数据迁移的装置主要包括第一确定模块81，迁移模块82和创建发送模块83，其中：
第一确定模块81，用于在Ceph集群中查找为当前主机分配的目标块设备；
迁移模块82，用于在挂载目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至目标块设备中；
创建发送模块83，用于创建目标关系，并将所述目标关系发送至所述Ceph集群的监控器中，以使管理设备在所述当前主机发生故障之后，从所述监控器中查询目标关系，并根据查询结果从所述目标块设备中读取日志数据，所述目标关系中包括所述当前主机和所述目标块设备之间的挂载信息。
本公开中，借助于Ceph集群的分布式存储技术和海量的存储空间来为Ceph集群中的主机创建块设备，然后，将块设备作为主机的远程日志盘来对主机的日志数据进行存储。通过该方式缓解了现有的技术方案在处理Ceph集群中各个主机的本地日志盘的存储空间不足的问题时局限性较大的技术问题，从而节省了主机本地系统盘的存储空间；在本公开中，通过创建目标关系，能够进一步保证日志数据可靠性。
可选地，该装置还包括：检测模块，用于检测目标块设备的已用容量；扩容请求发送模块，用于在检测到目标块设备的已用容量大于预设容量的情况下，向Ceph集群的控制中心发送扩容请求，其中，扩容请求为请求Ceph集群的控制中心对目标块设备进行扩容。
可选地，该装置还包括：监控模块，用于在当前主机挂载目标块设备上之后，监控目标块设备的工作状态；修改模块，用于在监控到目标块设备出现了故障的情况下，当前主机将文件系统中日志记录路径由目标块设备的路径信息修改为本地日志存储空间的路径信息。
可选地，所述目标块设备为在检测到所述当前主机的本地日志存储空间的存储率大于预设存储率的情况下，在Ceph集群中为当前主机分配的目标块设备；或者；所述目标块设备为在所述Ceph集群部署完成之后，在Ceph集群中为所述当前主机分配的目标块设备。
可选地，所述装置还包括：第二确定模块，用于在生成新日志数据后，基于文件系统中的日志记录路径确定所述新日志数据的日志存储空间；存储模块，用于在基于所述日志记录路径确定出的所述日志存储空间为目标块设备的情况下，将所述新日志数据存储在所述目标块设备中，其中，所述目标块设备为所述Ceph集群为所述当前主机创建的块设备。
本公开实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
在另一个实施例中，还提供了一种服务器，所述服务器为部署有对象存储系统Ceph集群的服务器，其中，所述服务器包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行，以实现上述实施例1至实施例7中任一项所述的方法。
在另一个实施例中，还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述实施例1至实施例7中任一项所述的方法。
另外，在本公开实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。
在本公开的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种日志数据迁移的方法，其特征在于，应用于Ceph集群中的主机，包括：
在Ceph集群中查找为当前主机分配的目标块设备；
在挂载到所述目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至所述目标块设备中；
创建目标关系，并将所述目标关系发送至所述Ceph集群的监控器中，以使管理设备在所述当前主机发生故障之后，从所述监控器中查询目标关系，并根据查询结果从所述目标块设备中读取日志数据，其中，所述目标关系中包括所述当前主机和所述目标块设备之间的挂载信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述目标块设备的已用容量；
如果检测到所述目标块设备的已用容量大于预设容量，则向所述Ceph集群的控制中心发送扩容请求，其中，所述扩容请求为请求所述Ceph集群的控制中心对所述目标块设备进行扩容。
3.根据权利要求1或2所述的方法，其特征在于，在所述当前主机挂载所述目标块设备上之后，所述方法还包括：
监控所述目标块设备的工作状态；
如果监控到所述目标块设备出现了故障，则所述当前主机将文件系统中日志记录路径由所述目标块设备的路径信息修改为本地日志存储空间的路径信息。
4.根据权利要求1所述的方法，其特征在于，所述目标块设备为在检测到所述当前主机的本地日志存储空间的存储率大于预设存储率的情况下，在Ceph集群中为当前主机分配的目标块设备；或者；所述目标块设备为在所述Ceph集群部署完成之后，在Ceph集群中为所述当前主机分配的目标块设备。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在生成新日志数据后，基于文件系统中的日志记录路径确定所述新日志数据的日志存储空间；
如果基于所述日志记录路径确定出的所述日志存储空间为目标块设备，则将所述新日志数据存储在所述目标块设备中，其中，所述目标块设备为所述Ceph集群为所述当前主机创建的块设备。
6.一种日志数据迁移的装置，其特征在于，设置于Ceph集群中的主机，包括：
第一确定模块，用于在Ceph集群中查找为当前主机分配的目标块设备；
迁移模块，用于在挂载到所述目标块设备上之后，将本地日志存储空间中已存储的日志数据迁移至所述目标块设备中；
创建发送模块，用于创建目标关系，并将所述目标关系发送至所述Ceph集群的监控器中，以使管理设备在所述当前主机发生故障之后，从所述监控器中查询目标关系，并根据查询结果从所述目标块设备中读取日志数据，其中，所述目标关系中包括所述当前主机和所述目标块设备之间的挂载信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
检测模块，用于检测所述目标块设备的已用容量；
扩容请求发送模块，用于在检测到所述目标块设备的已用容量大于预设容量的情况下，向所述Ceph集群的控制中心发送扩容请求，其中，所述扩容请求为请求所述Ceph集群的控制中心对所述目标块设备进行扩容。
8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
监控模块，用于在所述当前主机挂载所述目标块设备上之后，监控所述目标块设备的工作状态；
修改模块，用于在监控到所述目标块设备出现了故障的情况下，所述当前主机将文件系统中日志记录路径由所述目标块设备的路径信息修改为本地日志存储空间的路径信息。
9.根据权利要求6所述的装置，其特征在于，所述目标块设备为在检测到所述当前主机的本地日志存储空间的存储率大于预设存储率的情况下，在Ceph集群中为当前主机分配的目标块设备；或者，所述目标块设备为在所述Ceph集群部署完成之后，在Ceph集群中为所述当前主机分配的目标块设备。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于在生成新日志数据后，基于所述当前主机的文件系统中的日志记录路径确定所述新日志数据的日志存储空间；
存储模块，用于在基于所述日志记录路径确定出的所述日志存储空间为目标块设备的情况下，将所述新日志数据存储在所述目标块设备中，其中，所述目标块设备为所述Ceph集群为所述当前主机创建的块设备。
11.一种服务器，其特征在于，所述服务器为部署有对象存储系统Ceph集群的服务器，其中，所述服务器包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行，以实现权利要求1至5中任一项所述的方法。
12.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至5中任一项所述的方法。
CN201810532578.XA 2018-05-29 2018-05-29 日志数据迁移的方法、装置、服务器和计算机可读介质 Pending CN108804038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810532578.XA CN108804038A (zh) 2018-05-29 2018-05-29 日志数据迁移的方法、装置、服务器和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810532578.XA CN108804038A (zh) 2018-05-29 2018-05-29 日志数据迁移的方法、装置、服务器和计算机可读介质

Publications (1)

Publication Number Publication Date
CN108804038A true CN108804038A (zh) 2018-11-13

Family

ID=64090871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810532578.XA Pending CN108804038A (zh) 2018-05-29 2018-05-29 日志数据迁移的方法、装置、服务器和计算机可读介质

Country Status (1)

Country Link
CN (1) CN108804038A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683818A (zh) * 2018-12-17 2019-04-26 联想(北京)有限公司 一种数据存储方法、设备及存储介质
CN109901799A (zh) * 2019-02-28 2019-06-18 新华三信息安全技术有限公司 一种日志读写方法及装置
CN110046138A (zh) * 2019-03-06 2019-07-23 平安科技（深圳）有限公司 一种iSCSI目标器多实例处理方法及分布式存储系统
CN111124275A (zh) * 2019-11-15 2020-05-08 苏州浪潮智能科技有限公司 一种分布式块存储系统的监控服务优化方法及装置
CN111338902A (zh) * 2020-02-28 2020-06-26 上海商汤智能科技有限公司 数据处理方法、装置及系统
CN111355775A (zh) * 2019-12-30 2020-06-30 深圳创新科技术有限公司 CloudStack集群子服务器状态判断方法、装置、设备及存储介质
CN111510338A (zh) * 2020-03-09 2020-08-07 苏州浪潮智能科技有限公司 一种分布式块存储网络亚健康测试方法、装置及存储介质
CN111638855A (zh) * 2020-06-03 2020-09-08 山东汇贸电子口岸有限公司 一种物理裸机支持Ceph后端卷的方法
CN111813334A (zh) * 2020-06-04 2020-10-23 中国科学院上海微系统与信息技术研究所 一种Ceph的写性能优化和双控节点组合方法
CN111949486A (zh) * 2020-08-14 2020-11-17 苏州浪潮智能科技有限公司 一种实时集群业务监控的实现方法、装置
CN112069145A (zh) * 2020-08-31 2020-12-11 北京易捷思达科技发展有限公司 适于大规模部署云环境的日志收集系统和方法
CN114138209A (zh) * 2022-02-07 2022-03-04 苏州浪潮智能科技有限公司 一种部署osd的方法、装置及计算机可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281946A1 (en) * 2003-04-30 2008-11-13 Akamai Technologies, Inc. Automatic migration of data via a distributed computer network
CN101710339A (zh) * 2009-11-20 2010-05-19 中国科学院计算技术研究所 控制机群文件系统中数据存储方法和系统及创建文件方法
CN103401937A (zh) * 2013-08-07 2013-11-20 中国科学院信息工程研究所 日志数据处理方法及系统
CN103595799A (zh) * 2013-11-18 2014-02-19 北京中创信测科技股份有限公司 一种实现分布式共享数据库的方法
CN104036043A (zh) * 2014-07-01 2014-09-10 浪潮(北京)电子信息产业有限公司 一种mysql高可用的方法及管理节点
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
US20140298116A1 (en) * 2004-09-29 2014-10-02 Verisign, Inc. Method and apparatus for an improved file repository
CN105653630A (zh) * 2015-12-25 2016-06-08 北京奇虎科技有限公司 分布式数据库的数据迁移方法与装置
CN106445730A (zh) * 2016-07-22 2017-02-22 平安科技（深圳）有限公司 一种提高虚拟机性能的方法和终端
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN106503587A (zh) * 2016-11-28 2017-03-15 航天恒星科技有限公司 一种数据盘的挂载方法及虚拟机监控器
CN106648981A (zh) * 2016-12-13 2017-05-10 龚平 一种基于持续数据保护的虚拟机数据保护方法
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107222320A (zh) * 2016-03-22 2017-09-29 中兴通讯股份有限公司 云服务器集群建立高可用连接的方法和装置
CN107357896A (zh) * 2017-07-13 2017-11-17 北京小度信息科技有限公司 数据库集群的扩容方法、装置、系统和数据库集群系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281946A1 (en) * 2003-04-30 2008-11-13 Akamai Technologies, Inc. Automatic migration of data via a distributed computer network
US20140298116A1 (en) * 2004-09-29 2014-10-02 Verisign, Inc. Method and apparatus for an improved file repository
CN101710339A (zh) * 2009-11-20 2010-05-19 中国科学院计算技术研究所 控制机群文件系统中数据存储方法和系统及创建文件方法
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN103401937A (zh) * 2013-08-07 2013-11-20 中国科学院信息工程研究所 日志数据处理方法及系统
CN103595799A (zh) * 2013-11-18 2014-02-19 北京中创信测科技股份有限公司 一种实现分布式共享数据库的方法
CN104036043A (zh) * 2014-07-01 2014-09-10 浪潮(北京)电子信息产业有限公司 一种mysql高可用的方法及管理节点
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN105653630A (zh) * 2015-12-25 2016-06-08 北京奇虎科技有限公司 分布式数据库的数据迁移方法与装置
CN107222320A (zh) * 2016-03-22 2017-09-29 中兴通讯股份有限公司 云服务器集群建立高可用连接的方法和装置
CN106445730A (zh) * 2016-07-22 2017-02-22 平安科技（深圳）有限公司 一种提高虚拟机性能的方法和终端
CN106503587A (zh) * 2016-11-28 2017-03-15 航天恒星科技有限公司 一种数据盘的挂载方法及虚拟机监控器
CN106648981A (zh) * 2016-12-13 2017-05-10 龚平 一种基于持续数据保护的虚拟机数据保护方法
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107357896A (zh) * 2017-07-13 2017-11-17 北京小度信息科技有限公司 数据库集群的扩容方法、装置、系统和数据库集群系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
OBA没有马: "【CEPH】通过iscsi连接到CEPH", 《HTTPS://BLOG.CSDN.NET/U010317005/ARTICLE/DETAILS/80322855》 *
ROSCOE LIN ET AL.: "Performance Study of Ceph Storage with Intel Cache Acceleration Software Decoupling Hadoop MapReduce and HDFS over Ceph Storage", 《2017 IEEE 4TH INTERNATIONAL CONFERENCE ON CYBER SECURITY AND CLOUD COMPUTING》 *
王春海: "《windows组网与故障排除 实用宝典10年经验版》", 30 June 2015 *
胡豆豆 等: "对象存储系统的自动化管理技术", 《电信科学》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683818A (zh) * 2018-12-17 2019-04-26 联想(北京)有限公司 一种数据存储方法、设备及存储介质
CN109901799B (zh) * 2019-02-28 2022-08-19 新华三信息安全技术有限公司 一种日志读写方法及装置
CN109901799A (zh) * 2019-02-28 2019-06-18 新华三信息安全技术有限公司 一种日志读写方法及装置
CN110046138A (zh) * 2019-03-06 2019-07-23 平安科技（深圳）有限公司 一种iSCSI目标器多实例处理方法及分布式存储系统
CN110046138B (zh) * 2019-03-06 2024-03-01 平安科技（深圳）有限公司 一种iSCSI目标器多实例处理方法及分布式存储系统
CN111124275A (zh) * 2019-11-15 2020-05-08 苏州浪潮智能科技有限公司 一种分布式块存储系统的监控服务优化方法及装置
CN111124275B (zh) * 2019-11-15 2022-10-18 苏州浪潮智能科技有限公司 一种分布式块存储系统的监控服务优化方法及装置
CN111355775A (zh) * 2019-12-30 2020-06-30 深圳创新科技术有限公司 CloudStack集群子服务器状态判断方法、装置、设备及存储介质
CN111355775B (zh) * 2019-12-30 2022-11-18 深圳创新科技术有限公司 CloudStack集群子服务器状态判断方法、装置、设备及存储介质
CN111338902B (zh) * 2020-02-28 2024-04-12 上海商汤智能科技有限公司 数据处理方法、装置及系统
CN111338902A (zh) * 2020-02-28 2020-06-26 上海商汤智能科技有限公司 数据处理方法、装置及系统
CN111510338B (zh) * 2020-03-09 2022-04-26 苏州浪潮智能科技有限公司 一种分布式块存储网络亚健康测试方法、装置及存储介质
CN111510338A (zh) * 2020-03-09 2020-08-07 苏州浪潮智能科技有限公司 一种分布式块存储网络亚健康测试方法、装置及存储介质
CN111638855A (zh) * 2020-06-03 2020-09-08 山东汇贸电子口岸有限公司 一种物理裸机支持Ceph后端卷的方法
CN111813334B (zh) * 2020-06-04 2024-04-05 中国科学院上海微系统与信息技术研究所 一种Ceph的写性能优化和双控节点组合方法
CN111813334A (zh) * 2020-06-04 2020-10-23 中国科学院上海微系统与信息技术研究所 一种Ceph的写性能优化和双控节点组合方法
CN111949486B (zh) * 2020-08-14 2023-01-10 苏州浪潮智能科技有限公司 一种实时集群业务监控的实现方法、装置
CN111949486A (zh) * 2020-08-14 2020-11-17 苏州浪潮智能科技有限公司 一种实时集群业务监控的实现方法、装置
CN112069145A (zh) * 2020-08-31 2020-12-11 北京易捷思达科技发展有限公司 适于大规模部署云环境的日志收集系统和方法
CN114138209B (zh) * 2022-02-07 2022-04-22 苏州浪潮智能科技有限公司 一种部署osd的方法、装置及计算机可读存储介质
CN114138209A (zh) * 2022-02-07 2022-03-04 苏州浪潮智能科技有限公司 一种部署osd的方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108804038A (zh) 日志数据迁移的方法、装置、服务器和计算机可读介质
US11138103B1 (en) Resiliency groups
US9426218B2 (en) Virtual storage appliance gateway
US20210311819A1 (en) Cloud-based Providing of One or More Corrective Measures for a Storage System
US20180356989A1 (en) Portable snapshot replication between storage systems
JP6141189B2 (ja) ファイルシステムにおける透過的なフェイルオーバーの提供
CN106528327B (zh) 一种数据处理方法以及备份服务器
US10346248B2 (en) Failure resistant volume creation in a shared storage environment
US9477565B2 (en) Data access with tolerance of disk fault
US20170212707A1 (en) Techniques to manage non-disruptive san availability in a partitioned cluster
CN104461685B (zh) 虚拟机处理方法和虚拟计算机系统
US20200174671A1 (en) Bucket views
CN105052111B (zh) 跨群集边界的服务迁移
US20220236904A1 (en) Using data similarity to select segments for garbage collection
CN105095103B (zh) 用于云环境下的存储设备管理方法和装置
CN109284170B (zh) 一种局域网内usb共享系统及共享方法
CN105068758A (zh) 面向并行数据采集的分布式文件系统数据i/o优化方法
CN104023246A (zh) 一种视频数据私有云存储系统和视频数据私有云存储方法
CN103729237A (zh) 一种跨存储池迁移虚拟机的方法
CN104199926B (zh) 文件归档实现方法和装置以及文件访问方法和装置
CN104517067A (zh) 访问数据的方法、装置及系统
CN110147203A (zh) 一种文件管理方法、装置、电子设备及存储介质
CN104461779B (zh) 一种分布式数据的存储方法、装置及系统
CN105183588A (zh) 一种虚拟机的重建方法和装置
CN108897644A (zh) 一种双控制器故障处理方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113