CN116431386A - 一种数据处理方法、系统、设备以及存储介质 - Google Patents

一种数据处理方法、系统、设备以及存储介质 Download PDF

Info

Publication number
CN116431386A
CN116431386A CN202310390411.5A CN202310390411A CN116431386A CN 116431386 A CN116431386 A CN 116431386A CN 202310390411 A CN202310390411 A CN 202310390411A CN 116431386 A CN116431386 A CN 116431386A
Authority
CN
China
Prior art keywords
data service
data
slave
service
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310390411.5A
Other languages
English (en)
Inventor
赵培文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202310390411.5A priority Critical patent/CN116431386A/zh
Publication of CN116431386A publication Critical patent/CN116431386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法，包括以下步骤：创建多个目录；为每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径；将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。本发明还公开了一种系统、计算机设备以及可读存储介质。本发面提出的方案通过对存放重要数据的目录配置镜像功能，可以在保障重要数据安全性的同时提高存储空间的利用率，即使用较小的空间保证重要数据的安全性。

Description

一种数据处理方法、系统、设备以及存储介质
技术领域
本发明涉及存储领域，具体涉及一种数据处理方法、系统、设备以及存储介质。
背景技术
在分布式系统中，为了实现系统的高可用，在构架中都会进行故障处理的设计，它是分布式系统的重要组成部分。当有业务运行时，磁盘的损坏会影响业务的正常运行，更甚者会丢失重要数据，造成难以估量的损失。在硬件方向raid控制器可以实现磁盘的冗余，在损坏一块盘或两块盘时，不会丢失数据和中断业务，更换磁盘后可以通过数据重构来恢复损坏的数据。但是如果服务器上没有配置raid卡，数据冗余只能通过软件来实现。副本是基于存储池的冗余策略，在一些场景不够灵活，数据恢复时间较长。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据处理方法，包括以下步骤：
创建多个目录；
为每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径；
将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；
利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行写操作的请求，将待写入的数据写入到所述主数据服务对应的存储路径中；
利用所述主数据服务向所述从数据服务发送写数据请求，以将所述待写入的数据同步写入到所述从数据服务对应的存储路径中；
所述从数据服务记录数据同步完成时间并向所述主数据服务发送写入完成的应答。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行读操作的请求，从所述主数据服务对应的存储路径中读取对应的数据并返回。
在一些实施例中，利用所述主数据服务处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行删除操作的请求，将所述主数据服务对应的存储路径中对应的数据进行删除；
利用所述主数据服务向所述从数据服务发送数据删除请求，以将所述从数据服务对应的存储路径中对应的数据进行删除；
所述从数据服务记录数据删除完成时间并向所述主数据服务发送删除完成的应答。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：
响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求；
响应于检测到所述主数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；
根据在所述时间之后更新的数据更新所述主数据服务对应的存储路径中的数据。
在一些实施例中，响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求，进一步包括：
响应于检测到所述主数据服务异常，触发故障切换并将发送到所述主数据服务的请求暂存在消息分发器中；
响应于故障切换完成后，利用所述从数据服务处理所述消息分发器中的暂存的请求，以及接收并处理后续对所述目录的文件操作请求。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：
响应于检测到所述从数据服务异常，对所述从数据服务进行修复；
响应于检测到所述从数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；
根据在所述时间之后更新的数据更新所述从数据服务对应的存储路径中的数据。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据处理系统，包括：
创建模块，配置为创建多个目录；
部署模块，配置为对每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径，并将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；
处理模块，配置为利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种数据处理方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据处理方法的步骤。
本发明具有以下有益技术效果之一：本发面提出的方案通过对存放重要数据的目录配置镜像功能，可以在保障重要数据安全性的同时提高存储空间的利用率，即使用较小的空间保证重要数据的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的数据处理方法的流程示意图；
图2为本发明的实施例提供的数据处理系统的结构示意图；
图3为本发明的实施例提供的计算机设备的结构示意图；
图4为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
根据本发明的一个方面，本发明的实施例提出一种数据处理方法，如图1所示，其可以包括步骤：
S1，创建多个目录；
S2，为每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径，将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；
S3，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。
本发面提出的方案通过对存放重要数据的目录配置镜像功能，可以在保障重要数据安全性的同时提高存储空间的利用率，即使用较小的空间保证重要数据的安全性。
在一些实施例中，步骤S1中，为每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径，具体的，在3台及以上存储服务器部署分布式存储系统，创建一定数量的目录，用来存放业务运行过程中生成的数据，对存放重要数据的某些目录开启目录镜像组功能。开启目录镜像组功能时需要指定镜像组id和两个数据服务target id，同一个命令空间，为了区分不同的数据服务，使用不同的target id表示。根据集群的部署，每个数据服务有自己的存储路径，存储路径可以是一块硬盘(不限于NVME，SSD或者HDD)的挂载目录，也可以是一个raid组的挂载目录，像有多块相同类型的硬盘组成的raid5或者raid6。两个数据服务需要分布在同一命名空间两个不同节点上，这样可以保证数据的冗余。组成镜像组的两个数据服务之间采用主备模式，选择其中一个指定为primary，另一个指定为secondary。镜像组目录的数据在每个数据服务的存储路径上都保存一份，即使其中一个数据服务所在的节点故障或者硬盘损坏，业务应用仍然可以通过另外的数据服务读写镜像组目录的数据，保证数据不丢失，业务不中断。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行写操作的请求，将待写入的数据写入到所述主数据服务对应的存储路径中；
利用所述主数据服务向所述从数据服务发送写数据请求，以将所述待写入的数据同步写入到所述从数据服务对应的存储路径中；
所述从数据服务记录数据同步完成时间并向所述主数据服务发送写入完成的应答。
具体的，业务应用在存储客户端发送写请求操作目录下的文件时，存储系统元数据服务接收客户端的请求，返回文件的元数据信息，包括文件数据块存储在哪个primary数据服务的存储路径上。然后客户端发送写请求给primary数据服务，将数据存到对应的存储路径，数据写入之后，primary数据服务给secondary数据服务发送写数据请求，将写入的数据同步到secondary数据服务对应的存储路径，写入成功之后，记录数据同步完成时间，然后给primary数据服务发送写入完成的应答。primary数据服务收到secondary数据服务的应答之后，给客户端发送写请求的应答。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行读操作的请求，从所述主数据服务对应的存储路径中读取对应的数据并返回。
具体的，业务应用在存储客户端发送读取镜像目录下的文件时，存储系统元数据服务接收客户端的查询请求，返回给客户端文件的数据块存储在哪个primary数据服务的存储路径上。然后客户端发送读请求给primary数据服务，从primary数据服务的存储路径读取数据，将读到的数据发送给客户端。
在一些实施例中，利用所述主数据服务处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行删除操作的请求，将所述主数据服务对应的存储路径中对应的数据进行删除；
利用所述主数据服务向所述从数据服务发送数据删除请求，以将所述从数据服务对应的存储路径中对应的数据进行删除；
所述从数据服务记录数据删除完成时间并向所述主数据服务发送删除完成的应答。
具体的，业务应用在客户端删除镜像组目录中的文件时，删除的请求发送到对应的primary数据服务，primary数据服务从硬盘上删除数据，然后将删除的请求发送给secondary数据服务，secondary数据服务接收到请求后，开始从硬盘上删除数据。删除成功后应答primary数据服务，primary数据服务收到应答后回复客户端的请求，保证镜像组数据的强一致性。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：
响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求；
响应于检测到所述主数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；
根据在所述时间之后更新的数据更新所述主数据服务对应的存储路径中的数据。
在一些实施例中，响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求，进一步包括：
响应于检测到所述主数据服务异常，触发故障切换并将发送到所述主数据服务的请求暂存在消息分发器中；
响应于故障切换完成后，利用所述从数据服务处理所述消息分发器中的暂存的请求，以及接收并处理后续对所述目录的文件操作请求。
在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：
响应于检测到所述从数据服务异常，对所述从数据服务进行修复；
响应于检测到所述从数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；
根据在所述时间之后更新的数据更新所述从数据服务对应的存储路径中的数据。
具体的，当primary数据服务所在的节点出现故障时，管理服务超过2分钟未收到primary数据服务的心跳后，将primary数据服务标记为离线状态。检查secondary数据服务状态正常，并且是在线状态，管理服务触发故障切换，secondary成为primary数据服务，primary成为secondary数据服务。此时的primary数据服务继续响应客户端的读写请求，从数据存储路径即硬盘读取或者写入数据，返回客户端。节点恢复后，secondary数据服务重新启动后向管理服务发送心跳，管理服务接收到心跳数据之后，将secondary数据服务状态标记为在线状态。Secondary数据服务读取最后一次与primary数据服务做数据同步的时间，然后像primary数据服务发送数据同步的请求。Primary数据服务收到数据同步的请求后，查找最近一次数据同步的时间之后更新的数据，然后将发生改变的数据发送给secondary数据服务，secondary数据服务更新存储路径的数据，保证镜像组数据的一致性。
Secondary数据服务所在的节点出现故障时，管理服务超过两分钟未收到心跳数据，将其标记为离线状态，因为primary数据服务接收客户端的请求，所以业务不受影响。节点和硬盘修复后，启动Secondary数据服务，管理服务收到数据服务心跳后将其标记为在线状态。与上一步实现方式一样，Secondary数据服务读取最后一次与primary数据服务做数据同步的时间，然后像primary数据服务发送数据同步的请求。Primary数据服务收到数据同步的请求后，查找最近一次数据同步的时间之后更新的数据，然后将发生改变的数据发送给secondary数据服务，secondary数据服务更新存储路径的数据，更新完成后发送完成请求给管理服务，管理服务将其标记为数据同步完成状态。
如果primary数据服务检查存储路径使用的硬盘损坏时，即写数据到硬盘返回IO错误，primary数据服务主动给管理服务发送故障切换请求，管理服务接收到请求后，检查对应的secondary数据服务状态是否正常。若正常状态，管理服务触发故障切换，将primary数据服务标记为secondary，secondary数据服务标记为primary，在故障切换过程中，客户端发送给primary的请求暂存在消息分发器中，故障切换完成后，消息发送到新的primary数据服务。管理服务收到新primary数据服务的心跳之后，将其标记为在线状态，此时的secondary数据服务因为硬盘的故障被标记为需要同步的状态。更换硬盘后，重新挂载存储路径，secondary数据服务检查最近一次数据同步时间，向primary数据服务发送数据同步请求，数据同步完成后，管理服务将secondary数据服务标记为数据同步完成状态。之后primary数据服务每次更新的数据都会同步到secondary，两者数据一致。
secondary数据服务检查到读写硬盘返回错误时，主动上报给管理服务，管理服务将其标记为需要数据同步状态。在更换完硬盘后，secondary检查硬盘可以正常读写之后，向primary数据服务发送数据同步请求，primary数据服务将最近一次同步时间之后更新的数据发送secondary数据服务。数据同步结束之后，secondary数据服务给管理服务发送数据同步完成的请求，管理服务将其标记为同步完成状态。
本发明提出的方案在分布式存储系统中选择一些目录，开启目录镜像功能，指定镜像id和primary和secondary数据服务，两个数据服务分布在不同的数据节点，使用主备模式。数据服务有各自独立的存储路径，可以是一块硬盘或一个raid组。这样当客户端写入目录下的文件时，数据块先存到标记primary数据服务的存储路径，然后将数据同步到secondary数据服务的存储路径，记录同步时间，同步完成后secondary数据服务回复primary数据服务同步完成，primary数据服务应答客户端的请求。客户端读取目录下的数据时，从primary数据服务的存储路径读取数据返回给客户端。当primary数据服务所在的节点出现故障时，集群中管理服务通过心跳机制检测到primary数据服务通讯异常，将primary数据服务标记为离线状态，触发故障切换，secondary数据服务变成primary，secondary数据服务变成primary，新primary数据服务，响应客户端IO请求，节点恢复之后，secondary数据服务从primary数据服务同步最近一次时间以后更新数据，同步完成后，管理服务将其标记为同步完成状态。
因此，本发明对关键数据所在的目录设置镜像，当出现节点宕机和硬盘损坏时，业务不中断，减少数据丢失的风险。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据处理系统400，如图2所示，包括：
创建模块401，配置为创建多个目录；
部署模块402，配置为对每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径，并将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；
处理模块403，配置为利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。
基于同一发明构思，根据本发明的另一个方面，如图3所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种数据处理方法的步骤。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序610，计算机程序610被处理器执行时执行如上的任一种数据处理方法的步骤。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：
创建多个目录；
为每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径，并将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；
利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。
2.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行写操作的请求，将待写入的数据写入到所述主数据服务对应的存储路径中；
利用所述主数据服务向所述从数据服务发送写数据请求，以将所述待写入的数据同步写入到所述从数据服务对应的存储路径中；
所述从数据服务记录数据同步完成时间并向所述主数据服务发送写入完成的应答。
3.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行读操作的请求，从所述主数据服务对应的存储路径中读取对应的数据并返回。
4.如权利要求1所述的方法，其特征在于，利用所述主数据服务处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：
响应于所述主数据服务接收到对所述目录中的文件进行删除操作的请求，将所述主数据服务对应的存储路径中对应的数据进行删除；
利用所述主数据服务向所述从数据服务发送数据删除请求，以将所述从数据服务对应的存储路径中对应的数据进行删除；
所述从数据服务记录数据删除完成时间并向所述主数据服务发送删除完成的应答。
5.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：
响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求；
响应于检测到所述主数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；
根据在所述时间之后更新的数据更新所述主数据服务对应的存储路径中的数据。
6.如权利要求5所述的方法，其特征在于，响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求，进一步包括：
响应于检测到所述主数据服务异常，触发故障切换并将发送到所述主数据服务的请求暂存在消息分发器中；
响应于故障切换完成后，利用所述从数据服务处理所述消息分发器中的暂存的请求，以及接收并处理后续对所述目录的文件操作请求。
7.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：
响应于检测到所述从数据服务异常，对所述从数据服务进行修复；
响应于检测到所述从数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；
根据在所述时间之后更新的数据更新所述从数据服务对应的存储路径中的数据。
8.一种数据处理系统，其特征在于，包括：
创建模块，配置为创建多个目录；
部署模块，配置为对每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径，并将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；
处理模块，配置为利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。
9.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。
CN202310390411.5A 2023-04-07 2023-04-07 一种数据处理方法、系统、设备以及存储介质 Pending CN116431386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310390411.5A CN116431386A (zh) 2023-04-07 2023-04-07 一种数据处理方法、系统、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310390411.5A CN116431386A (zh) 2023-04-07 2023-04-07 一种数据处理方法、系统、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116431386A true CN116431386A (zh) 2023-07-14

Family

ID=87079314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310390411.5A Pending CN116431386A (zh) 2023-04-07 2023-04-07 一种数据处理方法、系统、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116431386A (zh)

Similar Documents

Publication Publication Date Title
JP4668763B2 (ja) ストレージ装置のリストア方法及びストレージ装置
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US7827367B2 (en) Backup control method for acquiring plurality of backups in one or more secondary storage systems
CN107870829B (zh) 一种分布式数据恢复方法、服务器、相关设备及系统
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
WO2021136422A1 (zh) 状态管理方法、主备应用服务器的切换方法及电子设备
JP2005196683A (ja) 情報処理システム、情報処理装置、及び情報処理システムの制御方法
JP2013501293A (ja) 遠隔データミラーリングシステムにおけるデータギャップ管理
WO2017014814A1 (en) Replicating memory volumes
US9558084B2 (en) Recovery control in mirrored disks
US10078558B2 (en) Database system control method and database system
CN117763046A (zh) 集群间数据同步的方法、装置、设备及存储介质
CN112131046B (zh) 一种数据缓存方法、系统、设备以及介质
US20230004465A1 (en) Distributed database system and data disaster backup drilling method
WO2018076696A1 (zh) 一种数据同步方法及带外管理设备
CN116431386A (zh) 一种数据处理方法、系统、设备以及存储介质
JP6251965B2 (ja) 情報システムおよびデータベース復旧方法
CN115955488A (zh) 基于副本冗余的分布式存储副本跨机房放置方法与装置
CN116389233A (zh) 容器云管理平台主备切换系统、方法、装置和计算机设备
JP2009265973A (ja) データ同期システム、障害復旧方法、及び、プログラム
CN113297134B (zh) 数据处理系统及数据处理方法、装置、电子设备
US20210240351A1 (en) Remote copy system and remote copy management method
JP2008276281A (ja) データ同期システム、方法、及び、プログラム
JP2004272318A (ja) 系切り替えシステムおよびその処理方法並びにその処理プログラム
CN107402850B (zh) 一种数据库数据文件的冗余方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination