CN108897822A - 一种数据更新方法、装置、设备及可读存储介质 - Google Patents

一种数据更新方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN108897822A
CN108897822A CN201810644179.2A CN201810644179A CN108897822A CN 108897822 A CN108897822 A CN 108897822A CN 201810644179 A CN201810644179 A CN 201810644179A CN 108897822 A CN108897822 A CN 108897822A
Authority
CN
China
Prior art keywords
data
metadata
target
updated
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810644179.2A
Other languages
English (en)
Inventor
牛勇刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810644179.2A priority Critical patent/CN108897822A/zh
Publication of CN108897822A publication Critical patent/CN108897822A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据更新方法，包括：接收客户端发送的目标数据的更新请求，更新请求包括：增、删、改请求中的任意一种或组合；根据更新请求对目标数据和目标数据的目标元数据进行并行更新；将更新后的目标数据和目标元数据同时存储至目标磁盘。该方法将更新请求涉及的数据和元数据同时进行更新，并将更新后的数据和元数据同时存储至目标磁盘，可使数据与元数据保持同步更新；同时，若在数据写入后系统发生崩溃，由于数据与元数据均已写入磁盘，故数据不会丢失，从而可保证数据与元数据的一致性，同时也提高了数据的更新效率和系统的服务性能。相应地，本发明公开的一种数据更新装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据更新方法、装置、设备及可读存储介质
技术领域
本发明涉及数据存储技术领域，更具体地说，涉及一种数据更新方法、装置、设备及可读存储介质。
背景技术
目前，基于日志系统维持数据和元数据同步更新的方案包括两种：
其一，在数据更新时，先将数据写入磁盘，而后将该数据的元数据写入系统日志，之后再将日志中的元数据存储至磁盘。该方案的弊端在于：若系统在数据写入后突然崩溃，由于数据的元数据还未来得及写入，故数据的元数据未得到及时更新，从而使数据与元数据不能保持同步更新，如此便需要进行元数据恢复，额外增加了工作量，从而降低了工作效率。
其二：在数据更新时，将数据和元数据均记录在系统日志中，后期再将数据和元数据写入磁盘。该方案的弊端在于：数据和元数据均写入两次，一定程度上降低了系统性能；虽说元数据的数据量较小，但数据的数据量一般较为庞大，增加其写入次数不免会降低系统性能和数据更新效率。
因此，如何提高数据更新效率，并使数据与元数据保持同步更新，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种数据更新方法、装置、设备及可读存储介质，以提高数据更新效率，并使数据与元数据保持同步更新。
为实现上述目的，本发明实施例提供了如下技术方案：
一种数据更新方法，包括：
接收客户端发送的目标数据的更新请求，所述更新请求包括：增、删、改请求中的任意一种或组合；
根据所述更新请求对所述目标数据和所述目标数据的目标元数据进行并行更新；
将更新后的目标数据和目标元数据同时存储至目标磁盘。
其中，所述将更新后的目标数据和目标元数据同时存储至目标磁盘之后，还包括：
将所述更新后的目标元数据备份至存储日志，得到备份元数据。
其中，还包括：
当更新所述备份元数据时，判断所述备份元数据与所述更新后的目标元数据是否一致；
若否，则将所述备份元数据更新为所述更新后的目标元数据。
其中，所述判断所述备份元数据与所述更新后的目标元数据是否一致，包括：
判断所述备份元数据的时间标签与所述更新后的目标元数据的时间标签是否一致。
一种数据更新装置，包括：
接收模块，用于接收客户端发送的目标数据的更新请求，所述更新请求包括：增、删、改请求中的任意一种或组合；
更新模块，用于根据所述更新请求对所述目标数据和所述目标数据的目标元数据进行并行更新；
存储模块，用于将更新后的目标数据和目标元数据同时存储至目标磁盘。
其中，还包括：
备份模块，用于将所述更新后的目标元数据备份至存储日志，得到备份元数据。
其中，还包括：
判断模块，用于当更新所述备份元数据时，判断所述备份元数据与所述更新后的目标元数据是否一致；
执行模块，用于当所述备份元数据与所述更新后的目标元数据不一致时，将所述备份元数据更新为所述更新后的目标元数据。
其中，所述判断模块具体用于：
判断所述备份元数据的时间标签与所述更新后的目标元数据的时间标签是否一致。
一种数据更新设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意一项所述的数据更新方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据更新方法的步骤。
通过以上方案可知，本发明实施例提供的一种数据更新方法，包括：接收客户端发送的目标数据的更新请求，所述更新请求包括：增、删、改请求中的任意一种或组合；根据所述更新请求对所述目标数据和所述目标数据的目标元数据进行并行更新；将更新后的目标数据和目标元数据同时存储至目标磁盘。
可见，所述方法将更新请求涉及的数据和元数据同时进行更新，并将更新后的数据和元数据同时存储至目标磁盘，可使数据与元数据保持同步更新；同时，若在数据写入后系统发生崩溃，由于数据与元数据均已写入磁盘，故数据不会丢失，从而可保证数据与元数据的一致性，同时也提高了数据的更新效率和系统的服务性能。
相应地，本发明实施例提供的一种数据更新装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据更新方法流程图；
图2为本发明实施例公开的另一种数据更新方法流程图；
图3为本发明实施例公开的一种数据更新装置示意图；
图4为本发明实施例公开的一种数据更新设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种数据更新方法、装置、设备及可读存储介质，以提高数据更新效率，并使数据与元数据保持同步更新。
参见图1，本发明实施例提供的一种数据更新方法，包括：
S101、接收客户端发送的目标数据的更新请求，更新请求包括：增、删、改请求中的任意一种或组合；
具体的，当用户基于客户端对目标数据进行修改时，该修改包括：增加操作、删除操作和修改操作中的任意一种或组合，即客户端发送目标数据的更新请求。
S102、根据更新请求对目标数据和目标数据的目标元数据进行并行更新；
当存储系统接收到客户端发送的目标数据的更新请求时，立即对目标数据和目标元数据进行并行更新，即在更新目标数据的同时，也更新目标元数据，从而可保持目标数据和目标元数据的同步更新。其中，目标元数据的数据量一般较小，其为目标数据的属性信息，包括：目标数据的大小、属组、操作权限等，其可以为目标数据的查询提供便利条件，也可简单明了的展示数据之间的关系。
S103、将更新后的目标数据和目标元数据同时存储至目标磁盘。
其中，由于目标元数据的数据量较小，故在更新目标数据的同时，并行更新目标元数据，并不会减慢系统性能，也可保证二者的更新同步完成。将更新后的目标数据和目标元数据同时存储至目标磁盘，不仅提高了数据的更新存储效率，还保证了数据和元数据的一致性。
可见，本实施例提供了一种数据更新方法，所述方法将更新请求涉及的数据和元数据同时进行更新，并将更新后的数据和元数据同时存储至目标磁盘，可使数据与元数据保持同步更新；同时，若在数据写入后系统发生崩溃，由于数据与元数据均已写入磁盘，故数据不会丢失，从而可保证数据与元数据的一致性，同时也提高了数据的更新效率和系统的服务性能。
本发明实施例公开了另一种数据更新方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。
参见图2，本发明实施例提供的另一种数据更新方法，包括：
S201、接收客户端发送的目标数据的更新请求，更新请求包括：增、删、改请求中的任意一种或组合；
S202、根据更新请求对目标数据和目标数据的目标元数据进行并行更新；
S203、将更新后的目标数据和目标元数据同时存储至目标磁盘；
S204、将更新后的目标元数据备份至存储日志，得到备份元数据。
在本实施例中，在将更新后的目标数据和目标元数据同时存储至目标磁盘之后，还包括：
将更新后的目标元数据备份至存储日志，得到备份元数据，以使存储日志中记录目标元数据的更新信息，以便技术人员查看和检修数据库。
可见，本实施例提供了另一种数据更新方法，所述方法将更新请求涉及的数据和元数据同时进行更新，并将更新后的数据和元数据同时存储至目标磁盘，可使数据与元数据保持同步更新；同时，若在数据写入后系统发生崩溃，由于数据与元数据均已写入磁盘，故数据不会丢失，从而可保证数据与元数据的一致性，同时也提高了数据的更新效率和系统的服务性能。
基于上述任意实施例，需要说明的是，还包括：
当更新所述备份元数据时，判断所述备份元数据与所述更新后的目标元数据是否一致；
若否，则将所述备份元数据更新为所述更新后的目标元数据。
其中，所述判断所述备份元数据与所述更新后的目标元数据是否一致，包括：
判断所述备份元数据的时间标签与所述更新后的目标元数据的时间标签是否一致。
具体的，由于数据在更新时，首先将更新后的元数据存储至目标磁盘，进而再将更新后的元数据备份至存储日志，故存储日志中的备份元数据的时间标签晚于目标磁盘中的元数据的时间标签。所以，当备份元数据的时间标签与更新后的目标元数据的时间标签不一致，则表明备份元数据未得到及时更新，此时可以直接将所述备份元数据更新为所述更新后的目标元数据，以使目标元数据保持最新更新状态，与目标数据保持一致性。
其中，所述时间标签可通过时间戳队列的形式依次记录，以表明数据更新的先后顺序。
基于上述任意实施例，需要说明的是，本申请公开的数据更新适用于任何存储系统，包括分布式存储系统。
下面对本发明实施例提供的一种数据更新装置进行介绍，下文描述的一种数据更新装置与上文描述的一种数据更新方法可以相互参照。
参见图3，本发明实施例提供的一种数据更新装置，包括：
接收模块301，用于接收客户端发送的目标数据的更新请求，所述更新请求包括：增、删、改请求中的任意一种或组合；
更新模块302，用于根据所述更新请求对所述目标数据和所述目标数据的目标元数据进行并行更新；
存储模块303，用于将更新后的目标数据和目标元数据同时存储至目标磁盘。
其中，还包括：
备份模块，用于将所述更新后的目标元数据备份至存储日志，得到备份元数据。
其中，还包括：
判断模块，用于当更新所述备份元数据时，判断所述备份元数据与所述更新后的目标元数据是否一致；
执行模块，用于当所述备份元数据与所述更新后的目标元数据不一致时，将所述备份元数据更新为所述更新后的目标元数据。
其中，所述判断模块具体用于：
判断所述备份元数据的时间标签与所述更新后的目标元数据的时间标签是否一致。
下面对本发明实施例提供的一种数据更新设备进行介绍，下文描述的一种数据更新设备与上文描述的一种数据更新方法及装置可以相互参照。
参见图4，本发明实施例提供的一种数据更新设备，包括：
存储器401，用于存储计算机程序；
处理器402，用于执行所述计算机程序时实现上述任意实施例所述的数据更新方法的步骤。
下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据更新方法、装置及设备可以相互参照。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据更新方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据更新方法，其特征在于，包括：
接收客户端发送的目标数据的更新请求，所述更新请求包括：增、删、改请求中的任意一种或组合；
根据所述更新请求对所述目标数据和所述目标数据的目标元数据进行并行更新；
将更新后的目标数据和目标元数据同时存储至目标磁盘。
2.根据权利要求1所述的数据更新方法，其特征在于，所述将更新后的目标数据和目标元数据同时存储至目标磁盘之后，还包括：
将所述更新后的目标元数据备份至存储日志，得到备份元数据。
3.根据权利要求2所述的数据更新方法，其特征在于，还包括：
当更新所述备份元数据时，判断所述备份元数据与所述更新后的目标元数据是否一致；
若否，则将所述备份元数据更新为所述更新后的目标元数据。
4.根据权利要求3所述的数据更新方法，其特征在于，所述判断所述备份元数据与所述更新后的目标元数据是否一致，包括：
判断所述备份元数据的时间标签与所述更新后的目标元数据的时间标签是否一致。
5.一种数据更新装置，其特征在于，包括：
接收模块，用于接收客户端发送的目标数据的更新请求，所述更新请求包括：增、删、改请求中的任意一种或组合；
更新模块，用于根据所述更新请求对所述目标数据和所述目标数据的目标元数据进行并行更新；
存储模块，用于将更新后的目标数据和目标元数据同时存储至目标磁盘。
6.根据权利要求5所述的数据更新装置，其特征在于，还包括：
备份模块，用于将所述更新后的目标元数据备份至存储日志，得到备份元数据。
7.根据权利要求6所述的数据更新装置，其特征在于，还包括：
判断模块，用于当更新所述备份元数据时，判断所述备份元数据与所述更新后的目标元数据是否一致；
执行模块，用于当所述备份元数据与所述更新后的目标元数据不一致时，将所述备份元数据更新为所述更新后的目标元数据。
8.根据权利要求7所述的数据更新装置，其特征在于，所述判断模块具体用于：
判断所述备份元数据的时间标签与所述更新后的目标元数据的时间标签是否一致。
9.一种数据更新设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-4任意一项所述的数据更新方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4任意一项所述的数据更新方法的步骤。
CN201810644179.2A 2018-06-21 2018-06-21 一种数据更新方法、装置、设备及可读存储介质 Pending CN108897822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810644179.2A CN108897822A (zh) 2018-06-21 2018-06-21 一种数据更新方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810644179.2A CN108897822A (zh) 2018-06-21 2018-06-21 一种数据更新方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN108897822A true CN108897822A (zh) 2018-11-27

Family

ID=64345421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810644179.2A Pending CN108897822A (zh) 2018-06-21 2018-06-21 一种数据更新方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN108897822A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158603A (zh) * 2019-12-30 2020-05-15 北京浪潮数据技术有限公司 一种数据迁移方法、系统、电子设备及存储介质
WO2020119709A1 (zh) * 2018-12-11 2020-06-18 中兴通讯股份有限公司 数据合并的实现方法、装置、系统及存储介质
WO2021129151A1 (zh) * 2019-12-28 2021-07-01 华为技术有限公司 文件备份方法、装置及终端设备
CN113392152A (zh) * 2020-03-11 2021-09-14 伊姆西Ip控股有限责任公司 用于更新信息的方法、电子设备和计算机程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404411A (zh) * 2011-12-23 2012-04-04 创新科存储技术有限公司 云存储系统的数据同步方法
CN102567442A (zh) * 2011-10-25 2012-07-11 曙光信息产业(北京)有限公司 一种分布式文件系统中元数据磁盘同步的方法
CN102819570A (zh) * 2012-07-19 2012-12-12 华为技术有限公司 一种数据访问方法、装置及系统
CN103095687A (zh) * 2012-12-19 2013-05-08 华为技术有限公司 元数据处理方法及装置
CN103209091A (zh) * 2013-01-18 2013-07-17 中兴通讯股份有限公司 集群系统的热备份方法及系统
US9792298B1 (en) * 2010-05-03 2017-10-17 Panzura, Inc. Managing metadata and data storage for a cloud controller in a distributed filesystem
WO2018077092A1 (zh) * 2016-10-31 2018-05-03 中兴通讯股份有限公司 应用于分布式文件系统的存盘方法、装置及分布式文件系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792298B1 (en) * 2010-05-03 2017-10-17 Panzura, Inc. Managing metadata and data storage for a cloud controller in a distributed filesystem
CN102567442A (zh) * 2011-10-25 2012-07-11 曙光信息产业(北京)有限公司 一种分布式文件系统中元数据磁盘同步的方法
CN102404411A (zh) * 2011-12-23 2012-04-04 创新科存储技术有限公司 云存储系统的数据同步方法
CN102819570A (zh) * 2012-07-19 2012-12-12 华为技术有限公司 一种数据访问方法、装置及系统
CN103095687A (zh) * 2012-12-19 2013-05-08 华为技术有限公司 元数据处理方法及装置
CN103209091A (zh) * 2013-01-18 2013-07-17 中兴通讯股份有限公司 集群系统的热备份方法及系统
WO2018077092A1 (zh) * 2016-10-31 2018-05-03 中兴通讯股份有限公司 应用于分布式文件系统的存盘方法、装置及分布式文件系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119709A1 (zh) * 2018-12-11 2020-06-18 中兴通讯股份有限公司 数据合并的实现方法、装置、系统及存储介质
CN111309799A (zh) * 2018-12-11 2020-06-19 中兴通讯股份有限公司 数据合并的实现方法、装置、系统及存储介质
WO2021129151A1 (zh) * 2019-12-28 2021-07-01 华为技术有限公司 文件备份方法、装置及终端设备
CN111158603A (zh) * 2019-12-30 2020-05-15 北京浪潮数据技术有限公司 一种数据迁移方法、系统、电子设备及存储介质
CN113392152A (zh) * 2020-03-11 2021-09-14 伊姆西Ip控股有限责任公司 用于更新信息的方法、电子设备和计算机程序产品

Similar Documents

Publication Publication Date Title
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
US10275177B2 (en) Data layout schemas for seamless data migration
US20200012568A1 (en) Scalable log-based continuous data protection for distributed databases
CN105210062B (zh) 用于分布式数据库系统的系统范围检查点避免
US20200117569A1 (en) Graphical user interface for visual correlation of virtual machine information and storage volume information
CN105190622B (zh) 用于分布式数据库系统的快速崩溃恢复
CN105190533B (zh) 原位快照
US10831387B1 (en) Snapshot reservations in a distributed storage system
CN105468473B (zh) 数据迁移方法及数据迁移装置
US20060047926A1 (en) Managing multiple snapshot copies of data
CN102073739A (zh) 带有快照功能的分布式文件系统中的数据读与数据写方法
CN102272751B (zh) 在数据库环境通过背景同步的数据完整性
US20140181455A1 (en) Category based space allocation for multiple storage devices
CN102594849A (zh) 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置
US9135262B2 (en) Systems and methods for parallel batch processing of write transactions
US10885023B1 (en) Asynchronous processing for synchronous requests in a database
CN109598156A (zh) 一种写时重定向引擎快照流方法
CN108897822A (zh) 一种数据更新方法、装置、设备及可读存储介质
WO2022095366A1 (zh) 基于Redis的数据读取方法、装置、设备及可读存储介质
US20240061712A1 (en) Method, apparatus, and system for creating training task on ai training platform, and medium
US20170351620A1 (en) Caching Framework for Big-Data Engines in the Cloud
CN106095957A (zh) 分布式文件系统的跨域多副本文件同步方法及装置
CN103412929A (zh) 一种海量数据的存储方法
CN102982182A (zh) 一种数据存储规划方法及装置
CN109271367A (zh) 分布式文件系统多节点快照回滚方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127

RJ01 Rejection of invention patent application after publication