CN107547648A - 一种内部数据复制方法及装置 - Google Patents
一种内部数据复制方法及装置 Download PDFInfo
- Publication number
- CN107547648A CN107547648A CN201710770856.0A CN201710770856A CN107547648A CN 107547648 A CN107547648 A CN 107547648A CN 201710770856 A CN201710770856 A CN 201710770856A CN 107547648 A CN107547648 A CN 107547648A
- Authority
- CN
- China
- Prior art keywords
- metadata
- internal data
- data
- initial
- internal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种内部数据复制方法,包括步骤:接收上层应用发起的复制内部数据的请求;获取所述内部数据的初始元数据;复制所述初始元数据,得到副本元数据;修改所述副本元数据中的初始路径信息为目的路径信息;保存修改后的所述副本元数据,完成对内部数据的复制。经过本发明提供的方法,内部数据就具有了多个元数据,也就是说有多个路径信息与同一内部数据相对应,从多个路径都可以访问该内部数据,达到了复制该内部数据的效果。由于元数据的数据量一般比内存数据要小得多,因此本发明提供的方法减少了对网络资源和内存的占用,节省了复制时间。本发明还提供了一种内部数据复制装置,其作用与上述方法相对应。
Description
技术领域
本发明涉及计算机领域,特别是涉及一种内部数据复制方法及装置。
背景技术
随着信息时代的发展,信息剧增,信息是由数据经过处理得到的。在计算机系统中,数据是指对各种字母、数字符号、语音、图形、图像等的统称。为了更好的表现信息,往往需要对数据进行处理,而在对数据进行处理的过程中,经常要对数据进行复制,所谓数据复制是指创建一份完整的数据副本,然后将数据副本存放到存储硬件中另一个物理位置的过程。
近年来,随着行业发展,一种新的数据管理方式—软件定义存储SDS开始出现,这种数据管理方式是从存储硬件中抽象出来的,它的原理是将所有与存储相关的管理工作都放在相对于存储硬件的外部软件中进行,软件定义存储可以实现对物理存储硬件的灵活管理。
现有技术中,如果需要对软件定义存储的内部数据,即存在于存储硬件的数据,进行复制,需要先将内部数据写入运行内存,再由运行内存将内部数据写入存储硬件。但是,这种复制方式由于需要运行内存读入全部的内部数据,并将全部内存数据写入存储硬件,占用了大量网络资源和运行内存,复制时间比较长。除此之外,经过这种复制方式,存储硬件上会存在两份内容完全相同的数据,占用了较多存储硬件的内存。
发明内容
本发明的目的是提供一种内部数据复制方法及装置,用以解决复制占用较多网络资源和内存且复制时间较长的问题。
为解决上述技术问题,本发明提供一种内部数据复制方法,包括步骤:
接收上层应用发起的复制内部数据的请求;
获取所述内部数据的初始元数据;
复制所述初始元数据,得到副本元数据;
修改所述副本元数据中的初始路径信息为目的路径信息;
保存修改后的所述副本元数据,完成对内部数据的复制。
其中,在所述保存修改后的所述副本元数据之后进一步包括:所述修改后的副本元数据覆盖所述初始元数据。
其中,所述保存修改后的所述副本元数据包括:保存修改后的所述副本原数据到数据库。
其中,所述内部数据为SDS内部数据。
本发明还提供了一种内部数据复制装置,包括:
接收模块:用于接收上层应用发起的复制内部数据的请求;
获取模块:用于获取所述内部数据的初始元数据;
复制模块:用于复制所述初始元数据,得到副本元数据;
修改模块:用于修改所述副本元数据中的初始路径信息为目的路径信息;
保存模块:用于保存修改后的所述副本元数据,完成对内部数据的复制。
其中,所述装置进一步包括:
覆盖装置:用于用所述修改后的副本元数据覆盖所述初始元数据。
其中,所述保存模块用于保存修改后的所述副本元数据到数据库。
其中,所述内部数据为SDS内部数据。
本发明所提供的内部数据复制方法,在复制内部数据时,先获取所述内部数据的初始元数据,所述初始元数据包含所述内部数据的路径信息,然后复制所述初始元数据,得到副本元数据,再修改所述副本元数据中的初始路径信息为目的路径信息,最后将修改后的所述副本元数据保存。修改之后内部数据就具有了多个元数据,也就是说有多个路径信息与同一内部数据相对应,从多个路径都可以访问该内部数据,达到了复制该内部数据的效果。
与现有技术相比,本发明提供的复制方法在复制过程中并没有直接对内部数据进行操作,而是获取内部数据对应的元数据,进而将元数据中的初始路径信息修改为目的路径信息。一般来讲,相对于内部数据的存储容量,元数据的存储容量要小得多。本发明提供的复制方法处理的是一个存储容量较小的元数据,显然,在复制过程中,元数据占用的内存和网络资源要比内部数据占用的内存和网络资源要少得多。而且,由于元数据数据量较小,复制元数据花费的时间很少,路径信息的数据量也非常小,所以修改路径信息花费的时间也非常少。综上,显然本发明提供的复制方法大大减少了对内存和网络资源的占用,节省了复制时间。
本发明还提供了了一种内部数据复制装置,其作用与上述方法相对应,在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的实施方式一的流程图;
图2为本发明提供的实施方式二的流程图;
图3为本发明提供的一种装置结构框图。
具体实施方式
本发明的核心是提供一种内部数据复制方法及装置,减少对内存和网络资源的占用,节省复制时间。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本发明,实施例一公开的内部数据的复制方法进行介绍,参见图1,该方法包括步骤:
步骤S11:接收上层应用发起的复制内部数据的请求。
本实施例中上层应用可以是任意发起复制内存数据请求的应用,内部数据可以是SDS内部数据。
步骤S12:获取所述内部数据的初始元数据。
本实施例中元数据是指用来描述一些数据属性的数据,例如描述内部数据的数据类型、存储路径等。其中,初始元数据是指内部数据在被复制之前就对应的元数据。
步骤S13:复制所述初始元数据,得到副本元数据。
副本元数据是指与初始元数据一模一样的元数据,本实施例对得到副本元数据的个数不做限定,只要不小于一个即可。
步骤S14:修改所述副本元数据中的初始路径信息为目的路径信息。
本实施例中初始路径信息是指元数据中内部数据的初始路径,而目的路径信息内部数据需要复制到的目的路径。例如内部数据原来在/dir/A下,需要将其复制到/dir/B下,那么就将内部数据的初始路径/dir/A修改成目的路径/dir/B。
本实施例中修改的副本元数据的个数只要大于一个即可,不一定非要修改全部副本元数据。
步骤S15:保存修改后的所述副本元数据,完成对内部数据的复制。
可以将副本元数据保存到数据库。在保存修改后的副本元数据之后,内部数据就对应多个元数据,也就是说,内部数据对应多个路径信息,多个路径信息中包含目的路径信息。当要访问内部数据时,有元数据请求,不仅仅要遍历初始元数据,还要遍历数据库里的元数据,如果访问的是被复制的内部数据,则直接访问内部数据,达到了复制内部数据到目的路径的目的。
本实施例提供的复制方法在复制过程中先获取内部数据对应的元数据,进而将元数据中的初始路径信息修改为目的路径信息。一般来讲,相对于内部数据的存储容量,元数据的存储容量要小得多。因此,与现有技术相比,本发明提供的复制方法在复制过程中,元数据占用的内存和网络资源要比内部数据占用的内存和网络资源要少得多。而且,由于元数据数据量较小,复制元数据花费的时间很少,路径信息的数据量也非常小,所以修改路径信息花费的时间也非常少。综上,显然本发明提供的复制方法大大减少了对内存和网络资源的占用,节省了复制时间。
实施例一介绍了一种复制内部数据的方法,我们自然会想到用类似的方法能否实现剪切内部数据的功能。下面据此介绍实施例二,参见图2,实施例二具体包括:
步骤S21:接收上层应用发起的复制SDS内部数据的请求。
本方法实现的前提是SDS搭建成功,在关键节点布置好数据库软件。
步骤S22:获取所述内部数据对应的初始元数据。
步骤S23:复制所述初始元数据,得到一个副本元数据。
步骤S24:修改所述副本元数据中初始路径信息为目的路径信息。
步骤S25:保存所述修改后的过副本元数据到数据库。
步骤S26:用所述修改后的副本元数据覆盖所述初始元数据,完成剪切内部数据。
步骤S21到步骤S25与实施例一中的步骤S11到步骤S15实现过程可以相互参照,这里不再赘述。
与实施例一不同的是,实施例二提供的方法在保存修改后的副本元数据之后,还增加了一步,用所述修改后的副本元数据覆盖掉初始元数据。这样一来,内部数据对应的初始元数据不再存在,也就是说,从初始路径不再能访问内部数据,与之相对应的,从目的路径可以访问内部数据,实现了剪切内部数据的功能。
下面介绍本发明提供的一种内部数据复制装置,参见图3,实施例三提供的装置具体包括:
接收模块11:用于接收上层应用发起的复制内部数据的请求。
获取模块12:用于获取所述内部数据对应的初始元数据。
复制模块13:用于复制所述初始元数据,得到副本元数据。
修改模块14:用于将所述副本元数据中初始路径信息修改为目的路径信息。
保存模块15:用于保存所述修改后的副本元数据。
除此之外,上述装置还可以进一步包括:
覆盖模块16:用于用所述修改后的副本元数据覆盖初始元数据。
本实施例提供的内部数据复制装置用于实现前述内部数据复制方法,因此该装置的具体实施方式可见前述两个实施例部分。例如,接收模块11,获取模块12,复制模块13,修改模块14和存模块15分别用于实现实施例一中步骤S11,步骤S12,步骤S13,步骤S14和步骤S15,在此不再赘述。
本发明提供的实施例三的作用与前述两个实施例的作用相对应,在此不在赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的内部数据复制方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种内部数据复制方法,其特征在于,包括步骤:
接收上层应用发起的复制内部数据的请求;
获取所述内部数据的初始元数据;
复制所述初始元数据,得到副本元数据;
修改所述副本元数据中的初始路径信息为目的路径信息;
保存修改后的所述副本元数据,完成对内部数据的复制。
2.如权利要求1所述的方法,其特征在于,在所述保存修改后的所述副本元数据之后进一步包括:所述修改后的副本元数据覆盖所述初始元数据。
3.如权利要求1所述的方法,其特征在于,所述保存修改后的所述副本元数据包括:保存修改后的所述副本原数据到数据库。
4.如权利要求1-3任意一项所述的方法,其特征在于,所述内部数据为SDS内部数据。
5.一种内部数据复制装置,其特征在于,包括:
接收模块:用于接收上层应用发起的复制内部数据的请求;
获取模块:用于获取所述内部数据的初始元数据;
复制模块:用于复制所述初始元数据,得到副本元数据;
修改模块:用于修改所述副本元数据中的初始路径信息为目的路径信息;
保存模块:用于保存修改后的所述副本元数据,完成对内部数据的复制。
6.如权利要求5所述的装置,其特征在于,所述装置进一步包括:
覆盖装置:用于用所述修改后的副本元数据覆盖所述初始元数据。
7.如权利要求5所述的装置,其特征在于,所述保存模块用于保存修改后的所述副本元数据到数据库。
8.如权利要求5-7任意一项所述的装置,其特征在于,所述内部数据为SDS内部数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710770856.0A CN107547648A (zh) | 2017-08-31 | 2017-08-31 | 一种内部数据复制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710770856.0A CN107547648A (zh) | 2017-08-31 | 2017-08-31 | 一种内部数据复制方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107547648A true CN107547648A (zh) | 2018-01-05 |
Family
ID=60959134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710770856.0A Pending CN107547648A (zh) | 2017-08-31 | 2017-08-31 | 一种内部数据复制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107547648A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021142768A1 (zh) * | 2020-01-17 | 2021-07-22 | 华为技术有限公司 | 一种文件系统的克隆方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789027A (zh) * | 2010-03-15 | 2010-07-28 | 江苏大学 | 一种基于dbms的元数据管理方法和元数据服务器 |
CN102024022A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件系统复制元数据的方法 |
CN104641650A (zh) * | 2012-07-16 | 2015-05-20 | 康佩伦特科技公司 | 在数据存储子系统中的源引用复制 |
CN104951475A (zh) * | 2014-03-31 | 2015-09-30 | 中国电信股份有限公司 | 分布式文件系统和实现方法 |
EP3147789A1 (en) * | 2015-02-13 | 2017-03-29 | Huawei Technologies Co., Ltd. | Method for re-establishing standby database, and apparatus thereof |
-
2017
- 2017-08-31 CN CN201710770856.0A patent/CN107547648A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789027A (zh) * | 2010-03-15 | 2010-07-28 | 江苏大学 | 一种基于dbms的元数据管理方法和元数据服务器 |
CN102024022A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件系统复制元数据的方法 |
CN104641650A (zh) * | 2012-07-16 | 2015-05-20 | 康佩伦特科技公司 | 在数据存储子系统中的源引用复制 |
CN104951475A (zh) * | 2014-03-31 | 2015-09-30 | 中国电信股份有限公司 | 分布式文件系统和实现方法 |
EP3147789A1 (en) * | 2015-02-13 | 2017-03-29 | Huawei Technologies Co., Ltd. | Method for re-establishing standby database, and apparatus thereof |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021142768A1 (zh) * | 2020-01-17 | 2021-07-22 | 华为技术有限公司 | 一种文件系统的克隆方法及装置 |
CN113853778A (zh) * | 2020-01-17 | 2021-12-28 | 华为技术有限公司 | 一种文件系统的克隆方法及装置 |
CN113853778B (zh) * | 2020-01-17 | 2024-01-30 | 华为技术有限公司 | 一种文件系统的克隆方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103136243B (zh) | 基于云存储的文件系统去重方法及装置 | |
CN104238963B (zh) | 一种数据存储方法、存储装置及存储系统 | |
CN105117351B (zh) | 向缓存写入数据的方法及装置 | |
US20090007031A1 (en) | Method and system for implementing cached parameterized cells | |
CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
US10628200B2 (en) | Base state for thin-provisioned volumes | |
CN109564545A (zh) | 用于压缩地址的方法和设备 | |
US11289115B1 (en) | Copying a storage tape | |
CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
CN109508144A (zh) | 一种日志处理方法及相关装置 | |
CN106970958A (zh) | 一种流文件的查询与存储方法和装置 | |
CN108733324A (zh) | 一种固态硬盘的数据读写方法、装置、设备及存储介质 | |
CN106021566A (zh) | 一种提高单台数据库并发处理能力的方法、装置及系统 | |
CN107506466A (zh) | 一种小文件存储方法及系统 | |
US11157456B2 (en) | Replication of data in a distributed file system using an arbiter | |
CN107451271A (zh) | 一种哈希表处理方法、装置、设备及存储介质 | |
CN107609011A (zh) | 一种数据库记录的维护方法和装置 | |
CN117369731B (zh) | 一种数据的缩减处理方法、装置、设备及介质 | |
Bachman | The evolution of storage structures | |
CN107547648A (zh) | 一种内部数据复制方法及装置 | |
CN105808451A (zh) | 一种数据缓存方法以及相关装置 | |
CN110007875B (zh) | 一种有效数据的迁移方法、装置及设备 | |
US9507794B2 (en) | Method and apparatus for distributed processing of file | |
CN110019086A (zh) | 基于分布式文件系统的多副本读取方法、设备及存储介质 | |
CN103246611A (zh) | 一种文件处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180105 |