CN111736771B - 一种数据迁移方法、装置、设备及计算机可读存储介质 - Google Patents

一种数据迁移方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111736771B
CN111736771B CN202010537392.0A CN202010537392A CN111736771B CN 111736771 B CN111736771 B CN 111736771B CN 202010537392 A CN202010537392 A CN 202010537392A CN 111736771 B CN111736771 B CN 111736771B
Authority
CN
China
Prior art keywords
stripe
head
strip
tail
names
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010537392.0A
Other languages
English (en)
Other versions
CN111736771A (zh
Inventor
赵煜
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Inspur Smart Computing Technology Co Ltd
Original Assignee
Guangdong Inspur Big Data Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Inspur Big Data Research Co Ltd filed Critical Guangdong Inspur Big Data Research Co Ltd
Priority to CN202010537392.0A priority Critical patent/CN111736771B/zh
Publication of CN111736771A publication Critical patent/CN111736771A/zh
Application granted granted Critical
Publication of CN111736771B publication Critical patent/CN111736771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据迁移方法，该方法包括以下步骤：当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；从固态硬盘中查找各头条带名分别对应的头条带数据块；其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名；分别对各头条带数据块进行解析，得到各尾条带名；从固态硬盘中查找各尾条带名分别对应的尾条带数据块；将各头条带数据块和各尾条带数据块迁移到机械硬盘中。本发明较大地释放了计算机内存，提升了系统性能，较大地节省了条带名读取时间，提高了数据迁移效率。本发明还公开了一种数据迁移装置、设备及存储介质，具有相应技术效果。

Description

一种数据迁移方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及存储技术领域，特别是涉及一种数据迁移方法、装置、设备及计算机可读存储介质。
背景技术
分级存储功能是利用存储系统中固态硬盘(SSD)、NVME固态硬盘或者因特尔固态硬盘(Intel Optane SSD)等高速存储介质作为机械硬盘(HDD)的缓存，整体提高存储系统的读写性能。等到数据冷却后，再把数据迁移到机械硬盘。
现有的数据迁移方式为将每个数据对象划分为多个条带数据块，如图1所示，将数据对象a划分为a-1，a-2，a-3，a-4，a-5五个条带数据块，将各条带数据块全部写入到固态硬盘中，并将每个条带数据块的名字记录在一个对象标识符文件的数据结构(omap)中，等到数据冷却后，根据对象标识符文件中记录的条带名字，将各条带数据块迁移到机械硬盘中。数据迁移时会把对象标识符文件中的各条带名字全部读取出来保存在计算机内存中，然后依次根据条带名字迁移条带数据块，进而实现对各数据对象的迁移。但是当数据量很大时，每次从对象标识符文件把全部条带名字读取出来会耗时很多，并且会使计算机内存消耗过大，易导致程序崩溃。
综上所述，如何有效地解决现有的数据迁移方式耗时多，计算机内存消耗过大，易导致程序崩溃等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种数据迁移方法，该方法较大地释放了计算机内存，提升了系统性能，较大地节省了条带名读取时间，提高了数据迁移效率；本发明的另一目的是提供一种数据迁移装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种数据迁移方法，包括：
当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；
从固态硬盘中查找各所述头条带名分别对应的头条带数据块；其中，各所述头条带数据块中封装有所属目标数据对象包含的除所述头条带数据块之外的其他尾条带数据块对应的尾条带名；
分别对各所述头条带数据块进行解析，得到各所述尾条带名；
从所述固态硬盘中查找各所述尾条带名分别对应的尾条带数据块；
将各所述头条带数据块和各所述尾条带数据块迁移到机械硬盘中。
在本发明的一种具体实施方式中，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名，包括：
从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名。
在本发明的一种具体实施方式中，在从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名之后，还包括：
对获取到的各所述头条带名在对应对象标识符文件中的位置进行记录。
在本发明的一种具体实施方式中，在从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名，及分别对各所述头条带数据块进行解析，得到各所述尾条带名之后，还包括：
将各所述头条带名和各所述尾条带名分别缓存到对应计算机内存中预创建的字典文件内；
判断是否存在缓存的条带名数量达到第一预设值的字典文件；
若是，则暂停对相应对象标识符文件中各所述头条带名的获取动作。
在本发明的一种具体实施方式中，在将各所述头条带数据块和各所述尾条带数据块迁移到机械硬盘中之后，还包括：
将迁移成功的各所述目标数据对象对应的头条带名及各尾条带名从对应的字典文件中删除；
当检测到处于暂停接收头条带名状态的字典文件中的条带名数量小于第二预设值时，恢复对相应对象标识符文件中各所述头条带名的获取动作。
一种数据迁移装置，包括：
头条带名获取模块，用于当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；
头条带查找模块，用于从固态硬盘中查找各所述头条带名分别对应的头条带数据块；其中，各所述头条带数据块中封装有所属目标数据对象包含的除所述头条带数据块之外的其他尾条带数据块对应的尾条带名；
尾条带名获得模块，用于分别对各所述头条带数据块进行解析，得到各所述尾条带名；
尾条带查找模块，用于从所述固态硬盘中查找各所述尾条带名分别对应的尾条带数据块；
数据块迁移模块，用于将各所述头条带数据块和各所述尾条带数据块迁移到机械硬盘中。
在本发明的一种具体实施方式中，所述头条带名获取模块具体为从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名的模块。
在本发明的一种具体实施方式中，还包括：
位置记录模块，用于在从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名之后，对获取到的各所述头条带名在对应对象标识符文件中的位置进行记录。
一种数据迁移设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述数据迁移方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述数据迁移方法的步骤。
应用本发明实施例所提供的方法，当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；从固态硬盘中查找各头条带名分别对应的头条带数据块；其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名；分别对各头条带数据块进行解析，得到各尾条带名；从固态硬盘中查找各尾条带名分别对应的尾条带数据块；将各头条带数据块和各尾条带数据块迁移到机械硬盘中。通过在头条带数据块中封装目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名，使得对象标识符文件中仅需要存储各目标数据对象的头条带名，根据头条带名即可获取其他尾条带数据块的尾条带名，从而实现对数据对象的迁移，本发明相对于现有的对各条带名称均读取到计算机内存的方式，较大地释放了计算机内存，提升了系统性能，较大地节省了条带名读取时间，提高了数据迁移效率。
相应的，本发明实施例还提供了与上述数据迁移方法相对应的数据迁移装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种数据对象的数据结构示意图；
图2为本发明实施例中数据迁移方法的一种实施流程图；
图3为本发明实施例中数据迁移方法的另一种实施流程图；
图4为本发明实施例中一种数据迁移装置的结构框图；
图5为本发明实施例中一种数据迁移设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
参见图2，图2为本发明实施例中数据迁移方法的一种实施流程图，该方法可以包括以下步骤：
S201：当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名。
当需要将固态硬盘中冷却后的数据对象迁移到机械硬盘时，生成数据迁移请求，并向数据迁移中心发送数据迁移请求。预先在固态硬盘中部署对象标识符文件，对象标识符文件中存储有各目标数据对象分别对应的头条带名。当数据迁移中心接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名。
S202：从固态硬盘中查找各头条带名分别对应的头条带数据块。
其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名。
在获取到各待迁移的目标数据对象分别对应的头条带名之后，从固态硬盘中查找各头条带名分别对应的头条带数据块。每个目标数据对象由一个头条带数据块和除头条带数据块之外的其他尾条带数据块构成，如图1所示，a-1为数据对象a的头条带数据块，a-2，a-3，a-4，a-5均为尾条带数据块。各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名。
S203：分别对各头条带数据块进行解析，得到各尾条带名。
在查找到各头条带名分别对应的头条带数据块之后，分别对各头条带数据块进行解析，得到各尾条带名。
S204：从固态硬盘中查找各尾条带名分别对应的尾条带数据块。
在解析得到各目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名之后，从固态硬盘中查找各尾条带名分别对应的尾条带数据块。
S205：将各头条带数据块和各尾条带数据块迁移到机械硬盘中。
在从固态硬盘中查找到各数据对象分别对应的各头条带数据块和各尾条带数据块之后，将各头条带数据块和各尾条带数据块迁移到机械硬盘中，从而完成对各目标数据对象的迁移。通过在头条带数据块中封装目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名，使得对象标识符文件中仅需要存储各目标数据对象的头条带名，根据头条带名即可获取其他尾条带数据块的尾条带名，从而实现对数据对象的迁移，本发明相对于现有的对各条带名称均读取到计算机内存的方式，较大地减少了读取到计算机内存中的条带名数量，较大地释放了计算机内存，提升了系统性能，较大地节省了条带名读取时间，提高了数据迁移效率，提高了系统稳定性。
应用本发明实施例所提供的方法，当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；从固态硬盘中查找各头条带名分别对应的头条带数据块；其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名；分别对各头条带数据块进行解析，得到各尾条带名；从固态硬盘中查找各尾条带名分别对应的尾条带数据块；将各头条带数据块和各尾条带数据块迁移到机械硬盘中。通过在头条带数据块中封装目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名，使得对象标识符文件中仅需要存储各目标数据对象的头条带名，根据头条带名即可获取其他尾条带数据块的尾条带名，从而实现对数据对象的迁移，本发明相对于现有的对各条带名称均读取到计算机内存的方式，较大地释放了计算机内存，提升了系统性能，较大地节省了条带名读取时间，提高了数据迁移效率。
需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
实施例二：
参见图3，图3为本发明实施例中数据迁移方法的另一种实施流程图，该方法可以包括以下步骤：
S301：当接收到数据迁移请求时，从各对象存储网关分别对应的对象标识符文件中获取各目标数据对象分别对应的头条带名。
根据存储集群中对象存储(rgw)网关的个数，预先在每个对象存储网关对应的服务器内分别设置对应的对象标识符文件，从而使得每个对象存储网关对应一个对象标识符文件。当接收到数据迁移请求时，从各对象存储网关分别对应的对象标识符文件中获取各目标数据对象分别对应的头条带名。通过在每个对象存储网关对应的服务器内分别设置对应的对象标识符文件，从而减少了各对象标识符文件的数据结构omap中记录的条带名数量，进而缩短了读取各条带名的耗时，缓解了程序崩溃现象，进一步提高了系统性能。
S302：对获取到的各头条带名在对应对象标识符文件中的位置进行记录。
在从各对象存储网关分别对应的对象标识符文件中获取到各目标数据对象分别对应的头条带名之后，对获取到的各头条带名在对应对象标识符文件中的位置进行记录。方便在后续根据接收到的数据迁移请求进行头条带名获取时从记录的位置开始获取，缩短了头条带名获取耗时，提升了数据迁移效率。
S303：从固态硬盘中查找各头条带名分别对应的头条带数据块。
其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名。
S304：分别对各头条带数据块进行解析，得到各尾条带名。
S305：将各头条带名和各尾条带名分别缓存到对应计算机内存中预创建的字典文件内。
预先在各计算机内存中分别创建相应的字典文件，将各头条带名和各尾条带名分别缓存到对应计算机内存中预创建的字典文件内。
S306：判断是否存在缓存的条带名数量达到第一预设值的字典文件，若是，则执行步骤S307，若否，则跳过S307直接执行S308。
预先设置字典文件能够接收的条带名数量阈值，即第一预设值。在将读取到的各头条带名和各尾条带名分别缓存到对应计算机内存中预创建的字典文件内之后，判断是否存在缓存的条带名数量达到第一预设值的字典文件，若是，则说明缓存的条带名数量达到第一预设值的字典文件消耗的计算机内存较多，在这种情况下，则执行步骤S307，若各字典文件当前缓存的条带名数量均未达到第一预设值，在这种情况下，跳过S307直接执行S308。
S307：暂停对相应对象标识符文件中各头条带名的获取动作。
当确定存在缓存的条带名数量达到第一预设值的字典文件时，暂停对相应对象标识符文件中各头条带名的获取动作，从而使得相应字典文件中的条带名数量暂时不再增加。
S308：从固态硬盘中查找各尾条带名分别对应的尾条带数据块。
S309：将各头条带数据块和各尾条带数据块迁移到机械硬盘中。
S310：将迁移成功的各目标数据对象对应的头条带名及各尾条带名从对应的字典文件中删除。
在将各头条带数据块和各尾条带数据块迁移到机械硬盘中之后，将迁移成功的各目标数据对象对应的头条带名及各尾条带名从对应的字典文件中删除。从而使得相应字典文件中存储的条带名数量减少，使得相应的计算机内存得到释放。
S311：当检测到处于暂停接收头条带名状态的字典文件中的条带名数量小于第二预设值时，恢复对相应对象标识符文件中各头条带名的获取动作。
当检测到处于暂停接收头条带名状态的字典文件中的条带名数量小于第二预设值时，恢复对相应对象标识符文件中各头条带名的获取动作。通过根据字典文件中条带名数量对相应对象标识符文件中各头条带名的获取动作进行控制，保证了各字典文件不会消耗过多的计算机内存，较大地提高了数据对象的迁移效率。
相应于上面的方法实施例，本发明实施例还提供了一种数据迁移装置，下文描述的数据迁移装置与上文描述的数据迁移方法可相互对应参照。
参见图4，图4为本发明实施例中一种数据迁移装置的结构框图，该装置可以包括：
头条带名获取模块41，用于当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；
头条带查找模块42，用于从固态硬盘中查找各头条带名分别对应的头条带数据块；其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名；
尾条带名获得模块43，用于分别对各头条带数据块进行解析，得到各尾条带名；
尾条带查找模块44，用于从固态硬盘中查找各尾条带名分别对应的尾条带数据块；
数据块迁移模块45，用于将各头条带数据块和各尾条带数据块迁移到机械硬盘中。
应用本发明实施例所提供的装置，当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；从固态硬盘中查找各头条带名分别对应的头条带数据块；其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名；分别对各头条带数据块进行解析，得到各尾条带名；从固态硬盘中查找各尾条带名分别对应的尾条带数据块；将各头条带数据块和各尾条带数据块迁移到机械硬盘中。通过在头条带数据块中封装目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名，使得对象标识符文件中仅需要存储各目标数据对象的头条带名，根据头条带名即可获取其他尾条带数据块的尾条带名，从而实现对数据对象的迁移，本发明相对于现有的对各条带名称均读取到计算机内存的方式，较大地释放了计算机内存，提升了系统性能，较大地节省了条带名读取时间，提高了数据迁移效率。
在本发明的一种具体实施方式中，头条带名获取模块41具体为从各对象存储网关分别对应的对象标识符文件中获取各目标数据对象分别对应的头条带名的模块。
在本发明的一种具体实施方式中，该装置还可以包括：
位置记录模块，用于在从各对象存储网关分别对应的对象标识符文件中获取各目标数据对象分别对应的头条带名之后，对获取到的各头条带名在对应对象标识符文件中的位置进行记录。
在本发明的一种具体实施方式中，该装置还可以包括：
条带名缓存模块，用于在从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名，及分别对各头条带数据块进行解析，得到各尾条带名之后，将各头条带名和各尾条带名分别缓存到对应计算机内存中预创建的字典文件内；
判断模块，用于判断是否存在缓存的条带名数量达到第一预设值的字典文件；
暂停模块，用于当确定存在缓存的条带名数量达到第一预设值的字典文件时，暂停对相应对象标识符文件中各头条带名的获取动作。
在本发明的一种具体实施方式中，该装置还可以包括：
条带名删除模块，用于在将各头条带数据块和各尾条带数据块迁移到机械硬盘中之后，将迁移成功的各目标数据对象对应的头条带名及各尾条带名从对应的字典文件中删除；
动作恢复模块，用于当检测到处于暂停接收头条带名状态的字典文件中的条带名数量小于第二预设值时，恢复对相应对象标识符文件中各头条带名的获取动作。
相应于上面的方法实施例，参见图5，图5为本发明所提供的数据迁移设备的示意图，该设备可以包括：
存储器51，用于存储计算机程序；
处理器52，用于执行上述存储器51存储的计算机程序时可实现如下步骤：
当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；从固态硬盘中查找各头条带名分别对应的头条带数据块；其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名；分别对各头条带数据块进行解析，得到各尾条带名；从固态硬盘中查找各尾条带名分别对应的尾条带数据块；将各头条带数据块和各尾条带数据块迁移到机械硬盘中。
对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；从固态硬盘中查找各头条带名分别对应的头条带数据块；其中，各头条带数据块中封装有所属目标数据对象包含的除头条带数据块之外的其他尾条带数据块对应的尾条带名；分别对各头条带数据块进行解析，得到各尾条带名；从固态硬盘中查找各尾条带名分别对应的尾条带数据块；将各头条带数据块和各尾条带数据块迁移到机械硬盘中。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种数据迁移方法，其特征在于，包括：
当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；
从固态硬盘中查找各所述头条带名分别对应的头条带数据块；其中，各所述头条带数据块中封装有所属目标数据对象包含的除所述头条带数据块之外的其他尾条带数据块对应的尾条带名；
分别对各所述头条带数据块进行解析，得到各所述尾条带名；
从所述固态硬盘中查找各所述尾条带名分别对应的尾条带数据块；
将各所述头条带数据块和各所述尾条带数据块迁移到机械硬盘中；
从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名，包括：
从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名。
2.根据权利要求1所述的数据迁移方法，其特征在于，在从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名之后，还包括：
对获取到的各所述头条带名在对应对象标识符文件中的位置进行记录。
3.根据权利要求1至2任一项所述的数据迁移方法，其特征在于，在从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名，及分别对各所述头条带数据块进行解析，得到各所述尾条带名之后，还包括：
将各所述头条带名和各所述尾条带名分别缓存到对应计算机内存中预创建的字典文件内；
判断是否存在缓存的条带名数量达到第一预设值的字典文件；
若是，则暂停对相应对象标识符文件中各所述头条带名的获取动作。
4.根据权利要求3所述的数据迁移方法，其特征在于，在将各所述头条带数据块和各所述尾条带数据块迁移到机械硬盘中之后，还包括：
将迁移成功的各所述目标数据对象对应的头条带名及各尾条带名从对应的字典文件中删除；
当检测到处于暂停接收头条带名状态的字典文件中的条带名数量小于第二预设值时，恢复对相应对象标识符文件中各所述头条带名的获取动作。
5.一种数据迁移装置，其特征在于，包括：
头条带名获取模块，用于当接收到数据迁移请求时，从对象标识符文件中分别获取各待迁移的目标数据对象对应的头条带名；
头条带查找模块，用于从固态硬盘中查找各所述头条带名分别对应的头条带数据块；其中，各所述头条带数据块中封装有所属目标数据对象包含的除所述头条带数据块之外的其他尾条带数据块对应的尾条带名；
尾条带名获得模块，用于分别对各所述头条带数据块进行解析，得到各所述尾条带名；
尾条带查找模块，用于从所述固态硬盘中查找各所述尾条带名分别对应的尾条带数据块；
数据块迁移模块，用于将各所述头条带数据块和各所述尾条带数据块迁移到机械硬盘中；
所述头条带名获取模块具体为从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名的模块。
6.根据权利要求5所述的数据迁移装置，其特征在于，还包括：
位置记录模块，用于在从各对象存储网关分别对应的对象标识符文件中获取各所述目标数据对象分别对应的头条带名之后，对获取到的各所述头条带名在对应对象标识符文件中的位置进行记录。
7.一种数据迁移设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述数据迁移方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据迁移方法的步骤。
CN202010537392.0A 2020-06-12 2020-06-12 一种数据迁移方法、装置、设备及计算机可读存储介质 Active CN111736771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537392.0A CN111736771B (zh) 2020-06-12 2020-06-12 一种数据迁移方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537392.0A CN111736771B (zh) 2020-06-12 2020-06-12 一种数据迁移方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111736771A CN111736771A (zh) 2020-10-02
CN111736771B true CN111736771B (zh) 2024-02-23

Family

ID=72649107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537392.0A Active CN111736771B (zh) 2020-06-12 2020-06-12 一种数据迁移方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111736771B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009149671A1 (zh) * 2008-06-13 2009-12-17 华为技术有限公司 视频数据的打包、编解码方法及装置及系统
CN104965768A (zh) * 2014-01-23 2015-10-07 Dssd股份有限公司 用于存储系统中的服务感知数据放置的方法和系统
CN105094685A (zh) * 2014-04-29 2015-11-25 国际商业机器公司 进行存储控制的方法和设备
WO2016018383A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company Live migration of data
CN105930099A (zh) * 2015-05-20 2016-09-07 德州学院 一种消除局部并行中小写操作的双盘容错盘阵列
CN107094186A (zh) * 2017-06-15 2017-08-25 深圳市云舒网络技术有限公司 一种分布式存储系统的纠删码优化方法
CN110471894A (zh) * 2019-07-22 2019-11-19 腾讯科技（深圳）有限公司 一种数据预取方法、装置、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170031771A1 (en) * 2015-07-30 2017-02-02 Netapp, Inc. Dynamically Growing and Shrinking Snapshot Repositories Without Impacting Performance or Latency

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009149671A1 (zh) * 2008-06-13 2009-12-17 华为技术有限公司 视频数据的打包、编解码方法及装置及系统
CN104965768A (zh) * 2014-01-23 2015-10-07 Dssd股份有限公司 用于存储系统中的服务感知数据放置的方法和系统
CN105094685A (zh) * 2014-04-29 2015-11-25 国际商业机器公司 进行存储控制的方法和设备
WO2016018383A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company Live migration of data
CN105930099A (zh) * 2015-05-20 2016-09-07 德州学院 一种消除局部并行中小写操作的双盘容错盘阵列
CN107094186A (zh) * 2017-06-15 2017-08-25 深圳市云舒网络技术有限公司 一种分布式存储系统的纠删码优化方法
CN110471894A (zh) * 2019-07-22 2019-11-19 腾讯科技（深圳）有限公司 一种数据预取方法、装置、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
多重条带布局的混合RAID系统研究;蔡杰明;方沛;贾思懿;董欢庆;刘振军;刘国良;;小型微型计算机系统(05);全文 *
混合存储数据迁移策略研究;罗保山;张鑫;王栩;谭支鹏;;计算机技术与发展(06);全文 *

Also Published As

Publication number Publication date
CN111736771A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN112395212B (zh) 减少键值分离存储系统的垃圾回收和写放大的方法及系统
CN108647151B (zh) 一种全闪系统元数据落盘方法、装置、设备及存储介质
US8225029B2 (en) Data storage processing method, data searching method and devices thereof
US10564880B2 (en) Data deduplication method and apparatus
US20170371807A1 (en) Cache data determining method and apparatus
KR20090026296A (ko) 예측 데이터 로더
CN102479250A (zh) 一种嵌入式浏览器磁盘缓存方法
US20230185480A1 (en) Ssd-based log data storage method and apparatus, device and medium
CN104092670A (zh) 网络缓存服务器处理文件的方法及处理缓存文件的设备
CN103136215A (zh) 存储系统的数据读写方法和装置
CN109558456A (zh) 一种文件迁移方法、装置、设备及可读存储介质
CN113608695A (zh) 一种数据处理方法、系统、设备以及介质
CN109118609B (zh) 无人机飞行日志记录方法、装置、存储介质和计算机设备
CN107122140A (zh) 一种基于元数据信息的文件智能存储方法
CN111736771B (zh) 一种数据迁移方法、装置、设备及计算机可读存储介质
CN117156172B (zh) 视频切片上报方法、系统、存储介质及计算机
CN111610936B (zh) 一种对象存储平台以及对象聚合方法、装置和服务器
CN111858402A (zh) 一种基于cache的读写数据处理方法及系统
CN103176753B (zh) 存储设备及其数据管理方法
EP3182267B1 (en) Method and device for isolating disk regions
CN111880735B (zh) 一种存储系统中数据迁移方法、装置、设备及存储介质
CN112306418B (zh) 一种VxWorks环境下基于RawFS的数据记录方法
CN102117623A (zh) 一种磁带元数据的恢复方法及装置
CN107506156B (zh) 一种块设备的io优化方法
CN111581241B (zh) 一种无锁处理的读缓存方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant