CN116431566B - 数据迁移方法、装置、电子设备及介质 - Google Patents
数据迁移方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN116431566B CN116431566B CN202310678674.6A CN202310678674A CN116431566B CN 116431566 B CN116431566 B CN 116431566B CN 202310678674 A CN202310678674 A CN 202310678674A CN 116431566 B CN116431566 B CN 116431566B
- Authority
- CN
- China
- Prior art keywords
- file
- server
- target
- mapping relation
- intermediate server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 119
- 230000005012 migration Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013507 mapping Methods 0.000 claims abstract description 67
- 230000015654 memory Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/2871—Implementation details of single intermediate entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/119—Details of migration of file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0061—Error detection codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据技术领域，具体提供一种数据迁移方法、装置、电子设备及介质，旨在解决现有的数据迁移方法需要基于人工整理的存储文件新旧路径的数据库表来进行迁移的问题。为此目的，本发明通过查询中间服务器中是否包含第一文件的映射关系，其中第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至中间服务器的第一文件在源服务器与目标服务器之间的映射关系；当中间服务器中不包含第一文件的映射关系时，基于中间服务器执行源服务器与目标服务器之间的第一文件迁移操作。这样的设置能够实现本地文件与目标服务器之间的动态映射，降低了在数据迁移过程中的遗漏以及出错的风险，提升了用户的使用体验。
Description
技术领域
本发明涉及大数据技术领域，具体提供一种数据迁移方法、装置、电子设备及介质。
背景技术
随着现代科技的发展，人们的生活越来越离不开数据，进而也使得服务器之间的数据迁移变得越来越普遍。例如，当源服务器的安全级别较低时，源服务器中的文件就有被篡改、被删除或者被无权限的人访问的风险，因此在这种情况下就需要将源服务器中的文件迁移至安全级别更高的目标服务器，从而更好地保护文件的完整性和隐私性。
在现有的数据迁移技术中，首先通过从控制系统的数据库表中获取源服务器上所有文件的路径，然后再使用文件传输工具，例如rsync(remote synchronizetion，远程同步系统)或者scp(secure copy，安全拷贝)将这些文件从源服务器传输至目标服务器，最后再将这些文件在目标服务器上的新路径更新至控制系统的数据库表中。但是在这种数据迁移的方法中，控制系统中存储文件新旧路径的数据库表是人工整理的，因此在迁移中具有一定的遗漏和出错的风险，从而容易导致部分文件无法迁移，影响了用户的使用体验。
相应地，本领域需要一种新的数据迁移方法来解决上述问题。
发明内容
本发明旨在解决上述问题，即解决现有的数据迁移方法需要基于人工整理的存储文件新旧路径的数据库表来进行迁移，从而容易导致在迁移过程中产生迁移遗漏或者迁移错误的问题。
为了实现上述目的，在第一方面，本发明提供一种数据迁移方法，所述方法包含以下步骤：
查询中间服务器中是否包含第一文件的映射关系，其中所述第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至所述中间服务器的所述第一文件在所述源服务器与所述目标服务器之间的映射关系；
当所述中间服务器中不包含所述第一文件的映射关系时，基于所述中间服务器执行所述源服务器与所述目标服务器之间的第一文件迁移操作。
在上述数据迁移方法的可选技术方案中，“查询中间服务器中是否包含第一文件的映射关系”的步骤包括：
响应于用户的第一文件访问请求，查询所述中间服务器中是否包含所述第一文件的映射关系。
在上述数据迁移方法的可选技术方案中，所述第一文件访问请求中包含所述第一文件在所述源服务器上的存储路径，“基于所述中间服务器执行所述源服务器与所述目标服务器之间的第一文件迁移操作”的步骤包括：
基于所述第一文件在所述源服务器上的存储路径，控制所述中间服务器将所述第一文件由所述源服务器迁移至所述目标服务器。
在上述数据迁移方法的可选技术方案中，所述目标服务器包括多个子目标服务器，“控制所述中间服务器将所述第一文件由所述源服务器迁移至所述目标服务器”的步骤包括：
获取所述第一文件的文件类型和/或所述多个子目标服务器的安全级别；
基于所述第一文件的文件类型和/或所述多个子目标服务器的安全级别，控制所述中间服务器将所述第一文件由所述源服务器迁移至所述子目标服务器。
在上述数据迁移方法的可选技术方案中，所述方法还包括：
当完成所述第一文件迁移操作后，将所述第一文件的映射关系自动更新至所述中间服务器并且删除所述源服务器中的第一文件。
在上述数据迁移方法的可选技术方案中，所述当完成所述第一文件迁移操作之后，以及删除所述源服务器中的第一文件之前，所述方法还包括：
获取所述源服务器中的第一文件对应的CRC值；
基于所述目标服务器中的第一文件获取第一文件对应的CRC计算值；
将所述第一文件对应的CRC值以及所述第一文件对应的CRC计算值进行比较，并基于比较结果判断是否删除所述源服务器中的第一文件。
在上述数据迁移方法的可选技术方案中，所述方法还包括：
当所述中间服务器中不包含所述第一文件的映射关系时，在完成所述第一文件迁移操作之前或完成所述第一文件迁移操作之后控制所述中间服务器将所述第一文件发送至所述用户；
当所述中间服务器中包含所述第一文件的映射关系时，控制所述中间服务器调用所述目标服务器中的第一文件并将所述调用的第一文件发送至所述用户。
在第二方面，本发明还提供了一种数据迁移装置，所述装置包括：
查询模块，被配置为查询中间服务器中是否包含第一文件的映射关系，其中所述第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至所述中间服务器的所述第一文件在所述源服务器与所述目标服务器之间的映射关系；
执行模块，被配置为当所述中间服务器中不包含所述第一文件的映射关系时，基于所述中间服务器执行所述源服务器与所述目标服务器之间的第一文件迁移操作。
在第三方面，本发明还提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述中任一项所述数据迁移方法。
在第四方面，本发明还提供了一种可读存储介质，所述可读存储介质中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述中任一项所述的数据迁移方法。
本领域技术人员能够理解的是，在本发明的技术方案中通过查询中间服务器中是否包含第一文件的映射关系，其中第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至中间服务器的第一文件在源服务器与目标服务器之间的映射关系；当中间服务器中不包含第一文件的映射关系时，基于中间服务器执行源服务器与目标服务器之间的第一文件迁移操作。这样的设置能够实现本地文件与目标服务器之间的动态映射，降低了在数据迁移过程中的遗漏以及出错的风险，提升了用户的使用体验。
进一步地，当完成第一文件迁移操作之后，以及删除源服务器中的第一文件之前，所述方法还包括：获取源服务器中的第一文件对应的CRC值；基于目标服务器中的第一文件获取第一文件对应的CRC计算值；将第一文件对应的CRC值以及第一文件对应的CRC计算值进行比较，并基于比较结果判断是否删除源服务器中的第一文件。这样的设置能够避免文件在迁移过程中因网络故障或者其他异常情况而导致文件损坏或丢失，保证了文件的完整性和可用性，进一步提升了用户的使用体验。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
图1是本发明在实际应用场景中涉及的数据迁移系统的整体架构示意图；
图2是根据本发明的一个实施例的数据迁移方法的主要步骤流程示意图；
图3是根据本发明的一个实施例的控制中间服务器将第一文件由源服务器迁移至目标服务器的主要步骤流程示意图；
图4是根据本发明的一个实施例的当完成第一文件迁移操作之后，以及删除源服务器中的第一文件之前的主要步骤流程示意图；
图5是根据本发明的一个实施例的数据迁移装置的主要结构框图示意图；
图6是用于执行本发明的数据迁移方法的电子设备的主要结构框图示意图。
附图标记列表：
11：查询模块；12：执行模块。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
如背景技术部分所述，针对现有的数据迁移方法需要基于人工整理的存储文件新旧路径的数据库表来进行迁移，从而容易导致在迁移过程中产生迁移遗漏或者迁移错误的问题，本发明提供了一种数据迁移方法。
参阅附图1，图1是本发明在实际应用场景中涉及的数据迁移系统的整体架构示意图。如图1所示，该系统结构主要包括：客户端、控制端、中间服务器、源服务器以及目标服务器，其中客户端与控制端之间可以通过网络传输、无线电通讯或者内部线路连接的方式进行信息交互，从而将用户在客户端发起的相关请求转发至控制端；控制端与中间服务器之间能够进行信息交互，从而将用户在客户端发起的相关请求进一步转发至中间服务器；中间服务器、源服务器以及目标服务器之间能够相互进行信息交互，以实现用户发起的相关请求以及实现数据在源服务器与目标服务器之间的迁移。优选地，客户端可以为浏览器。
本领域技术人员可以理解，图1中示出的整体架构不构成对数据迁移系统的限定，在实际应用中，数据迁移系统可以包括比图示中更多或更少的部件，或者组合某些部件，或者不同的部件布置。
接下来，结合附图详细说明根据本发明实施例的数据迁移方法和装置。
参阅附图2，图2是根据本发明的一个实施例的数据迁移方法的主要步骤流程示意图，其中该数据迁移方法可以由数据迁移系统执行，也可以由与数据迁移系统通信的服务器或者服务器集群执行，在此不做具体的限制。如图2所示，本发明的数据迁移方法包括以下步骤：
步骤S101：查询中间服务器中是否包含第一文件的映射关系，其中第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至中间服务器的第一文件在源服务器与目标服务器之间的映射关系。
具体来说，当完成了第一文件由源服务器至目标服务器的迁移后，中间服务器会自动记录第一文件的映射关系；当未完成第一文件由源服务器至目标服务器的迁移时，中间服务器中则不会包含第一文件的映射关系。因此通过查询中间服务器中是否包含第一文件的映射关系能够判断出是否完成了第一文件由源服务器至目标服务器的迁移。
步骤S102：当中间服务器中不包含第一文件的映射关系时，基于中间服务器执行源服务器与目标服务器之间的第一文件迁移操作。
基于上述步骤S101至S102，本发明通过查询中间服务器中是否包含第一文件的映射关系，其中第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至中间服务器的第一文件在源服务器与目标服务器之间的映射关系；当中间服务器中不包含第一文件的映射关系时，基于中间服务器执行源服务器与目标服务器之间的第一文件迁移操作。这样的设置能够实现本地文件与目标服务器之间的动态映射，降低了在数据迁移过程中的遗漏以及出错的风险，提升了用户的使用体验。
在一些实施例中，查询中间服务器中是否包含第一文件的映射关系还包括：响应于用户的第一文件访问请求，查询中间服务器中是否包含第一文件的映射关系。
具体来说，当用户在客户端发起第一文件访问请求时，客户端将用户发起的第一文件访问请求发送至控制端；控制端接收客户端发送的第一文件访问请求，并将第一文件访问请求转发至中间服务器；中间服务器接收控制端转发的第一文件访问请求，并基于第一文件访问请求查询中间服务器中是否包含第一文件的映射关系。进一步地，若查询到中间服务器中不包含第一文件的映射关系时，则基于中间服务器执行第一文件迁移操作。这样的设置能够在无需修改控制端的代码以及数据的基础上，直接通过中间服务器来实现源服务器与目标服务器之间的数据迁移，降低了数据迁移的开发成本以及维护成本，提高了控制端的稳定性；同时在执行第一文件迁移操作中也无需停止控制端的对外服务，不影响控制端其他业务的开展，进一步提升了用户的使用体验。
在一些实施例中，第一文件访问请求中包含第一文件在源服务器上的存储路径，基于中间服务器执行源服务器与目标服务器之间的第一文件迁移操作包括：基于第一文件在源服务器上的存储路径，控制中间服务器将第一文件由源服务器迁移至目标服务器。
具体来说，当中间服务器中不包含第一文件的映射关系时，说明还未完成第一文件由源服务器至目标服务器的迁移，即第一文件仍存储在源服务器中。因此在第一文件迁移操作中，控制中间服务器基于第一文件访问请求中包含的第一文件在源服务器上的存储路径找到第一文件，从而使源服务器将第一文件迁移至目标服务器。
参阅附图3，图3是根据本发明的一个实施例的控制中间服务器将第一文件由源服务器迁移至目标服务器的主要步骤流程示意图。如图3所示，目标服务器包括多个子目标服务器，控制中间服务器将第一文件由源服务器迁移至目标服务器还包括以下步骤：
步骤S201：获取第一文件的文件类型和/或多个子目标服务器的安全级别。
步骤S202：基于第一文件的文件类型和/或多个子目标服务器的安全级别，控制中间服务器将第一文件由源服务器迁移至子目标服务器。
示例性地，多个子目标服务器可以分别为第一子目标服务器、第二子目标服务器、第三子目标服务器以及第四子目标服务器，第一文件的文件类型可以为图片、文本、视频以及音频，则基于第一文件的文件类型控制中间服务器将第一文件由源服务器迁移至子目标服务器可以为：当第一文件的文件类型为图片时，将第一文件迁移至第一子目标服务器；当第一文件的文件类型为文本时，将第一文件迁移至第二子目标服务器；当第一文件的文件类型为视频时，将第一文件迁移至第三子目标服务器；以及，当第一文件的文件类型为音频时，将第一文件迁移至第四子目标服务器。
或者，多个子目标服务器的安全级别由高至低的顺序依次可以为第一子目标服务器、第二子目标服务器、第三子目标服务器以及第四子目标服务器，第一文件的保护要求可以为第一保护级别、第二保护级别、第三保护级别以及第四保护级别中的一种，保护要求由高至低的顺序依次可以为第一保护级别、第二保护级别、第三保护级别以及第四保护级别，其中多个子目标服务器安全级别的排序、第一文件保护要求所在级别的选择以及保护级别的排序都可以根据本领域技术人员来确定。则基于多个子目标服务器的安全级别控制中间服务器将第一文件由源服务器迁移至子目标服务器可以为：当第一文件的保护要求很高时，可以将第一文件迁移至第一子目标服务器；当第一文件的保护要求较高时，可以将第一文件迁移至第二子目标服务器；当第一文件的保护要求较低时，可以将第一文件迁移至第三子目标服务器；当第一文件的保护要求很低时，可以将第一文件迁移至第四子目标服务器。
这样的设置能够根据第一文件的实际情况自动选择最优的迁移位置，提高了迁移后的第一文件的访问效率，提升了用户的使用体验；同时能够支持多种类型和格式的文件进行迁移，提高了数据迁移系统的兼容性和扩展性。以上所述的多个子目标服务器的设置、第一文件的文件类型的设置、基于第一文件的文件类型执行第一文件迁移操作的设置、多个子目标服务器的安全级别的设置以及基于多个子目标服务器的安全级别执行第一文件迁移操作的设置等都只是作为示例性说明，在实际应用中可以根据实际需要来进行选择。
在一些实施例中，所述方法还包括：当完成第一文件迁移操作后，将第一文件的映射关系自动更新至中间服务器并且删除源服务器中的第一文件。
具体来说，当完成第一文件迁移操作后将第一文件的映射关系自动更新至中间服务器，这样可以当用户再次发起第一文件访问请求时直接在中间服务器中查询到第一文件的映射关系，而无需再执行第一文件迁移操作。
参阅附图4，图4是根据本发明的一个实施例的当完成第一文件迁移操作之后，以及删除源服务器中的第一文件之前的主要步骤流程示意图。如图4所示，在一些实施例中，当完成第一文件迁移操作之后，以及删除源服务器中的第一文件之前，所述方法还包括以下步骤：
步骤S301：获取源服务器中的第一文件对应的CRC值。
步骤S302：基于目标服务器中的第一文件获取第一文件对应的CRC计算值。
步骤S303：将第一文件对应的CRC值以及第一文件对应的CRC计算值进行比较，并基于比较结果判断是否删除源服务器中的第一文件。
具体来说，CRC(Cyclic Redundancy Check)，即循环冗余校验码，是数据通信领域中最常用的一种查错校验码，其特征是信息字段和校验字段的长度可以任意选定。CRC利用除法及余数的原理，对数据进行多项式计算，从而实现错误侦测的功能，以保证数据迁移的正确性和完整性。因此当源服务器中的第一文件对应的CRC值与目标服务器中的第一文件对应的CRC值一致时，则表明第一文件在由源服务器迁移至目标服务器的过程中未发生损坏以及丢失，即此时可以删除源服务器中的第一文件；反之，则表明第一文件在由服务器迁移至目标服务器的过程中发生了损坏或丢失，即此时不可以删除源服务器中的第一文件。
示例性地，基于目标服务器中的第一文件获取第一文件对应的CRC计算值可以为：将目标服务器中的第一文件的二进制数据作为被除数；选择获取源服务器中的第一文件对应的CRC值的除数作为计算目标服务器中的第一文件对应的CRC计算值的除数；看选定除数的二进制位数，在目标服务器中的第一文件的二进制位数后面加上比选定除数的二进制位数小一位的0，从而得到新第一文件；用新第一文件以模2除法的方式除选定的除数，得到的余数即为第一文件对应的CRC计算值，其中余数的位数一定要比除数的位数少一位，即如果余数的位数达不到要求，则余数前面位的0也不能省略。以上所述的基于目标服务器中的第一文件获取第一文件对应的CRC计算值的设置方式只是作为示例性说明，在实际应用中可以根据实际需要来进行选择。
在一些实施例中，所述方法还包括以下步骤：
步骤S401：当中间服务器中不包含第一文件的映射关系时，在完成第一文件迁移操作之前或完成第一文件迁移操作之后控制中间服务器将第一文件发送至用户。
步骤S402：当中间服务器中包含第一文件的映射关系时，控制中间服务器调用目标服务器中的第一文件并将调用的第一文件发送至用户。
具体来说，当中间服务器中不包含第一文件的映射关系时，说明第一文件仍存储在源服务器中，因此可以在执行第一文件迁移操作之前控制中间服务器调用源服务器中第一文件并将调用的源服务器中的第一文件发送至用户，这样的设置可以节省用户的等待时间，提升用户的访问效率；或者，在执行完第一文件迁移操作之后控制中间服务器调用目标服务器中的第一文件并将调用的目标服务器中的第一文件发送至用户，这样的设置可以进一步地对访问的安全性进行保障，避免了文件在服务器中被篡改或被删除的情况发生。当中间服务器中包含第一文件的映射关系时，说明第一文件已经迁移至目标服务器中，因此只能控制中间服务器调用目标服务器中的第一文件并将调用的目标服务器中的第一文件发送至用户。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。同时，上述所有的实施例方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
进一步，本发明还提供了一种数据迁移装置。
参阅附图5，图5是根据本发明的一个实施例的数据迁移装置的主要结构框图示意图。如图5所示，本发明实施例中的数据迁移装置主要包括查询模块11以及执行模块12。在一些实施例中，查询模块11以及执行模块12中的一个或多个可以合并在一起成为一个模块。在一些实施例中，查询模块11可以被配置为查询中间服务器中是否包含第一文件的映射关系，其中第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至中间服务器的第一文件在源服务器与目标服务器之间的映射关系；执行模块12可以被配置为当中间服务器中不包含第一文件的映射关系时，基于中间服务器执行源服务器与目标服务器之间的第一文件迁移操作。
在一些实施例中，响应于用户的第一文件访问请求，查询模块11查询中间服务器中是否包含第一文件的映射关系。
在一些实施例中，执行模块12基于第一文件在源服务器上的存储路径，控制中间服务器将第一文件由源服务器迁移至目标服务器。
在一些实施例中，执行模块12获取第一文件的文件类型和/或多个子目标服务器的安全级别；基于第一文件的文件类型和/或多个子目标服务器的安全级别，控制中间服务器将第一文件由源服务器迁移至子目标服务器。
在一些实施例中，所述装置还包括后端处理模块，当完成第一文件迁移操作后，后端处理模块将第一文件的映射关系自动更新至中间服务器并且删除源服务器中的第一文件。
在一些实施例中，所述装置还包括后端处理模块，后端处理模块获取源服务器中的第一文件对应的CRC值；基于目标服务器中的第一文件获取第一文件对应的CRC计算值；将第一文件对应的CRC值以及第一文件对应的CRC计算值进行比较，并基于比较结果判断是否删除源服务器中的第一文件。
在一些实施例中，所述装置还包括反馈用户模块，当中间服务器中不包含第一文件的映射关系时，反馈用户模块在完成第一文件迁移操作之前或完成第一文件迁移操作之后控制中间服务器将第一文件发送至用户；当中间服务器中包含第一文件的映射关系时，反馈用户模块控制中间服务器调用目标服务器中的第一文件并将调用的第一文件发送至用户。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种电子设备。
参阅附图6，图6是用于执行本发明的数据迁移方法的电子设备的主要结构框图示意图。如图6所示，本发明还提供了一种用于执行本发明的数据迁移方法的电子设备，所述电子设备包括：处理器21、存储器22以及存储在该存储器22中并且可以在处理器21上运行的计算机程序23。处理器21执行计算机程序23时实现上述各个方法实施例中的步骤。或者，处理器21执行计算机程序23时实现上述实施例中各模块/单元的功能。
示例性地，处理器21可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（ApplicationSpecific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
示例性地，存储器22可以是电子设备的内部存储单元，例如，是电子设备的硬盘或内存；存储器22也可以是电子设备的外部存储设备，例如，在电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器22还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器22用于存储计算机程序以及电子设备所需的其它程序和数据，存储器22还可以用于暂时地存储已经输出或者将要输出的数据。
在一些可能的实施方式中，电子设备可以包括多个处理器21和存储器22。而执行上述方法实施例的数据迁移方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器21加载并运行以执行上述方法实施例的数据迁移方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储器22中，每个处理器21可以被配置成用于执行一个或多个存储器22中的程序，以共同实现上述方法实施例的数据迁移方法，即每个处理器21分别执行上述方法实施例的数据迁移方法的不同步骤，来共同实现上述方法实施例的数据迁移方法。
上述多个处理器21可以是部署于同一个设备上的处理器，例如上述电子设备可以是由多个处理器组成的高性能设备，上述多个处理器21可以是该高性能设备上配置的处理器。此外，上述多个处理器21也可以是部署于不同设备上的处理器，例如上述电子设备可以是服务器集群，上述多个处理器21可以是服务器集群中不同服务器上的处理器。
电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备可以包括但不仅限于处理器21和存储器22。本领域技术人员可以理解，图6仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的数据迁移方法的程序，该程序可以由处理器加载并运行以实现上述数据迁移方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种数据迁移方法，其特征在于，所述方法包含以下步骤：
响应于用户的第一文件访问请求，查询中间服务器中是否包含第一文件的映射关系，其中所述第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至所述中间服务器的所述第一文件在所述源服务器与所述目标服务器之间的映射关系；
当所述中间服务器中不包含所述第一文件的映射关系时，基于所述中间服务器执行所述源服务器与所述目标服务器之间的第一文件迁移操作；
当所述中间服务器中不包含所述第一文件的映射关系时，在完成所述第一文件迁移操作之前或完成所述第一文件迁移操作之后控制所述中间服务器将所述第一文件发送至所述用户；
当所述中间服务器中包含所述第一文件的映射关系时，控制所述中间服务器调用所述目标服务器中的第一文件并将所述调用的第一文件发送至所述用户，其中所述目标服务器的安全级别高于所述源服务器的安全级别。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述第一文件访问请求中包含所述第一文件在所述源服务器上的存储路径，“基于所述中间服务器执行所述源服务器与所述目标服务器之间的第一文件迁移操作”的步骤包括：
基于所述第一文件在所述源服务器上的存储路径，控制所述中间服务器将所述第一文件由所述源服务器迁移至所述目标服务器。
3.根据权利要求2所述的数据迁移方法，其特征在于，所述目标服务器包括多个子目标服务器，“控制所述中间服务器将所述第一文件由所述源服务器迁移至所述目标服务器”的步骤包括：
获取所述第一文件的文件类型和/或所述多个子目标服务器的安全级别；
基于所述第一文件的文件类型和/或所述多个子目标服务器的安全级别，控制所述中间服务器将所述第一文件由所述源服务器迁移至所述子目标服务器。
4.根据权利要求1所述的数据迁移方法，其特征在于，所述方法还包括：
当完成所述第一文件迁移操作后，将所述第一文件的映射关系自动更新至所述中间服务器并且删除所述源服务器中的第一文件。
5.根据权利要求4所述的数据迁移方法，其特征在于，所述当完成所述第一文件迁移操作之后，以及删除所述源服务器中的第一文件之前，所述方法还包括：
获取所述源服务器中的第一文件对应的CRC值；
基于所述目标服务器中的第一文件获取第一文件对应的CRC计算值；
将所述第一文件对应的CRC值以及所述第一文件对应的CRC计算值进行比较，并基于比较结果判断是否删除所述源服务器中的第一文件。
6.一种数据迁移装置，其特征在于，所述装置包括：
查询模块，被配置为响应于用户的第一文件访问请求，查询中间服务器中是否包含第一文件的映射关系，其中所述第一文件的映射关系为将第一文件由源服务器迁移至目标服务器后，自动更新至所述中间服务器的所述第一文件在所述源服务器与所述目标服务器之间的映射关系；
执行模块，被配置为当所述中间服务器中不包含所述第一文件的映射关系时，基于所述中间服务器执行所述源服务器与所述目标服务器之间的第一文件迁移操作；当所述中间服务器中不包含所述第一文件的映射关系时，在完成所述第一文件迁移操作之前或完成所述第一文件迁移操作之后控制所述中间服务器将所述第一文件发送至所述用户；当所述中间服务器中包含所述第一文件的映射关系时，控制所述中间服务器调用所述目标服务器中的第一文件并将所述调用的第一文件发送至所述用户，其中所述目标服务器的安全级别高于所述源服务器的安全级别。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述数据迁移方法。
8.一种可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的数据迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310678674.6A CN116431566B (zh) | 2023-06-09 | 2023-06-09 | 数据迁移方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310678674.6A CN116431566B (zh) | 2023-06-09 | 2023-06-09 | 数据迁移方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116431566A CN116431566A (zh) | 2023-07-14 |
| CN116431566B true CN116431566B (zh) | 2023-09-22 |
Family
ID=87091052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310678674.6A Active CN116431566B (zh) | 2023-06-09 | 2023-06-09 | 数据迁移方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116431566B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304553A (zh) * | 2018-02-01 | 2018-07-20 | 平安普惠企业管理有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| EP3373165A1 (en) * | 2017-03-07 | 2018-09-12 | Krieg, Jaroslav | Method of transferring the structures and data sets between the source and target systems and the system to implement it |
| CN112631994A (zh) * | 2020-12-29 | 2021-04-09 | 深圳市商汤科技有限公司 | 数据迁移方法及系统 |
| CN114116678A (zh) * | 2021-12-07 | 2022-03-01 | 建信金融科技有限责任公司 | 数据迁移方法、装置、设备、介质及程序产品 |
| CN114741357A (zh) * | 2022-06-13 | 2022-07-12 | 广东电网有限责任公司 | 一种数据迁移方法、系统、设备及存储介质 |
-
2023
- 2023-06-09 CN CN202310678674.6A patent/CN116431566B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3373165A1 (en) * | 2017-03-07 | 2018-09-12 | Krieg, Jaroslav | Method of transferring the structures and data sets between the source and target systems and the system to implement it |
| CN108304553A (zh) * | 2018-02-01 | 2018-07-20 | 平安普惠企业管理有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| CN112631994A (zh) * | 2020-12-29 | 2021-04-09 | 深圳市商汤科技有限公司 | 数据迁移方法及系统 |
| CN114116678A (zh) * | 2021-12-07 | 2022-03-01 | 建信金融科技有限责任公司 | 数据迁移方法、装置、设备、介质及程序产品 |
| CN114741357A (zh) * | 2022-06-13 | 2022-07-12 | 广东电网有限责任公司 | 一种数据迁移方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116431566A (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111344706B (zh) | 管理区块链上的交易的方法和系统 | |
| KR101871383B1 (ko) | 계층적 데이터 구조의 노드 상에서 재귀적 이벤트 리스너를 사용하기 위한 방법 및 시스템 | |
| US10462250B2 (en) | Distributed caching cluster client configuration | |
| US20160139841A1 (en) | Distributed storage system, and data-access method therefor | |
| WO2018121456A1 (zh) | 一种数据存储方法、服务器以及存储系统 | |
| CN114327239B (zh) | 存储和访问数据的方法、电子设备和计算机程序产品 | |
| US20230030856A1 (en) | Distributed table storage processing method, device and system | |
| US20190289088A1 (en) | Identifying and managing redundant digital content transfers | |
| US20220107752A1 (en) | Data access method and apparatus | |
| CN111694703A (zh) | 缓存区管理方法、装置和计算机设备 | |
| CN110502187A (zh) | 一种快照回滚方法及装置 | |
| WO2024152666A1 (zh) | 报文模板的动态配置方法、装置、计算机设备及存储介质 | |
| CN116431566B (zh) | 数据迁移方法、装置、电子设备及介质 | |
| EP4383076A1 (en) | Data processing method and apparatus, computer device, and computer-readable storage medium | |
| CN112148728A (zh) | 用于信息处理的方法、设备和计算机程序产品 | |
| CN113132241B (zh) | Acl模板动态配置方法及装置 | |
| US10838660B2 (en) | Identifying and processing predefined dispersed storage network workflows | |
| US11586499B2 (en) | Method, device and computer program product for storing data | |
| CN116594551A (zh) | 一种数据存储方法及装置 | |
| US11314430B2 (en) | Reading data in sub-blocks using data state information | |
| CN113220237A (zh) | 一种分布式存储方法、装置、设备及存储介质 | |
| CN108959405B (zh) | 数据的强一致性读取方法及终端设备 | |
| WO2020151337A1 (zh) | 分布式文件处理方法、装置、计算机设备以及存储介质 | |
| CN109088913B (zh) | 请求数据的方法和负载均衡服务器 | |
| JPWO2012053152A1 (ja) | ストレージシステム、データ管理装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |