CN117376403B - 一种云端数据迁移方法及系统 - Google Patents

一种云端数据迁移方法及系统 Download PDF

Info

Publication number
CN117376403B
CN117376403B CN202311287088.5A CN202311287088A CN117376403B CN 117376403 B CN117376403 B CN 117376403B CN 202311287088 A CN202311287088 A CN 202311287088A CN 117376403 B CN117376403 B CN 117376403B
Authority
CN
China
Prior art keywords
data
migrated
migration
server
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311287088.5A
Other languages
English (en)
Other versions
CN117376403A (zh
Inventor
刘志刚
李选娟
欧云杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhixiangjia Information Technology Service Co ltd
Original Assignee
Shanghai Zhixiangjia Information Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhixiangjia Information Technology Service Co ltd filed Critical Shanghai Zhixiangjia Information Technology Service Co ltd
Priority to CN202311287088.5A priority Critical patent/CN117376403B/zh
Publication of CN117376403A publication Critical patent/CN117376403A/zh
Application granted granted Critical
Publication of CN117376403B publication Critical patent/CN117376403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/148—Migration or transfer of sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云端数据迁移方法及系统，属于数据处理技术领域，方法包括：确定各个待迁移服务器中的待迁移数据；根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数；根据云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器；对各个待迁移服务器中的待迁移数据进行转换；根据预设的理想文件大小，对转换后的数据进行分割；对分割后的数据进行加密；将加密后的数据传输到相应的待迁入服务器中；对接收的数据进行解密；对解密后的数据进行装载；对装载后的数据进行一致性检验；当通过一致性检验时，完成迁移；当未通过一致性检验时，提示迁移失败。

Description

一种云端数据迁移方法及系统
技术领域
本发明属于数据处理技术领域，具体涉及一种云端数据迁移方法及系统。
背景技术
随着云计算和大数据的发展，集群规模和数据量迎来了爆发式增长。原先的云服务器难以满足实际需求，需要将原先云服务器的数据转移到容量更大的云服务器中，或者，将原先云服务器中的部分数据转移到其他的云服务器中，以保证云服务器的运行效率，将不可避免的用到数据迁移技术。
然而，当前的数据迁移技术往往缺乏规划性，往往仅考虑迁移成本，将待迁移数据以最低的迁移成本迁移到其他的云服务器中。
一方面，如果将数据以最低成本迁移到目标服务器，而没有考虑目标服务器的可用容量，如果目标服务器仅仅能够存储下这些数据，但剩余容量不足以高效地处理这些数据，可能会导致目标服务器不堪重负，性能下降，甚至宕机。
另一方面，如果将大量数据以最低成本迁移到目标服务器，大规模数据迁移可能会占用大量带宽，导致网络拥堵，降低了数据迁移效率，影响其他网络活动。
进一步地，如果将小量的数据仅考虑最低成本迁移到可用容量较大的目标服务器中，会导致目标服务器上的数据变得非常分散和碎片化，当下一次需要迁移大量数据时，目标服务器可能没有足够的连续空间来容纳新数据，将影响目标服务器下一次接收数据迁移的能力，造成资源的浪费。
发明内容
为了解决当前的仅考虑迁移成本的数据迁移方式可能会导致目标服务器不堪重负，性能下降，甚至宕机，可能会占用大量带宽，导致网络拥堵，降低了数据迁移效率，影响其他网络活动，可能会导致目标服务器上的数据变得非常分散和碎片化，当下一次需要迁移大量数据时，目标服务器可能没有足够的连续空间来容纳新数据，将影响目标服务器下一次接收数据迁移的能力，造成资源的浪费的技术问题，本发明提供一种云端数据迁移方法及系统。
第一方面
本发明提供了一种云端数据迁移方法，包括：
S101：确定各个待迁移服务器中的待迁移数据；
S102：根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数；
S103：根据云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器；
S104：对各个待迁移服务器中的待迁移数据进行转换；
S105：根据预设的理想文件大小，对转换后的数据进行分割；
S106：对分割后的数据进行加密；
S107：将加密后的数据传输到相应的待迁入服务器中；
S108：对接收的数据进行解密；
S109：对解密后的数据进行装载；
S110：对装载后的数据进行一致性检验；
S111：当通过一致性检验时，完成迁移；当未通过一致性检验时，提示迁移失败。
第二方面
本发明提供了一种云端数据迁移系统，用于执行第一方面中的云端数据迁移方法。
与现有技术相比，本发明至少具有以下有益技术效果：
（1）在本发明中，根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数，之后根据云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器。在迁移成本的基础上，还综合考虑了待迁移数据量、迁移带宽以及待迁入服务器的可用容量，来最终确定如何进行数据迁移，避免服务器性能下降，减少网络拥堵，提升数据迁移效率，避免数据分散化和碎片化，提升云服务器的综合效能，为下一次数据迁移提供良好的基础。
（2）在本发明中，根据预设的理想文件大小，对转换后的数据进行分割，避免分割的数据太小导致文件过多，导致迁移处理量增加，迁移效率降低，也避免分割的数据太大，导致云迁移时间的增加。通过将数据分割为适当的理想文件大小，有助于提高数据迁移效率，降低迁移成本。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明提供的一种云端数据迁移方法的流程示意图。
图2是本发明提供的一种云端数据迁移方法的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
在一个实施例中，参考说明书附图1，示出了本发明提供的一种云端数据迁移方法的流程示意图。参考说明书附图2，示出了本发明提供的一种云端数据迁移方法的结构示意图。
本发明提供的一种云端数据迁移方法，包括：
S101：确定各个待迁移服务器中的待迁移数据。
需要说明的是，需要迁移数据的待迁移服务器的数量可能有多个，每个待迁移服务器中存放有部分的待迁移数据。本发明需要为每一个待迁移服务器多方面因素的考虑下寻找到最佳的迁入服务器，以完成数云端数据的迁移。
S102：根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数。
需要说明的是，在为每一个待迁移服务器多方面因素的考虑下寻找到最佳的迁入服务器时，应当使得云端数据迁移目标函数的数值尽量大。
在一种可能的实施方式中，S102具体为：根据以下公式，构建云端数据迁移目标函数：
其中，J表示云端数据迁移目标函数，TB表示待迁入服务器的可用容量，λ 1表示待迁入服务器的可用容量的换算比例，B表示迁移带宽，λ 2表示迁移带宽的换算比例，C表示迁移成本，λ 3表示迁移成本的换算比例。
其中，迁移成本C的计算方式为：
其中，A表示待迁移数据量，B表示迁移带宽，c表示单位时间的迁移成本。
在本发明中，综合包括待迁移数据量、迁移成本、迁移带宽以及目标服务器的可用容量在内的多个因素构建目标函数，有助于综合权衡不同因素，以找到最佳的迁入服务器，从而实现更有效的数据迁移。
S103：根据云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器。
在本发明中，根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数，之后根据云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器。在迁移成本的基础上，还综合考虑了待迁移数据量、迁移带宽以及待迁入服务器的可用容量，来最终确定如何进行数据迁移，避免服务器性能下降，减少网络拥堵，提升数据迁移效率，避免数据分散化和碎片化，提升云服务器的综合效能，为下一次数据迁移提供良好的基础。
在一种可能的实施方式中，S103具体包括子步骤S1031至S1036：
S1031：根据待迁入服务器的数量m，初始化具有m个粒子的粒子群。
S1032：确定初始搜寻速度和初始搜寻位置，对各个待迁移数据的全局最优位置进行搜寻。
S1033：在搜寻过程中引入惯性权重因子和收缩因子，将搜寻范围向全局最优位置不断缩小。
其中，惯性权重因子可表示为：
其中，w表示惯性权重因子，x表示当前粒子搜寻位置，J(x)表示当前粒子搜寻位置处的目标函数值，e表示自然对数，j表示迭代次数。
在本发明中，引入惯性权重因子w，使得算法在迭代前期选择较大的惯性权重因子w，避免算法过早收敛而陷入局部最优解，而在迭代后期使用较小的惯性权重因子w进行更加细致的布局搜索，可以提升寻找全局最优位置的稳定性。
其中，收缩因子可表示为：
其中，ρ表示收缩因子，E表示平衡因子。
在本发明中，引入收缩因子ρ，可以将搜寻范围向全局最优位置不断缩小，避免搜寻范围远离最优位置提高了搜寻的准确性。
S1034：根据以下公式，更新种群搜寻速度和搜寻位置：
其中，表示第i个粒子在第j+1次迭代时的搜寻速度，/>表示第i个粒子在第j次迭代时的搜寻速度，E表示平衡因子，s表示步长因子，rand表示介于0到1之间的随机数，表示第i个粒子在第j+1次迭代时的搜寻位置，/>表示第i个粒子在第j次迭代时的搜寻位置。
需要说明的是，在每次迭代中，粒子的搜寻速度和位置都会根据目标函数的值进行调整，以响应不断变化的环境，寻找更好的解决方案，有助于在复杂问题中找到全局最优解。
S1035：直至搜寻位置收敛或者达到预设迭代次数，确定出待迁移数据的全局最优位置。
S1036：根据各个待迁移数据的全局最优位置，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器。
在本发明中，通过使用粒子群优化算法，可以寻找每个待迁移数据的全局最优位置，在多个潜在的迁入服务器中，可以选择最优的服务器，以最大程度地满足云端数据迁移目标函数，有助于优化整个数据迁移过程。在迁移成本的基础上，还综合考虑了待迁移数据量、迁移带宽以及待迁入服务器的可用容量，来最终确定如何进行数据迁移，避免服务器性能下降，减少网络拥堵，提升数据迁移效率，避免数据分散化和碎片化，提升云服务器的综合效能，为下一次数据迁移提供良好的基础。
S104：对各个待迁移服务器中的待迁移数据进行转换。
具体而言，将待迁移数据转换为JSON格式。
其中，JSON格式是一种通用数据交换格式，几乎在所有编程语言和平台上都有解析器和支持。这意味着无论迁移数据是从哪个平台到另一个平台，都可以轻松解析和处理JSON数据，而不需要担心兼容性问题。
S105：根据预设的理想文件大小，对转换后的数据进行分割。
优选地，根据科学研究，理想文件大小约为4MB。
在本发明中，根据预设的理想文件大小，对转换后的数据进行分割，避免分割的数据太小导致文件过多，导致迁移处理量增加，迁移效率降低，也避免分割的数据太大，导致云迁移时间的增加。通过将数据分割为适当的理想文件大小，有助于提高数据迁移效率，降低迁移成本。
在实际应用过程中，很难精确地分割出理想文件大小的子数据，为此，需要采用新型的数据分割方法。
在一种可能的实施方式中本发明提出了一种全新的数据分割方法，S105具体包括子步骤S1051至S1053：
S1051：从加密后的数据中分割出第一子数据。
S1052：根据第一子数据的文件大小与理想文件大小的关系，确定第二子数据的实际数据行数，并从加密后的数据中分割出第二子数据：
其中，h 2表示第二子数据的实际数据行数，表示第二子数据的理想数据行数，μ表示调节参数，h 1表示第一子数据的实际数据行数，S 1表示第一子数据的文件大小，S *表示理想文件大小。
S1053：依据同样的方式，从加密后的数据中分割出其他子数据：
其中，h k 表示第k个子数据的实际数据行数，表示第k个子数据的理想数据行数，h k-1表示第k-1个子数据的实际数据行数，S k-1表示第k-1个子数据的文件大小。
在本发明中，根据理想数据行数以及实际数据行数动态地确定分割出的数据行数，以尽量保持分割出的文件大小为理想文件大小，实现方式简单，并且能够满足控制数据文件大小的要求。
S106：对分割后的数据进行加密。
在一种可能的实施方式中，S106具体包括子步骤S1061至S1065：
S1061：确定对整个待迁移数据进行加密的私钥以及公钥。
在一种可能的实施方式中，子步骤S1061具体包括孙步骤S10611至S10614：
S10611：选择两个大素数a和b，计算以及/>：
S10612：随机选择一个整数r，使得随机数r满足：
其中，表示随机数r与/>互质。
S10613：计算随机数r的逆元：
S10614：将(G,r)作为私钥SK，将(G,d)作为公钥EK，mod表示取模运算。
在本发明中，使用非对称加密算法生成私钥和公钥，可以提高数据的安全性。私钥作为加密密钥仅在数据迁移过程中使用，不需要共享给其他人，而公钥可以公开传播。这种方法允许只有私钥持有者能够解密数据，从而保护数据免受未经授权的访问。
在一种可能的实施方式中，子步骤S1061还包括孙步骤S10615：
S10615：构建关于随机数r和逆元d的混沌映射关系式：
其中，n表示验证次数，r n 表示第n次验证时的随机数，r n+1表示第n+1次验证时的随机数，d n 表示第n次验证时的逆元，d n+1表示第n+1次验证时的逆元，β 1、β 2、β 3、β 4和β 5表示混沌参数且均为常数。
在本发明中，混沌映射关系式的作用是为了保护随机数r和逆元d，在后续的每一次验证中，随机数r和逆元d均会发生变化。现有技术中的混沌映射关系式，现有的二维混沌映射存在混沌参数范围不连续，参数空间中存在许多周期窗口，混沌行为较脆弱，当参数受到干扰时，会出现混沌行为很容易消失，发生混沌退化的问题。而本发明首先初始化两个参数多项式，然后通过模运算将任意值折叠到一个固定的范围内，最后从非线性多项式生成混沌映射，生成具有鲁棒混沌性的二维混沌映射，弥补了现有混沌映射关系式中存在的缺点。
S1062：根据整个待迁移数据的数字摘要以及私钥，计算待迁移数据的数字签名：
其中，sig表示数字签名，SK表示私钥，L 1表示待迁移数据的数字摘要，SHA.1表示SHA.1型哈希函数，M 1表示待迁移数据。
S1063：根据分割出的子数据的数量K，将数字签名分解为K个子签名。
S1064：通过第k个子签名与第k个子数据的实际数据行数，构建第k个子数据的加密密钥：
其中，K i 表示第k个子数据的加密密钥，Hash表示哈希运算，sig k 表示第k个子签名，h k 表示第k个子数据的实际数据行数。
S1065：通过第k个子签名对第k个子数据进行加密。
在本发明中，通过在子数据级别进行加密，可以更精细地控制和保护数据的安全性，每个子数据块都有自己的加密密钥和数字签名，这增加了数据的安全性，即使某个子数据块被泄露，也不会影响其他子数据块的安全性。
S107：将加密后的数据传输到相应的待迁入服务器中。
在一种可能的实施方式中，S107具体包括子步骤S1071至S1073：
S1071：获取待迁移服务器的导出流数量和待迁入服务器的导入流数量。
S1072：当待迁移服务器的导出流数量和待迁入服务器的导入流数量相等时，按照一一对应的关系搭建数据流，通过数据流传输加密后的数据。
S1073：当待迁移服务器的导出流数量和待迁入服务器的导入流数量不相等时，根据以下公式设置数据流数量：
其中，Num t 表示数据流数量，LCM表示最小公倍数，Num o 表示待迁移服务器的导出流数量，Num i 表示待迁入服务器的导入流数量。
将待迁移服务器的每个导出流导出的加密后的数据，平均交给个数据流，将/>个数据流中的数据合并交给待迁入服务器的一个导入流，以完成加密后的数据的传输。
在本发明中，通过根据待迁移服务器的导出流数量和待迁入服务器的导入流数量来动态调整数据流数量，可以充分利用可用的传输通道。这有助于避免某些服务器资源被浪费，同时确保数据以最大带宽传输，提高了整体数据迁移的速度。进一步地，平均分配每个导出流的加密后数据到多个数据流中，以及将多个数据流的数据合并到一个导入流中，有助于平衡各个服务器之间的数据传输负载，实现负载均衡，确保数据传输均匀分布，减少了潜在的性能瓶颈。
S108：对接收的数据进行解密。
S109：对解密后的数据进行装载。
其中，装载过程包括对解密后的数据进行组装以及格式转换。具体可以是由JSON格式转换为原格式。
S110：对装载后的数据进行一致性检验。
在一种可能的实施方式中，S110具体包括子步骤S1101和S1102：
S1101：计算装载后的数据的数字摘要：
其中，L 2表示装载后的数据的数字摘要，SHA.1表示SHA.1型哈希函数，M 2表示装载后的数据。
S1102：检验待迁移数据的数字摘要L 1与装载后的数据的数字摘要L 2是否一致，若是，通过一致性检验，否则，不通过一致性检验。
在本发明中，计算装载后的数据的数字摘要（L 2）并将其与原始数据的数字摘要（L 1）进行比较，可以检测在数据传输和装载过程中是否发生了任何意外的数据损坏或篡改。如果L 1与L 2不一致，这可能表明在数据传输或装载过程中出现了问题，需要进一步的调查和处理，有助于确保数据在迁移过程中的完整性。进一步地，通过一致性检验，可以验证数据是否在迁移过程中受到了合法性的保护，并且没有被未经授权的访问或篡改，这一点对于确保数据的可信性和安全性非常重要，特别是对于敏感数据或关键业务数据。
S111：当通过一致性检验时，完成迁移。当未通过一致性检验时，提示迁移失败。
与现有技术相比，本发明至少具有以下有益技术效果：
（1）在本发明中，根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数，之后根据云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器。在迁移成本的基础上，还综合考虑了待迁移数据量、迁移带宽以及待迁入服务器的可用容量，来最终确定如何进行数据迁移，避免服务器性能下降，减少网络拥堵，提升数据迁移效率，避免数据分散化和碎片化，提升云服务器的综合效能，为下一次数据迁移提供良好的基础。
（2）在本发明中，根据预设的理想文件大小，对转换后的数据进行分割，避免分割的数据太小导致文件过多，导致迁移处理量增加，迁移效率降低，也避免分割的数据太大，导致云迁移时间的增加。通过将数据分割为适当的理想文件大小，有助于提高数据迁移效率，降低迁移成本。
实施例2
在一个实施例中，本发明提供的一种云端数据迁移系统，用于执行实施例1中的云端数据迁移方法。
本发明提供的一种云端数据迁移系统可以实现上述实施例1中的云端数据迁移方法的步骤和效果，为避免重复，本发明不再赘述。
与现有技术相比，本发明至少具有以下有益技术效果：
（1）在本发明中，根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数，之后根据云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器。在迁移成本的基础上，还综合考虑了待迁移数据量、迁移带宽以及待迁入服务器的可用容量，来最终确定如何进行数据迁移，避免服务器性能下降，减少网络拥堵，提升数据迁移效率，避免数据分散化和碎片化，提升云服务器的综合效能，为下一次数据迁移提供良好的基础。
（2）在本发明中，根据预设的理想文件大小，对转换后的数据进行分割，避免分割的数据太小导致文件过多，导致迁移处理量增加，迁移效率降低，也避免分割的数据太大，导致云迁移时间的增加。通过将数据分割为适当的理想文件大小，有助于提高数据迁移效率，降低迁移成本。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种云端数据迁移方法，其特征在于，包括：
S101：确定各个待迁移服务器中的待迁移数据；
S102：根据待迁移数据量、迁移成本、迁移带宽以及待迁入服务器的可用容量，构建云端数据迁移目标函数；
S103：根据所述云端数据迁移目标函数，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器；
S104：对各个待迁移服务器中的待迁移数据进行转换；
S105：根据预设的理想文件大小，对转换后的数据进行分割；
S106：对分割后的数据进行加密；
S107：将加密后的数据传输到相应的待迁入服务器中；
S108：对接收的数据进行解密；
S109：对解密后的数据进行装载；
S110：对装载后的数据进行一致性检验；
S111：当通过一致性检验时，完成迁移；当未通过一致性检验时，提示迁移失败；
其中，所述S102具体为：
根据以下公式，构建所述云端数据迁移目标函数：
其中，J表示云端数据迁移目标函数，TB表示待迁入服务器的可用容量，λ 1表示待迁入服务器的可用容量的换算比例，B表示迁移带宽，λ 2表示迁移带宽的换算比例，C表示迁移成本，λ 3表示迁移成本的换算比例；
其中，所述迁移成本C的计算方式为：
其中，A表示待迁移数据量，B表示迁移带宽，c表示单位时间的迁移成本；
其中，所述S105具体包括：
S1051：从加密后的数据中分割出第一子数据；
S1052：根据所述第一子数据的文件大小与理想文件大小的关系，确定第二子数据的实际数据行数，并从加密后的数据中分割出第二子数据：
其中，h 2表示第二子数据的实际数据行数，表示第二子数据的理想数据行数，μ表示调节参数，h 1表示第一子数据的实际数据行数，S 1表示第一子数据的文件大小，S *表示理想文件大小；
S1053：依据同样的方式，从加密后的数据中分割出其他子数据：
其中，h k 表示第k个子数据的实际数据行数，表示第k个子数据的理想数据行数，h k-1表示第k-1个子数据的实际数据行数，S k-1表示第k-1个子数据的文件大小。
2.根据权利要求1所述的云端数据迁移方法，其特征在于，所述S103具体包括：
S1031：根据所述待迁入服务器的数量m，初始化具有m个粒子的粒子群；
S1032：确定初始搜寻速度和初始搜寻位置，对各个待迁移数据的全局最优位置进行搜寻；
S1033：在搜寻过程中引入惯性权重因子和收缩因子，将搜寻范围向全局最优位置不断缩小；
其中，所述惯性权重因子可表示为：
其中，w表示惯性权重因子，x表示当前粒子搜寻位置，J(x)表示当前粒子搜寻位置处的目标函数值，e表示自然对数，j表示迭代次数；
其中，所述收缩因子可表示为：
其中，ρ表示收缩因子，E表示平衡因子；
S1034：根据以下公式，更新种群搜寻速度和搜寻位置：
其中，表示第i个粒子在第j+1次迭代时的搜寻速度，/>表示第i个粒子在第j次迭代时的搜寻速度，E表示平衡因子，s表示步长因子，rand表示介于0到1之间的随机数，/>表示第i个粒子在第j+1次迭代时的搜寻位置，/>表示第i个粒子在第j次迭代时的搜寻位置；
S1035：直至搜寻位置收敛或者达到预设迭代次数，确定出待迁移数据的全局最优位置；
S1036：根据各个待迁移数据的全局最优位置，确定接收各个待迁移服务器中的待迁移数据的待迁入服务器。
3.根据权利要求1所述的云端数据迁移方法，其特征在于，所述S106具体包括：
S1061：确定对整个所述待迁移数据进行加密的私钥以及公钥；
S1062：根据整个所述待迁移数据的数字摘要以及所述私钥，计算所述待迁移数据的数字签名：
其中，sig表示数字签名，SK表示私钥，L 1表示待迁移数据的数字摘要，SHA.1表示SHA.1型哈希函数，M 1表示待迁移数据；
S1063：根据分割出的子数据的数量K，将所述数字签名分解为K个子签名；
S1064：通过第k个子签名与第k个子数据的实际数据行数，构建第k个子数据的加密密钥：
其中，K k 表示第k个子数据的加密密钥，Hash表示哈希运算，sig k 表示第k个子签名，h k 表示第k个子数据的实际数据行数；
S1065：通过第k个子签名对第k个子数据进行加密。
4.根据权利要求3所述的云端数据迁移方法，其特征在于，所述S1061具体包括：
S10611：选择两个大素数a和b，计算以及/>：
S10612：随机选择一个整数r，使得随机数r满足：
其中，表示随机数r与/>互质；
S10613：计算随机数r的逆元：
S10614：将(G,r)作为私钥SK，将(G,d)作为公钥EK，mod表示取模运算。
5.根据权利要求4所述的云端数据迁移方法，其特征在于，所述S1061还包括：
S10615：构建关于随机数r和逆元d的混沌映射关系式：
其中，n表示验证次数，r n 表示第n次验证时的随机数，r n+1表示第n+1次验证时的随机数，d n 表示第n次验证时的逆元，d n+1表示第n+1次验证时的逆元，β 1、β 2、β 3、β 4和β 5表示混沌参数且均为常数。
6.根据权利要求1所述的云端数据迁移方法，其特征在于，所述S107具体包括：
S1071：获取所述待迁移服务器的导出流数量和所述待迁入服务器的导入流数量；
S1072：当所述待迁移服务器的导出流数量和所述待迁入服务器的导入流数量相等时，按照一一对应的关系搭建数据流，通过数据流传输加密后的数据；
S1073：当所述待迁移服务器的导出流数量和所述待迁入服务器的导入流数量不相等时，根据以下公式设置数据流数量：
其中，Num t 表示数据流数量，LCM表示最小公倍数，Num o 表示所述待迁移服务器的导出流数量，Num i 表示所述待迁入服务器的导入流数量；
将所述待迁移服务器的每个导出流导出的加密后的数据，平均交给个数据流，将/>个数据流中的数据合并交给所述待迁入服务器的一个导入流，以完成加密后的数据的传输。
7.根据权利要求3所述的云端数据迁移方法，其特征在于，所述S110具体包括：
S1101：计算装载后的数据的数字摘要：
其中，L 2表示装载后的数据的数字摘要，SHA.1表示SHA.1型哈希函数，M 2表示装载后的数据；
S1102：检验待迁移数据的数字摘要L 1与装载后的数据的数字摘要L 2是否一致，若是，通过一致性检验，否则，不通过一致性检验。
CN202311287088.5A 2023-10-08 2023-10-08 一种云端数据迁移方法及系统 Active CN117376403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311287088.5A CN117376403B (zh) 2023-10-08 2023-10-08 一种云端数据迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311287088.5A CN117376403B (zh) 2023-10-08 2023-10-08 一种云端数据迁移方法及系统

Publications (2)

Publication Number Publication Date
CN117376403A CN117376403A (zh) 2024-01-09
CN117376403B true CN117376403B (zh) 2024-05-14

Family

ID=89397419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311287088.5A Active CN117376403B (zh) 2023-10-08 2023-10-08 一种云端数据迁移方法及系统

Country Status (1)

Country Link
CN (1) CN117376403B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049508A (zh) * 2015-07-21 2015-11-11 齐鲁工业大学 一种云数据迁移方法
CN111273870A (zh) * 2020-01-20 2020-06-12 深圳奥思数据科技有限公司 云存储系统间海量数据迭代迁移方法、设备及存储介质
CN111897652A (zh) * 2020-07-30 2020-11-06 湖南匡楚科技有限公司 一种基于l-bfgs的云资源动态优化方法
CN113590535A (zh) * 2021-09-30 2021-11-02 中国人民解放军国防科技大学 一种用于去重存储系统的高效数据迁移方法和装置
CN114610463A (zh) * 2022-03-21 2022-06-10 广东石油化工学院 一种基于稳定性理论的边云协同任务调度方法及系统
CN115988075A (zh) * 2022-12-07 2023-04-18 天翼云科技有限公司 一种基于人工鱼群算法的云数据迁移方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110296025A1 (en) * 2010-03-30 2011-12-01 Jason Lieblich Systems and methods for facilitating migration and adoption of an alternative computing infrastructure
US9461969B2 (en) * 2013-10-01 2016-10-04 Racemi, Inc. Migration of complex applications within a hybrid cloud environment
US9612765B2 (en) * 2014-11-19 2017-04-04 International Business Machines Corporation Context aware dynamic composition of migration plans to cloud
US20200379805A1 (en) * 2019-05-30 2020-12-03 Microsoft Technology Licensing, Llc Automated cloud-edge streaming workload distribution and bidirectional migration with lossless, once-only processing
US11741380B2 (en) * 2020-01-31 2023-08-29 Oracle International Corporation Machine learning predictions for database migrations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049508A (zh) * 2015-07-21 2015-11-11 齐鲁工业大学 一种云数据迁移方法
CN111273870A (zh) * 2020-01-20 2020-06-12 深圳奥思数据科技有限公司 云存储系统间海量数据迭代迁移方法、设备及存储介质
CN111897652A (zh) * 2020-07-30 2020-11-06 湖南匡楚科技有限公司 一种基于l-bfgs的云资源动态优化方法
CN113590535A (zh) * 2021-09-30 2021-11-02 中国人民解放军国防科技大学 一种用于去重存储系统的高效数据迁移方法和装置
CN114610463A (zh) * 2022-03-21 2022-06-10 广东石油化工学院 一种基于稳定性理论的边云协同任务调度方法及系统
CN115988075A (zh) * 2022-12-07 2023-04-18 天翼云科技有限公司 一种基于人工鱼群算法的云数据迁移方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙建朋 ; 邢建平 ; 韩言妮 ; 李东辕 ; .自适应的多虚拟机迁移调度算法.计算机工程与设计.2017,(05),全文. *
自适应的多虚拟机迁移调度算法;孙建朋;邢建平;韩言妮;李东辕;;计算机工程与设计;20170516(05);全文 *

Also Published As

Publication number Publication date
CN117376403A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
US20210226770A1 (en) Method, system, computer system and storage medium of uploading blockchain data
CN105531713A (zh) 从单个数据缓冲器生成多个安全散列
US10608813B1 (en) Layered encryption for long-lived data
Huang et al. Elastic resource allocation against imbalanced transaction assignments in sharding-based permissioned blockchains
Bitar et al. Private and rateless adaptive coded matrix-vector multiplication
CN104255011B (zh) 云计算安全数据存储
CN114595466A (zh) 实现对经加密的数据的机会认证
Ukwuoma et al. Post-quantum cryptography-driven security framework for cloud computing
Karthik et al. Choosing among heterogeneous server clouds
Zerfos et al. SDFS: Secure distributed file system for data-at-rest security for Hadoop-as-a-service
KR20130118088A (ko) 멀티 메타데이터 서버 구조를 갖는 분산 파일 시스템 및 이를 이용한 데이터 처리 방법
CN117376403B (zh) 一种云端数据迁移方法及系统
US11356254B1 (en) Encryption using indexed data from large data pads
CN108683729A (zh) 一种面向可信云的环境监测数据安全存储系统及方法
US11671251B1 (en) Application programming interface to generate data key pairs
CN112400171A (zh) 采用亚线性公钥操作的私有信息检索
Chen et al. Efficient request-based comparable encryption scheme based on sliding window method
CN109684856B (zh) 一种针对MapReduce计算的数据保密方法及系统
Beck et al. Optimal distributed gradient methods for network resource allocation problems
KR20210152030A (ko) Rlwe 암호문들의 압축 및 불확정적 확장
Chou et al. Performance study of online batch-based digital signature schemes
US11860868B2 (en) Secure database-as-a-service system
AT&T
Koushik et al. Data deduplication for cloud storage
Peiris et al. Vault-a shared distributed and redundant storage solution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240419

Address after: 200137 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Shanghai Zhixiangjia Information Technology Service Co.,Ltd.

Country or region after: China

Address before: 214124 Gaolang East Road 999-8-D2-801-803, Wuxi City, Jiangsu Province

Applicant before: Wuxi Anxin excellence Intelligent Technology Co.,Ltd.

Country or region before: China

Applicant before: Shanghai Zhixiangjia Information Technology Service Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant