CN114721995A - 应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法 - Google Patents

应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法 Download PDF

Info

Publication number
CN114721995A
CN114721995A CN202210338917.7A CN202210338917A CN114721995A CN 114721995 A CN114721995 A CN 114721995A CN 202210338917 A CN202210338917 A CN 202210338917A CN 114721995 A CN114721995 A CN 114721995A
Authority
CN
China
Prior art keywords
data
database
rdma
virtual
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210338917.7A
Other languages
English (en)
Inventor
李天泽
成子晗
胡亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Suninfo Technology Co ltd
Original Assignee
Shanghai Suninfo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Suninfo Technology Co ltd filed Critical Shanghai Suninfo Technology Co ltd
Priority to CN202210338917.7A priority Critical patent/CN114721995A/zh
Publication of CN114721995A publication Critical patent/CN114721995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及计算机技术技术领域，公开了一种应用于虚拟数据库的数据传输方法及基于RDMA的数据库虚拟化方法，应用于虚拟数据库的数据传输方法包括：在存储服务器与目标服务器之间建立第一传输通道和第二传输通道，第一传输通道支持RDMA协议，第二传输通道支持TCP协议，管理协议数据通过第二传输通道传输，虚拟库数据的读写通过第一传输通道实现传输。基于RDMA的数据库虚拟化方法包括：采用上述应用于虚拟数据库的数据传输方法将目标数据挂载至目标服务器，形成虚拟数据库。本申请虚拟库数据的输入与输出占用极少的以太网络带宽，解决了虚拟库使用过程中受到网络及CPU的影响，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。

Description

应用于虚拟数据库的数据传输方法及基于RDMA的数据库虚拟 化方法
技术领域
本申请涉及计算机技术技术领域，具体涉及一种应用于虚拟数据库的数据传输方法及基于RDMA的数据库虚拟化方法。
背景技术
数据虚拟化是针对异构、多源、多所有者的数据集，通过对数据资源的逻辑虚拟化，实现数据的集成管理，并提供统一的访问接口，以便为各数据消费需求提供跨数据源整理的数据服务。
目前虚拟库实现方案主要是基于TCP/UDP传统nfs或者iscsi等协议方式挂载实现，因此，网络带宽极大的影响了虚拟库的性能，同时，客户端服务的CPU 影响虚拟库性能，在一些需要高性跑批的场景中，虚拟库无法满足需求。
发明内容
为了改善虚拟库使用过程中受到网络及CPU 的影响，本申请提供了一种应用于虚拟数据库的数据传输方法及基于RDMA的数据库虚拟化方法。
第一方面，本申请提供了应用于虚拟数据库的数据传输方法，其通过以下技术方案实现：
在存储服务器与目标服务器之间建立第一传输通道和第二传输通道，所述第一传输通道支持RDMA协议，所述第二传输通道支持TCP协议;
管理协议数据通过所述第二传输通道传输，虚拟库数据的读写通过所述第一传输通道实现传输。
通过采用上述技术方案，管理协议通过传统的TCP/IP 网络进行传输，虚拟库数据的读写通过RDMA数据实现传输。解决了虚拟库使用过程中受到以太网带宽限制及CPU的影响。
在一些实施方式中，所述第一传输通道同时支持网络文件系统协议。
在一些实施方式中，所述第一传输通道支持infiniband环境。
通过采用上述技术方案，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
第二方面，本申请提供了基于RDMA的数据库虚拟化方法，包括：
对存储服务器的目标数据进行备份；
采用上述的应用于虚拟数据库的数据传输方法将目标数据挂载至目标服务器，形成虚拟数据库；
基于恢复指令恢复数据。
通过基于RDMA技术的网络协议挂载，将目标数据挂载到目标服务器，目标服务器中使用该数据创建虚拟库，管理协议通过传统的TCP/IP 网络进行传输，虚拟库数据的读写通过RDMA数据实现传输。解决了虚拟库使用过程中受到网络及CPU的影响。在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
在一些实施方式中，采用上述应用于虚拟数据库的数据传输方法将目标数据挂载至目标服务器，形成虚拟数据库后还包括：在虚拟数据库写入数据满足预设的策略时，对所述虚拟数据库进行快照，并记录创建快照时间点。
快照是基于时间点的位置引用记录，通过采用上述技术方案，能够记录某一时刻的数据信息并将其保存，便于在需要数据恢复时，通过快照将数据恢复到之前时间点的状态，即便于恢复数据。
在一些实施方式中，所述基于恢复指令恢复数据包括：
接收恢复指令，其中，恢复指令携带有恢复时间点；
基于恢复时间点确定目标时间点，所述目标时间点为距离恢复时间点之前最近的快照时间点；
获取目标时间点处的快照；
获取恢复时间点和目标时间点之间的日志信息；
将日志信息融合到备份的快照中，以恢复虚拟数据库中对应的数据。
第三方面，本申请提供了基于RDMA的数据库虚拟化系统，包括：
存储服务器，用于存储源数据；
目标服务器，数据的使用位于所述目标服务器；
在所述存储服务器与目标服务器之间建立第一传输通道和第二传输通道，所述第一传输通道支持RDMA协议，所述第二传输通道支持TCP协议；
采用上述的应用于虚拟数据库的数据传输方法将存储服务器中的目标数据挂载至目标服务器，形成虚拟数据库。
在一些实施方式中，所述第一传输通道同时支持网络文件系统协议，所述第一传输通道支持infiniband环境。
第四方面，本申请提供了一种基于RDMA的数据库虚拟化设备，包括：
一个或多个处理器；
计算机存储介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行上述的基于RDMA的数据库虚拟化方法。
第五方面，本申请提供了一种计算机存储介质，存储有程序，在所述程序运行时控制所述计算机存储介质所在设备执行上述的基于RDMA的数据库虚拟化方法。
本申请与现有技术相比，具有以下优点：
通过基于RDMA技术的网络协议挂载，将数据挂载到目标环境，目标环境中使用该数据创建虚拟库，管理协议通过传统的TCP/IP 网络进行传输，虚拟库数据的读写通过RDMA数据实现传输。解决了虚拟库使用过程中受到网络及CPU的影响，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
附图说明
图1为本申请提供的基于RDMA的数据库虚拟化系统的架构图；
图2为本申请提供的基于RDMA的数据库虚拟化方法的流程图；
图3为本申请提供的基于RDMA的数据库虚拟化方法中基于恢复指令恢复数据的流程图。
图中，1、存储服务器；2、目标服务器。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本申请首先公开了基于RDMA的数据库虚拟化系统，如图1所示，包括：
存储服务器1，用于存储源数据；
目标服务器2，数据的使用位于目标服务器2；
在存储服务器1与目标服务器2之间建立第一传输通道和第二传输通道，第一传输通道支持RDMA协议，同时，第一传输通道可支持网络文件系统协议，第一传输通道可支持infiniband环境；第二传输通道支持TCP协议。
本申请还公开了应用于虚拟数据库的数据传输方法，基于本申请上述提供的基于RDMA的数据库虚拟化系统，管理协议数据通过第二传输通道传输，虚拟库数据的读写通过第一传输通道实现传输。
本申请还公开了基于RDMA的数据库虚拟化方法，该数据库虚拟化方法基于本申请上述提供的基于RDMA的数据库虚拟化系统，且运用本申请上述提供的应用于虚拟数据库的数据传输方法的，如图2所示，具体包括：
S100：对存储服务器1的目标数据进行备份；
备份包括：全数据备份和增量数据备份，其中，全数据备份为备份数据库的全部数据，增量数据备份为只备份前一次全数据备份后新增加的数据。
S200：采用本申请上述提供的应用于虚拟数据库的数据传输方法，将目标数据挂载至目标服务器2，形成虚拟数据库；
即管理协议数据通过第二传输通道传输，虚拟库数据的读写通过第一传输通道实现传输，以此，解决了虚拟库使用过程中受到网络及CPU的影响，另外，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求；
S300：在虚拟数据库写入的数据满足预设策略时（如时间策略或数据量策略），对虚拟数据库进行快照，并记录创建快照时间；
快照是基于时间点的数据拷贝，其目的在于能够记录某一时刻的数据信息并将其保存，若之后需要数据恢复时，可以通过快照将数据恢复到之前时间点的状态；
S400：基于恢复指令恢复数据，具体如图3所示，包括：
S401：基于恢复时间点确定目标时间点，目标时间点为距离恢复时间点之前最近的快照时间点；
如：分别在2022年3月25日8：00，2022年3月25日8：10，2022年3月25日8：20，2022年3月25日8：30分别进行快照，希望恢复2022年3月25日8：25的数据，则对应的目标时间点为2022年3月25日8：20。
S402：获取目标时间点处的快照；
基于上述实例，对应的获取2022年3月25日8：20的快照。
S403：获取恢复时间点和目标时间点之间的日志信息；
S404：将日志信息融合到备份的快照中，以恢复虚拟数据库中数据至对应时间点；
即首先读取快照，将快照进行存储，然后处于挂载状态的虚拟数据库将日志信息融合到存储快照的数据库中，以将虚拟数据库恢复到目标时间点，从而恢复虚拟数据库中数据。
例如，需要恢复虚拟数据库中2022年3月25日8：25的数据，则距离最近的快照时间点为2022年3月25日8：20，读取2022年3月25日8：20的快照，并将快照存储至一数据库，处于挂载状态的虚拟数据库将2022年3月25日8：20至2022年3月25日8：25的日志信息融合至存储快照的数据库中，从而将虚拟数据库恢复到目标时间点，恢复虚拟数据库中的数据。
本申请公开的基于RDMA的数据库虚拟化方法，通过基于RDMA技术的网络协议挂载，将数据挂载到目标环境，即目标服务器2，目标环境中使用该数据创建虚拟库，其中，管理协议通过传统的TCP/IP 网络进行传输，虚拟库数据的读写通过RDMA数据实现传输。解决了虚拟库使用过程中受到网络及CPU的影响，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
本申请还公开了基于RDMA的数据库虚拟化设备，包括：
一个或多个处理器；
计算机存储介质，用于存储一个或多个计算机可读指令，
当一个或多个计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现上述的基于RDMA的数据库虚拟化方法。
本申请还公开了计算机存储介质，其存储有一个或多个计算机可读指令，计算机可读指令被处理器执行时，使得处理器实现上述的基于RDMA的数据库虚拟化方法。计算机存储介质可能包括计算机可读介质中的非永久性存储器，计算机的存储介质的例子包括，但不限于相变内存PRAM、静态随机存取存储器SRAM、动态随机存取存储器DRAM、其他类型的随机存取存储器RAM、只读存储器ROM、电可擦除可编程只读存储器EEPROM、快闪记忆体或其他内存技术、只读光盘只读存储器CD-ROM、数字多功能光盘DVD或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体transitory media，如调制的数据信号和载波。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
以上对本申请及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本申请的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本申请创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本申请的保护范围。

Claims (10)

1.应用于虚拟数据库的数据传输方法，其特征在于，包括：
在存储服务器（1）与目标服务器（2）之间建立第一传输通道和第二传输通道，所述第一传输通道支持RDMA协议，所述第二传输通道支持TCP协议;
管理协议数据通过所述第二传输通道传输，虚拟库数据的读写通过所述第一传输通道实现传输。
2.根据权利要求1所述的应用于虚拟数据库的数据传输方法，其特征在于所述第一传输通道同时支持网络文件系统协议。
3.根据权利要求1或2所述的应用于虚拟数据库的数据传输方法，其特征在于，所述第一传输通道支持infiniband环境。
4.基于RDMA的数据库虚拟化方法，其特征在于，包括：
对存储服务器（1）的目标数据进行备份；
采用权利要求3所述的应用于虚拟数据库的数据传输方法将目标数据挂载至目标服务器（2），形成虚拟数据库；
基于恢复指令恢复数据。
5.根据权利要求4所述的基于RDMA的数据库虚拟化方法，其特征在于，采用权利要求3所述的应用于虚拟数据库的数据传输方法将目标数据挂载至目标服务器（2），形成虚拟数据库后还包括：在虚拟数据库写入数据满足预设策略时，对所述虚拟数据库进行快照，并记录创建快照时间点。
6.根据权利要求5所述的基于RDMA的数据库虚拟化方法，其特征在于，所述基于恢复指令恢复数据包括：
接收恢复指令，其中，恢复指令携带有恢复时间点；
基于恢复时间点确定目标时间点，所述目标时间点为距离恢复时间点之前最近的快照时间点；
获取目标时间点处的快照；
获取恢复时间点和目标时间点之间的日志信息；
将日志信息融合到备份的快照中，以恢复虚拟数据库中对应的数据。
7.基于RDMA的数据库虚拟化系统，其特征在于，包括：
存储服务器（1），用于存储源数据；
目标服务器（2），数据的使用位于所述目标服务器（2）；
在所述存储服务器（1）与目标服务器（2）之间建立第一传输通道和第二传输通道，所述第一传输通道支持RDMA协议，所述第二传输通道支持TCP协议；
采用权利要求3所述的应用于虚拟数据库的数据传输方法将存储服务器（1）中的目标数据挂载至目标服务器（2），形成虚拟数据库。
8.根据权利要求7所述的RDMA的数据库虚拟化系统，其特征在于，所述第一传输通道同时支持网络文件系统协议，所述第一传输通道支持infiniband环境。
9.一种基于RDMA的数据库虚拟化设备，其特征在于，包括：
一个或多个处理器；
计算机存储介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行时，使得一个或多个处理器实现权利要求4至6中任意一项所述的基于RDMA的数据库虚拟化方法。
10.一种计算机存储介质，其特征在于，存储有程序，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求4至6中任意一项所述的基于RDMA的数据库虚拟化方法。
CN202210338917.7A 2022-04-01 2022-04-01 应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法 Pending CN114721995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210338917.7A CN114721995A (zh) 2022-04-01 2022-04-01 应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210338917.7A CN114721995A (zh) 2022-04-01 2022-04-01 应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法

Publications (1)

Publication Number Publication Date
CN114721995A true CN114721995A (zh) 2022-07-08

Family

ID=82241991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210338917.7A Pending CN114721995A (zh) 2022-04-01 2022-04-01 应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法

Country Status (1)

Country Link
CN (1) CN114721995A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118738A (zh) * 2022-08-30 2022-09-27 深圳华锐分布式技术股份有限公司 基于rdma的灾备方法、装置、设备及介质
CN115328408A (zh) * 2022-10-14 2022-11-11 联想凌拓科技有限公司 用于数据处理的方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118738A (zh) * 2022-08-30 2022-09-27 深圳华锐分布式技术股份有限公司 基于rdma的灾备方法、装置、设备及介质
CN115118738B (zh) * 2022-08-30 2022-11-22 深圳华锐分布式技术股份有限公司 基于rdma的灾备方法、装置、设备及介质
CN115328408A (zh) * 2022-10-14 2022-11-11 联想凌拓科技有限公司 用于数据处理的方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US7716186B2 (en) Method and system for transparent backup to a hierarchical storage system
EP2638476B1 (en) Method and apparatus of accessing data of virtual machine
CN114721995A (zh) 应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法
US8782005B2 (en) Pruning previously-allocated free blocks from a synthetic backup
US10725666B2 (en) Memory-based on-demand data page generation
US10353621B1 (en) File block addressing for backups
US9020992B1 (en) Systems and methods for facilitating file archiving
US11269846B2 (en) Efficient database journaling using non-volatile system memory
US8423517B2 (en) System and method for determining the age of objects in the presence of unreliable clocks
CN103516549A (zh) 一种基于共享对象存储的文件系统元数据日志机制
US11327998B2 (en) Replication between heterogeneous storage systems
US11132141B2 (en) System and method for synchronization of data containers
US11514002B2 (en) Indexing splitter for any pit replication
US10210013B1 (en) Systems and methods for making snapshots available
CN112912853B (zh) 到云的任何时间点复制
US9032169B2 (en) Method for high performance dump data set creation
US11341163B1 (en) Multi-level replication filtering for a distributed database
US10063256B1 (en) Writing copies of objects in enterprise object storage systems
US11487631B2 (en) Data refresh in a replication environment
US7962710B1 (en) Techniques for creating checkpoints
KR101162398B1 (ko) 체크포인트 및 일치 표지
CN118193641A (zh) 一种快速数据复制的方法及设备
CN117873961A (zh) 内部快照的处理方法、设备及计算机可读介质
CN117742616A (zh) 小io随机读写处理方法、设备及计算机可读介质
JP2023515354A (ja) データベースのエージェントレスな加速化バックアップのためのシステム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination