CN112732488B - 一种采用cmsp同步数据实现虚机内数据库备份的方法 - Google Patents

一种采用cmsp同步数据实现虚机内数据库备份的方法 Download PDF

Info

Publication number
CN112732488B
CN112732488B CN202110028958.1A CN202110028958A CN112732488B CN 112732488 B CN112732488 B CN 112732488B CN 202110028958 A CN202110028958 A CN 202110028958A CN 112732488 B CN112732488 B CN 112732488B
Authority
CN
China
Prior art keywords
database
backup
cmsp
log
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110028958.1A
Other languages
English (en)
Other versions
CN112732488A (zh
Inventor
刘宇泰
王方
邢文才
王大帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110028958.1A priority Critical patent/CN112732488B/zh
Publication of CN112732488A publication Critical patent/CN112732488A/zh
Application granted granted Critical
Publication of CN112732488B publication Critical patent/CN112732488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种采用cmsp同步数据实现虚机内数据库备份的方法，属于cmsp数据同步工具与数据库备份技术领域。本发明的采用cmsp同步数据实现虚机内数据库备份的方法在需执行备份的数据库所在的虚机中执行cmsp安装命令，安装cmsp采集端agent，在备份服务器中执行cmsp安装命令，安装cmsp入库端agent，在cmsp中指定数据采集路径、要采集的数据库信息以及数据入库路径，执行数据同步操作将指定数据库中的执行日志同步到备份服务器，在备份服务器中根据执行日志生成新的数据库。该发明的采用cmsp同步数据实现虚机内数据库备份的方法能够在备份时同步用户数据，保护数据安全，具有很好的推广应用价值。

Description

一种采用cmsp同步数据实现虚机内数据库备份的方法
技术领域
本发明涉及cmsp数据同步工具与数据库备份技术领域，具体提供一种采用cmsp同步数据实现虚机内数据库备份的方法。
背景技术
随着数据时代的到来，数据量正呈爆发性的增长，数据容灾备份正面临严峻的挑战。一方面当遇到一些病毒、人为入侵、硬件故障及种种自然灾害导致用户数据丢失、业务中断，需要使用备份来执行数据恢复；另一方面数据量愈发巨大、数据种类愈发繁多、数据存放单一会带来各种各样的数据安全及不可靠的隐患，因此数据的同步与备份愈发重要。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够在备份时同步用户数据，不影响用户使用空间，并能保护用户的数据安全的采用cmsp同步数据实现虚机内数据库备份的方法。
为实现上述目的，本发明提供了如下技术方案：
一种采用cmsp同步数据实现虚机内数据库备份的方法，在需执行备份的数据库所在的虚机中执行cmsp安装命令，安装cmsp采集端agent，在备份服务器中执行cmsp安装命令，安装cmsp入库端agent，在cmsp中指定数据采集路径、要采集的数据库信息以及数据入库路径，执行数据同步操作将指定数据库中的执行日志同步到备份服务器，在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库，在后续执行增量备份时，将备份数据库中的pos_log中的信息解析，该日志位置作为起始位置进行增量，将要执行备份的数据库执行日志进行压缩加密，上传至存储后端。
作为优选，该采用cmsp同步数据实现虚机内数据库备份的方法具体包括以下步骤：
S1、在用户虚拟内执行cmsp指令，安装数据采集端agent；
S2、在备份服务器中执行cmsp指令，安装数据入库端agent；
S3、在cmsp上配置数据采集路径、需采集的数据库信息及数据入库路径；
S4、步骤S3中配置成功后，在cmsp上执行同步操作，从用户虚机中采集指定数据库执行日志至备份服务器；
S5、在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库；
S6、判断是否执行增量操作，若执行增量则从信息数据库中获取pos_log解析出备份的起始位置；
S7、执行备份，将数据传入存储后端，并将备份信息存入信息数据库。
作为优选，步骤S1中，在cmsp中根据虚拟ip测试调用采集端。
作为优选，步骤S2中，在cmsp中根据备份服务器ip测试调用入库端。
作为优选，步骤S3中，需指定数据采集路径为数据库日志存储路径，采集的数据库信息为要备份的数据库，并设置上数据库的用户名和密码，通过用户名和密码对数据库连接，若连接成功则执行备份操作。
作为优选，步骤S3中，指定数据入库路径，将用户执行历史同步至该指定路径。
作为优选，步骤S4中，执行同步操作后，需执行同步过来的操作历史日志，复原数据库。
由于存在多个采集端采集数据，复原的数据库中会出现重名的情况，故在复原数据库时对数据库名进行处理，生成数据库名_时间戳作为新数据库名保证数据库复原成功。通过同步的数据复原数据库，防止出现库重名情况在库名上增加时间戳作为区分。
作为优选，步骤S5中，根据数据库执行日志的每n条记录进行加密生成一个唯一的mess_log，将多条mess_log进行加密生成唯一的pos_log存入信息数据库。
作为优选，步骤S6中，判断备份类型为增量备份或全量备份，若需要执行增量备份，从信息数据库中获取pos_log，进行解析，获取到需要执行备份的起始日志位置。
作为优选，步骤S7中，将历史执行日志的起始位置至结束位置进行加密压缩处理，生成tar包及加密索引，将tar包执行上传操作上传至存储后端，若上传成功获取备份存储位置索引，创建加密索引和备份存储位置索引的二元组，存储记录备份对应的存储信息，将生成的二元组存入信息数据库，对备份信息进行记录。
与现有技术相比，本发明的采用cmsp同步数据实现虚机内数据库备份的方法具有以下突出的有益效果：所述采用cmsp同步数据实现虚机内数据库备份的方法原理可靠，实现简单，能够实现备份用户虚机中的数据库操作，极大的节省用户的存储空间，同时保证用户数据的安全，对于用户更为人性化与便捷，提高了用户体验，具有广泛的应用前景。
附图说明
图1是本发明所述采用cmsp同步数据实现虚机内数据库备份的方法的流程。
具体实施方式
下面将结合附图和实施例，对本发明的采用cmsp同步数据实现虚机内数据库备份的方法作进一步详细说明。
实施例
本发明的采用cmsp同步数据实现虚机内数据库备份的方法在需执行备份的数据库所在的虚机中执行cmsp安装命令，安装cmsp采集端agent，在备份服务器中执行cmsp安装命令，安装cmsp入库端agent，在cmsp中指定数据采集路径、要采集的数据库信息以及数据入库路径，执行数据同步操作将指定数据库中的执行日志同步到备份服务器，在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库，在后续执行增量备份时，将备份数据库中的pos_log中的信息解析，该日志位置作为起始位置进行增量，将要执行备份的数据库执行日志进行压缩加密，上传至存储后端。
该采用cmsp同步数据实现虚机内数据库备份的方法具体包括以下步骤：
S1、在用户虚拟内执行cmsp指令，安装数据采集端agent。
在cmsp中根据虚拟ip测试调用采集端，确保cmsp连接备份服务器成功。
S2、在备份服务器中执行cmsp指令，安装数据入库端agent。
在cmsp中根据备份服务器ip测试调用入库端，确保cmsp连接用户虚机成功。
S3、在cmsp上配置数据采集路径、需采集的数据库信息及数据入库路径。
需指定数据采集路径为数据库日志存储路径，采集的数据库信息为要备份的数据库，并设置上数据库的用户名和密码，通过用户名和密码对数据库连接，若连接成功则执行备份操作。指定数据入库路径，将用户执行历史同步至该指定路径。
S4、步骤S3中配置成功后，在cmsp上执行同步操作，从用户虚机中采集指定数据库执行日志至备份服务器。
执行同步操作后，需执行同步过来的操作历史日志，复原数据库。由于存在多个采集端采集数据，复原的数据库中会出现重名的情况，故在复原数据库时对数据库名进行处理，生成数据库名_时间戳作为新数据库名保证数据库复原成功。通过同步的数据复原数据库，防止出现库重名情况在库名上增加时间戳作为区分。
S5、在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库。
根据数据库执行日志的每n条记录进行加密生成一个唯一的mess_log，将多条mess_log进行加密生成唯一的pos_log存入信息数据库。
S6、判断是否执行增量操作，若执行增量则从信息数据库中获取pos_log解析出备份的起始位置。
判断备份类型为增量备份或全量备份，若需要执行增量备份，从信息数据库中获取pos_log，进行解析，获取到需要执行备份的起始日志位置。
S7、执行备份，将数据传入存储后端，并将备份信息存入信息数据库。
将历史执行日志的起始位置(全量为历史执行日志开头)至结束位置进行加密压缩处理，生成tar包及加密索引，将tar包执行上传操作上传至存储后端，若上传成功获取备份存储位置索引，创建加密索引和备份存储位置索引的二元组，存储记录备份对应的存储信息，将生成的二元组存入信息数据库，对备份信息进行记录。
如图1所示，该采用cmsp同步数据实现虚机内数据库备份的方法具体执行过程中，通过cmsp采集端agent采集数据库数据；通过cmsp同步数据到备份服务器；在备份服务器中生成新的临时数据库；利用备份xtrabackup执行备份，获取加密索引；将备份上传到底层存储，获取备份存储位置索引；生成加密索引和备份存储位置索引二元组并存入信息数据库。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (9)

1.一种采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：在需执行备份的数据库所在的虚机中执行cmsp安装命令，安装cmsp采集端agent，在备份服务器中执行cmsp安装命令，安装cmsp入库端agent，在cmsp中指定数据采集路径、要执行备份的数据库以及数据入库路径，其中，所述数据采集路径为数据库执行日志的存储路径，数据入库路径用于同步指定数据库的执行日志；执行数据同步操作将要执行备份的数据库中的执行日志同步到备份服务器，在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库，其中所述唯一标识符pos_log为根据数据库执行日志的每n条记录进行加密生成一个唯一的mess_log，将多条mess_log进行加密生成唯一的pos_log，pos_log存入信息数据库；在后续执行增量备份时，将信息数据库中的pos_log中的信息解析，以得到pos_log对应执行日志的起始日志位置，将所述起始日志位置作为起始位置进行增量备份，将要执行备份的数据库执行日志进行压缩加密，上传至存储后端。
2.根据权利要求1所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：具体包括以下步骤：
S1、在用户虚拟内执行cmsp指令，安装数据采集端agent；
S2、在备份服务器中执行cmsp指令，安装数据入库端agent；
S3、在cmsp上配置数据采集路径、需采集的数据库信息及数据入库路径；
S4、步骤S3中配置成功后，在cmsp上执行同步操作，从用户虚机中采集要执行备份的数据库执行日志至备份服务器；
S5、在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库；
S6、判断是否执行增量操作，若执行增量则从信息数据库中获取pos_log解析出备份的起始位置；
S7、执行备份，将执行日志进行压缩加密传入存储后端，并将备份信息存入信息数据库。
3.根据权利要求2所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：步骤S1中，在cmsp中根据虚拟ip测试调用采集端。
4.根据权利要求3所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：步骤S2中，在cmsp中根据备份服务器ip测试调用入库端。
5.根据权利要求4所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：步骤S3中，需指定数据采集路径为数据库日志存储路径，采集的数据库信息为要备份的数据库，并设置数据库的用户名和密码，通过用户名和密码对数据库连接，若连接成功则执行备份操作。
6.根据权利要求5所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：步骤S3中，指定数据入库路径，将执行日志同步至该指定数据入库路径。
7.根据权利要求6所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：步骤S4中，执行同步操作后，需执行同步过来的执行日志，复原数据库。
8.根据权利要求7所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：步骤S6中，判断备份类型为增量备份或全量备份，若需要执行增量备份，从信息数据库中获取pos_log，进行解析，获取到需要执行备份的起始日志位置。
9.根据权利要求8所述的采用cmsp同步数据实现虚机内数据库备份的方法，其特征在于：步骤S7中，将执行日志的起始位置至结束位置进行加密压缩处理，生成tar包及加密索引，将tar包执行上传操作上传至存储后端，若上传成功获取备份存储位置索引，创建加密索引和备份存储位置索引的二元组，存储记录备份对应的存储信息，将生成的二元组存入信息数据库，对备份信息进行记录。
CN202110028958.1A 2021-01-11 2021-01-11 一种采用cmsp同步数据实现虚机内数据库备份的方法 Active CN112732488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110028958.1A CN112732488B (zh) 2021-01-11 2021-01-11 一种采用cmsp同步数据实现虚机内数据库备份的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110028958.1A CN112732488B (zh) 2021-01-11 2021-01-11 一种采用cmsp同步数据实现虚机内数据库备份的方法

Publications (2)

Publication Number Publication Date
CN112732488A CN112732488A (zh) 2021-04-30
CN112732488B true CN112732488B (zh) 2023-02-28

Family

ID=75590080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110028958.1A Active CN112732488B (zh) 2021-01-11 2021-01-11 一种采用cmsp同步数据实现虚机内数据库备份的方法

Country Status (1)

Country Link
CN (1) CN112732488B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787135A (zh) * 2016-04-11 2016-07-20 久盈世纪（北京）科技有限公司 一种用于数据库日志备份的方法与设备
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
CN109005176A (zh) * 2018-08-07 2018-12-14 山东省国土资源信息中心 一种不动产数据上报系统及方法
CN110175213A (zh) * 2019-05-27 2019-08-27 浪潮软件集团有限公司 一种基于SCN方式的Oracle数据库同步系统及方法
CN110502490A (zh) * 2019-08-30 2019-11-26 浪潮软件集团有限公司 一种MongoDB数据库数据同步系统及实现方法
CN110879813A (zh) * 2019-11-20 2020-03-13 浪潮软件股份有限公司 一种基于二进制日志解析的MySQL数据库增量同步实现方法
CN111241191A (zh) * 2019-12-31 2020-06-05 航天信息股份有限公司 一种数据库的同步方法及装置
US10725866B1 (en) * 2019-04-11 2020-07-28 Netapp, Inc. Methods and systems for protecting databases of a database availability group

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787135A (zh) * 2016-04-11 2016-07-20 久盈世纪（北京）科技有限公司 一种用于数据库日志备份的方法与设备
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
CN109005176A (zh) * 2018-08-07 2018-12-14 山东省国土资源信息中心 一种不动产数据上报系统及方法
US10725866B1 (en) * 2019-04-11 2020-07-28 Netapp, Inc. Methods and systems for protecting databases of a database availability group
CN110175213A (zh) * 2019-05-27 2019-08-27 浪潮软件集团有限公司 一种基于SCN方式的Oracle数据库同步系统及方法
CN110502490A (zh) * 2019-08-30 2019-11-26 浪潮软件集团有限公司 一种MongoDB数据库数据同步系统及实现方法
CN110879813A (zh) * 2019-11-20 2020-03-13 浪潮软件股份有限公司 一种基于二进制日志解析的MySQL数据库增量同步实现方法
CN111241191A (zh) * 2019-12-31 2020-06-05 航天信息股份有限公司 一种数据库的同步方法及装置

Also Published As

Publication number Publication date
CN112732488A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US7421621B1 (en) Application integration testing
US9031997B2 (en) Log file compression
CN105550073A (zh) 数据库备份方法及其系统
CN107977473B (zh) 基于Logback的分布式系统日志的检索方法和系统
CN111475324B (zh) 日志信息的分析方法、装置、计算机设备和存储介质
CN111241062B (zh) 一种数据库备份元数据的迁移方法及装置
CN110120983B (zh) 基于inotify和rsync自动化安装部署实现SVN实时同步备份的方法和系统
CN113064760B (zh) 数据库合成备份方法、装置、计算机设备和存储介质
CN106681865B (zh) 业务恢复方法及装置
CN110569142A (zh) 一种oracle数据增量同步系统及方法
CN110609813A (zh) 一种数据存储系统及方法
CN113590639A (zh) 一种网闸隔离的数据库之间数据同步方法
CN112732488B (zh) 一种采用cmsp同步数据实现虚机内数据库备份的方法
CN106487852B (zh) 实现客户端文件同步的方法、装置、终端设备及系统
CN104063294B (zh) 一种Linux系统备份和恢复方法
CN112925676A (zh) 一种基于wal实现分布式数据库集群任意时间点恢复的方法
KR20080107339A (ko) 복수의 이벤트 식별자가 포함된 데이타구조체를 이용한 데이타동기화 방법 및 상기 방법을 이용한 데이타 백업솔루션
CN116382961A (zh) 一种定位操作系统故障的方法、装置、电子设备及存储介质
CN112765279A (zh) 一种数据库同步方法和系统
CN114756623A (zh) 一种非同源数据库同步方法及装置
CN102346757A (zh) Ims数据库联机交易中数据影印方法及系统
CN117312175B (zh) 数据处理方法、装置、计算机设备及存储介质
CN107239505B (zh) 集群镜像同步方法和系统
CN111611107A (zh) 获取数据库日志的方法及装置
CN112463163B (zh) 一种实现对功能模块代码问题快速定位的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant