CN103226501A - 一种数据库的逻辑备份方法以及逻辑备份系统 - Google Patents
一种数据库的逻辑备份方法以及逻辑备份系统 Download PDFInfo
- Publication number
- CN103226501A CN103226501A CN2013101661454A CN201310166145A CN103226501A CN 103226501 A CN103226501 A CN 103226501A CN 2013101661454 A CN2013101661454 A CN 2013101661454A CN 201310166145 A CN201310166145 A CN 201310166145A CN 103226501 A CN103226501 A CN 103226501A
- Authority
- CN
- China
- Prior art keywords
- backup
- node
- logic
- information
- network segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提供一种数据库的逻辑备份方法及逻辑备份系统,所述方法包括:网段集中部署节点向多个生产服务器节点发送逻辑备份请求;生产服务器节点根据逻辑备份请求将生产数据进行逻辑备份,得到备份数据;生产服务器将备份数据、逻辑备份过程中生成的运行作业信息以及备份日志发送至网段集中部署节点;网段集中部署节点将多个所述的备份日志进行汇总,生成日志信息;中心节点抓取所述的网段集中部署节点上的日志信息、运行作业信息;中心节点对所述的日志信息进行分析,得到分析结果信息;中心节点对所述的运行作业信息进行分析,得到分析结果。克服了现有技术中的备份系统管理分散、并行备份作业量大、运维繁琐的技术难题。
Description
技术领域
本发明是关于数据库技术领域,特别是关于数据库的备份技术,具体的讲是一种数据库的逻辑备份方法以及逻辑备份系统。
背景技术
数据库作为开放平台系统中最为关键的部件,在日常生产活动中有着至关重要的作用。其中,数据库中数据的安全则是重中之重,是数据库健康平稳运行的基本要求。长期以来,数据库面临着诸多安全问题,尤其是数据库中的逻辑结构遭到破坏(诸如表被误删除),其作为一种破坏性较强的故障,业界一直没有好的方法进行数据的快速恢复。一旦数据库中出现上述数据丢失,将对日常生产活动以及企业造成不可估量的损失。
数据库的逻辑备份是一种对数据库按照逻辑结构(诸如表、索引等)进行备份的方法。数据库逻辑备份之后,将存储为dmp格式的文件。逻辑备份的优点在于转换为dmp文件时会压缩原始数据,因此,存储空间是传统方式的1/4到1/2。除此以外,在数据进行恢复时,传统的恢复方式所需时间较长,而逻辑备份可以精确到数据库表级别的细粒度恢复,从而减少了数据恢复期间对业务的影响。
目前,数据备份方式采用的是一种分散方式,通过在每一台生产服务器上配置脚本的方式回收备份结果信息。但随着数据库数量的不断增长,备份的效率变得很低,将会影响数据库系统的日常生产数据的处理;而且,这种备份方式不能实现集中管理、安全性低、运维繁琐、不能满足数据中心安全生产的要求。
发明内容
为了克服了现有技术中的备份系统管理分散、并行备份作业量大、运维繁琐的技术难题,本发明实施例提供了一种数据库的逻辑备份方法以及逻辑备份系统,通过采用集中部署模式,在网段集中部署节点部署备份脚本,对于同一网段内的生产服务器采取统一逻辑备份策略,逻辑备份数据存储在网段集中部署节点上,相比原逻辑备份系统,管理更加方便,运维成本随之降低。
本发明的目的之一是,提供一种数据库的逻辑备份方法,所述的方法包括:网段集中部署节点向多个生产服务器节点发送逻辑备份请求;所述的生产服务器节点根据所述的逻辑备份请求将生产数据进行逻辑备份,得到备份数据;所述的生产服务器将备份数据、逻辑备份过程中生成的运行作业信息以及备份日志发送至所述的网段集中部署节点,所述的运行作业信息包括逻辑备份的开始时间、结束时间;所述的网段集中部署节点将多个所述的备份日志进行汇总,生成日志信息;所述的中心节点抓取所述的网段集中部署节点上的日志信息、运行作业信息;所述的中心节点对所述的日志信息进行分析,得到分析结果信息;所述的中心节点对所述的运行作业信息进行分析,得到分析结果。
本发明的目的之一是,提供一种数据库的逻辑备份系统,所述的逻辑备份系统包括三层节点,第一层节点包括中心节点,第二层节点包括多个网段集中部署节点,第三层节点包括多个生产服务器节点;
其中,所述的生产服务器节点具体包括:逻辑备份请求接收模块,用于接收所述的网段集中部署节点发送的逻辑备份请求;所述的备份模块,用于根据所述的逻辑备份请求将生产数据进行逻辑备份,得到备份数据;运行作业信息生成模块,用于根据逻辑备份过程生成运行作业信息,所述的运行作业信息包括逻辑备份的开始时间、结束时间;备份日志生成模块,用于根据逻辑备份过程生成备份日志;发送模块,用于将所述的备份数据、运行作业信息以及备份日志发送至所述的网段集中部署节点;
所述的网段集中部署节点具体包括:逻辑备份请求发送模块,用于向多个生产服务器节点发送逻辑备份请求;接收模块,用于接收所述的多个生产服务器节点发送的备份数据、运行作业信息以及备份日志;日志信息生成模块,用于将多个所述的备份日志进行汇总,生成日志信息;
所述的中心节点具体包括:抓取模块,用于抓取所述的网段集中部署节点上的日志信息、运行作业信息;日志信息分析模块,用于对所述的日志信息进行分析,得到分析结果信息;运行作业分析模块,用于对所述的运行作业信息进行分析,得到分析结果。
本发明的有益效果在于,提供了一种数据库的逻辑备份方法以及逻辑备份系统,通过采用集中部署模式,在网段集中部署节点部署备份脚本,对于同一网段内的生产服务器采取统一逻辑备份策略,逻辑备份数据存储在网段集中部署节点上,相比原逻辑备份系统,管理更加方便,运维成本随之降低,提高了数据库系统逻辑备份效率,资源利用率,提高了数据库的安全性,降低了运行维护成本,整体结构设计灵活,实现集中化管理之后,对现有备份策略的更改以及增删都更加灵活方便,降低人力成本和管理成本。解决了原逻辑备份分散化部署、脚本效率低、成功率低、监控有效性差、无法集中管理和展现的缺点。
为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据库的逻辑备份方法的实施方式一的具体流程图;
图2为本发明实施例提供的一种数据库的逻辑备份方法的实施方式二的具体流程图;
图3为图1中的步骤S105的具体流程图;
图4为图1中的步骤S106的具体流程图;
图5为图1中的步骤S107的具体流程图;
图6为本发明实施例提供的一种数据库的逻辑备份方法的实施方式三的具体流程图;
图7为本发明实施例提供的一种数据库的逻辑备份系统的网络架构图;
图8为本发明实施例提供的一种数据库的逻辑备份系统中生产服务器节的结构框图;
图9为本发明实施例提供的一种数据库的逻辑备份系统中网段集中部署节点的实施方式一的结构框图;
图10为本发明实施例提供的一种数据库的逻辑备份系统中网段集中部署节点的实施方式二的结构框图;
图11为本发明实施例提供的一种数据库的逻辑备份系统中中心节点的结构框图;
图12为本发明实施例提供的一种数据库的逻辑备份系统中抓取模块的结构框图;
图13为本发明实施例提供的一种数据库的逻辑备份系统中日志信息分析模块的结构框图;
图14为本发明实施例提供的一种数据库的逻辑备份系统中运行作业分析模块的结构框图;
图15为本发明实施例提供的一种数据库的逻辑备份系统的实施方式二的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种数据库的逻辑备份方法的实施方式一的具体流程图,由图1可知,在实施方式一中,逻辑备份方法具体包括:
S101:网段集中部署节点向多个生产服务器节点发送逻辑备份请求;
S102:所述的生产服务器节点根据所述的逻辑备份请求将生产数据进行逻辑备份,得到备份数据;
可预先规定逻辑备份架构中的中心节点和网段集中部署节点的作业调度方式,包括作业发起的时间和作业实施的对象。在本实施方式中,首先由网段集中部署节点发起备份作业请求,然后由中心节点根据网段集中部署节点的作业运行结果进行日志抓取作业。作业调度按照周期有规则的执行,一次调度完成后将产生相应的备份作业信息。
在具体的实施方式中,步骤S102可采用Oracle数据泵技术进行备份,主要完成的功能包括:
a)初始化逻辑备份的相关参数信息,包括主机IP、导出内容、转储路径等。
b)由网段集中部署节点向生产服务器发起逻辑备份请求,实现逻辑备份过程。
c)记录发送备份开始时间和备份结束时间。
步骤S102进行备份时的参数如表1所示:
表1
S103:所述的生产服务器将备份数据、逻辑备份过程中生成的运行作业信息以及备份日志发送至所述的网段集中部署节点,所述的运行作业信息包括逻辑备份的开始时间、结束时间;
步骤S102在进行逻辑备份时,根据逻辑备份过程中的主备份模块参数课生成运行作业信息以及备份日志。所述的备份日志可以主机IP、数据库SID以及备份日期进行命名。这个阶段实现了由生产服务器节点到网段集中部署节点的逻辑备份过程。在生产服务器节点上存储着初始的生产数据信息,通过该逻辑备份过程,实现了初始的生产数据信息到备份信息的转变的数据流过程,数据存储位置也由原先的生产服务器节点到网段集中部署节点。
S104:所述的网段集中部署节点将多个所述的备份日志进行汇总,生成日志信息。由于一个网段集中部署节点接收到多个生产服务器上的备份日志,因此需要将多个备份日志进行整理汇总。
S105:所述的中心节点抓取所述的网段集中部署节点上的日志信息、运行作业信息。这个阶段实现了对逻辑备份过程中生成的运行作业信息的抓取工作。对备份过程中的数据(例如备份开始时间、备份结束时间)进行提取,将备份运行时信息保存至中心节点。实现了备份过程中临时数据到永久数据的分析和存储过程。
在各网段集中部署节点上存储着各生产服务器节点的日志信息,但由于防火墙的隔离,各网段集中部署节点的日志信息是独立的,该过程实现了网段集中部署节点的日志汇总工作,数据存储位置也由原来的各网段集中部署节点到中心节点上。
S106:所述的中心节点对所述的日志信息进行分析,得到分析结果信息;
S107:所述的中心节点对所述的运行作业信息进行分析,得到分析结果
图2为本发明实施例提供的一种数据库的逻辑备份方法的实施方式二的具体流程图,由图2可知,在步骤S101之前,该方法还包括:
S201:网段集中部署节点根据需求以及数据库的大小预先制定备份策略;
网段集中部署节点根据需求和数据库大小的差异,制定不同的备份策略。策略制定的依据是数据库版本、数据量大小以及系统环境等,不同的约束条件组合采用不同的备份策略。不同策略包括步骤约束、备份脚本以及部署方式几个方面的差异,策略以表的形式存储在数据库中,如表2所示的策略。当策略制定完成后,系统执行逻辑备份将按照策略执行,且在执行过程中不可更改;若需更改策略,则待本次执行完毕后,手动修改策略,再重新执行。
表2
其中,对于1000GB以下,Oracle10g情况,网段集中部署节点的选择请如表3所示:
表3
S202:网段集中部署节点根据所述的备份策略生成逻辑备份请求。
S203:网段集中部署节点向多个生产服务器节点发送逻辑备份请求;
S204:所述的生产服务器节点根据所述的逻辑备份请求将生产数据进行逻辑备份,得到备份数据;
S205:所述的生产服务器将备份数据、逻辑备份过程中生成的运行作业信息以及备份日志发送至所述的网段集中部署节点,所述的运行作业信息包括逻辑备份的开始时间、结束时间。也即本发明在各网段集中部署节点,安装逻辑备份脚本,通过向生产服务器节点发送逻辑备份请求,将指定数据库逻辑备份到网段集中部署节点。
S206:所述的网段集中部署节点将多个所述的备份日志进行汇总,生成日志信息;
S207:所述的网段集中部署节点将所述的备份数据、备份日志、日志信息以及运行作业信息进行物理备份;
也即各网段集中部署节点接收到各生产服务器的逻辑备份后,采用集中管理的方式进行整理,汇总备份日志,并由磁带机进行物理备份,可以将备份数据信息拷贝到磁带中。
S208:所述的中心节点抓取所述的网段集中部署节点上的日志信息、运行作业信息;
S209:所述的中心节点对所述的日志信息进行分析,得到分析结果信息;
S210:所述的中心节点对所述的运行作业信息进行分析,得到分析结果。
图3为图1中的步骤S105的具体流程图,由图3可知,该步骤由中心节点向各网段集中部署节点抓取日志信息,主要完成了日志信息的整合的功能,具体包括:
S301:所述的中心节点向所述的网段集中部署节点发送抓取请求,所述的抓取请求中包含日志抓取的相关参数信息,包括日志抓取的主机IP地址、备份日志路径、抓取时间点等,具体参数如表4所示:
表4
S302:所述的网段集中部署节点接收所述的抓取请求;
S303:所述的网段集中部署节点返回与所述的抓取请求对应的应答消息;
S304:所述的中心节点根据所述的应答消息抓取所述的网段集中部署节点上的日志信息、运行作业信息。
中心节点上存储网段集中部署节点的列表,该列表记录了所有与中心节点连接的网段集中部署节点的信息。由中心节点发出请求,对所有网段集中部署节点的备份日志信息进行抓取,若抓取失败,则显示错误信息。抓取后,在中心节点创建备份文件夹,存储所有备份日志信息。也即中心节点向各网段集中部署节点发送备份日志收集请求,待请求应答后,将各网段集中部署节点的日志信息集中传输至中心节点,对日志信息进行分析和处理,查找错误信息并发出警告。
图4为图1中的步骤S106的具体流程图,由图4可知,该步骤根据日志信息的结果进行分析,为前台展示提供分析数据。具体包括:
S401:判断所述的日志信息中是否存在错误信息;
S402:当判断为否时,生成逻辑备份成功的分析结果信息。
S403:当判断为是时,生成逻辑备份失败的分析结果信息;
S404:输出所述的错误信息;
S405:根据所述的错误信息确定出对应的生产服务器节点。
即可在中心节点创建备份日志汇总文件,对中心节点下的备份日志文件的内容进行分析,查找日志中的错误信息,若不存在,则在备份日志汇总文件中显示为“Normal”;否则,显示错误信息。
图5为图1中的步骤S107的具体流程图,由图5可知,该步骤要根据运行作业信息结果进行分析,为前台展示提供分析数据,具体包括:
S501:获取所述的运行作业信息中的逻辑备份的开始时间、结束时间;
S502:根据所述的逻辑备份的开始时间、结束时间确定所述逻辑备份的备份时长;
S503:判断所述的备份时长是否超过预先设定的阈值;
S504:当判断为是时,将所述的运行作业信息对应的生产服务器节点标记为长作业节点。
图6为本发明实施例提供的一种数据库的逻辑备份方法的实施方式三的具体流程图,由图6可知,在实施方式三中,除了上述步骤之外,该方法还可将分析产生的结果进行展示,具体包括:
S611:所述的逻辑备份方法还包括将所述的错误信息对应的生产服务器节点进行报警显示。该步骤主要实现了未能完成正常备份的作业的报警功能,在逻辑备份过程中,系统会记录未完成备份的作业,并展示出来。可采用红色标注将失败作业的信息显示在页面上。
S612:所述的逻辑备份方法还包括将标记为长作业节点的生产服务器节点进行报警显示。该步骤主要实现了长作业的报警功能,系统首先会设定一个阈值,备份时长超过阈值的则认为是长作业。将超过阈值的长作业展示出来,并以红色标注,起到警示作用。
在实际应用中,为了方便系统维护人员和一线人员对备份进行监控,该步骤可采用WEB页面方式进行呈现。可在管理人员首页,对今日备份作业有问题需要关注的作业进行列表。除了上述步骤展示的内容外,还可以表格形式展现,每一列信息包括备份的基本信息、备份开始时间、备份结束时间和备份时间。还可提供备份时间的排序功能,可以按照备份时间从小到大和从大到小排序,从而更好地展现备份性能信息。
此外,展示的内容还可包括总体逻辑备份成功率、每日备份作业成功率、每日作业数目、备份时间总体统计等,通过分类图表的方式显示,展现方式较为多样,有饼图、柱状图等等,通过图表展现可以对备份作业的趋势进行跟踪与预测,增强管理人员对备份作业的可感知性。报表系统可以查询备份系统信息,在这个查询页面中能够看到该系统的总体备份作业成功率以及平均逻辑备份时间。也可以通过备份日期进行查询。直接通过在右上侧的搜索功能,可以使用IP或数据库SID关键词对备份作业进行搜索,查询该数据库的备份作业完成情况。可以通过策略更改页面对数据库备份策略进行新增与调整,方便对备份作业进行集中管理。
本发明实施例提供的一种数据库的逻辑备份方法还可包括数据存储装置,完成了各个节点配置信息、中间结果和分析最终结果存储的功能。主要存储如下信息:
(1)存储数据库信息。在消息传递过程中,本方法采用数据库ID号标记数据库的信息。当作业分析时,需要通过数据库ID号获取数据库的详细信息,并将分析结果提供给前台界面进行展示。本方法把数据库的配置信息以表的形式存储在Oracle数据库中,为数据库ID添加索引,方便进行查询。数据库配置信息的表结构设计如表5所示:
表5
表5中包含NEWBKUP、DBID、DBNAME、SID、IP五个字段,NEWBKUPID字段即本表主键ID。DBID字段作为数据库的唯一标识,可作为外键关联查询操作,用于消息传递的过程。DBNAME字段存储数据库的名称,SID字段标识数据库SID,IP存储数据库所在主机IP地址。
(2)存储逻辑备份后产生的日志信息。该备份日志信息存储在网段集中部署节点,包含了该节点下的所有生产服务器子节点的备份日志信息。备份日志信息以log文件进行存储,备份日志文件以主机IP、数据库SID和备份日期三种内容进行命名。
(3)存储各个生产服务器的备份数据,存储位置在网段集中部署节点。
(4)存储备份信息和日志分析结果信息。当网段集中部署节点发出备份请求时,将会记录备份开始时间,当备份完成后,将会记录备份结束时间,运行作业信息将存储以上两个时间点,并计算备份时长等信息。除此以外,本方法日志分析装置还会对备份日志进行分析,从而查找备份出错的节点。
为解决现有备份系统管理分散、并行备份作业量大、运维繁琐等问题,本发明实施例提供的一种数据库的逻辑备份方法采用三层网络架构将备份信息进行整合,分析处理后,由前台页面分解展示。采用集中存储方式,当生产服务器增加或减少时,无需在生产服务器层部署或反部署备份脚本,因为脚本被部署在网络架构第二层—网段集中部署服务器层,它提供了底层所有挂接生产服务器的数据备份功能,同一网段的备份信息都存储在网段集中部署服务器上,只需要在配置列表添加或删除相应生产服务器的信息,即可增加或减少备份,这种可伸缩性架构在增加数据安全性的同时,也减少了跨网络防火墙的压力,增加了系统的通用性。现有技术的原始系统的每台生产服务器节点,对应磁带机的一条策略以备份dmp文件,管理非常不方便,改善了磁带备份的复杂度。对于使用数据库的银行或其他企业,有较为重要的现实意义。
图7为本发明实施例提供的一种数据库的逻辑备份系统的网络架构图,由图7可知,所述的逻辑备份系统包括三层节点,第一层节点包括中心节点300,该层采用一台服务器作为汇总节点,统计所有下层节点的信息;第二层节点包括多个网段集中部署节点200,该层采用可伸缩架构,可根据网段的情况,增减集中部署节点的数量,各网段集中部署节点负责备份该域中所辖生产服务器节点的数据信息,生成日志,并且向中心节点上送备份时间信息。第三层节点包括多个生产服务器节点100,该层主要存储了数据信息。
中心节点300主要功能点包括日志抓取、作业分析、分析结果展示三大功能;网段集中部署节点200主要实现了集中式逻辑备份、磁带备份和统计时间信息三大功能;生产服务器节点100主要作为备份数据的原始服务器,是架构中第一层和第二层备份和分析的基础。也即本发明的架构基于集中式树型管理的理论,采用了三层模型。网络架构图表明了本发明的网络环境和服务器连接情况,每层网络服务器各伺其职,实现不同的功能。
在各网段集中部署节点上存储着各生产服务器节点的日志信息,但由于防火墙400的隔离,各网段集中部署节点的日志信息是独立的。
本发明提供的逻辑备份系统首先在各网段集中部署节点,安装逻辑备份脚本,通过向生产服务器节点发送逻辑备份请求,将指定数据库逻辑备份到网段集中部署节点。各网段集中部署节点接收到各生产服务器的逻辑备份后,采用集中管理的方式进行整理,汇总备份日志,并由磁带机进行物理备份。逻辑备份中心节点向各网段集中部署节点发送备份日志收集请求,待请求应答后,将各网段集中部署节点的日志信息集中传输至中心节点,对日志信息进行分析和处理,查找错误信息并发出警告。最终,维护人员可登录逻辑备份展示平台查询各生产服务器的备份信息。
图8为本发明实施例提供的一种数据库的逻辑备份系统中生产服务器节的结构框图,由图8可知,所述的生产服务器节点100具体包括:
逻辑备份请求接收模块101,用于接收所述的网段集中部署节点发送的逻辑备份请求;
备份模块102,用于根据所述的逻辑备份请求将生产数据进行逻辑备份,得到备份数据。可预先规定逻辑备份架构中的中心节点和网段集中部署节点的作业调度方式,包括作业发起的时间和作业实施的对象。在本实施方式中,首先由网段集中部署节点发起备份作业请求,然后由中心节点根据网段集中部署节点的作业运行结果进行日志抓取作业。作业调度按照周期有规则的执行,一次调度完成后将产生相应的备份作业信息。
运行作业信息生成模块103,用于根据逻辑备份过程生成运行作业信息,所述的运行作业信息包括逻辑备份的开始时间、结束时间。
备份日志生成模块104,用于根据逻辑备份过程生成备份日志。在进行逻辑备份时,根据逻辑备份过程中的主备份模块参数课生成运行作业信息以及备份日志。所述的备份日志可以主机IP、数据库SID以及备份日期进行命名。
发送模块105,用于将所述的备份数据、运行作业信息以及备份日志发送至所述的网段集中部署节点。
图9为本发明实施例提供的一种数据库的逻辑备份系统中网段集中部署节点的实施方式一的结构框图,由图9可知,所述的网段集中部署节点200具体包括:
逻辑备份请求发送模块201,用于向多个生产服务器节点发送逻辑备份请求;
接收模块202,用于接收所述的多个生产服务器节点发送的备份数据、运行作业信息以及备份日志;
日志信息生成模块203,用于将多个所述的备份日志进行汇总,生成日志信息。由于一个网段集中部署节点接收到多个生产服务器上的备份日志,因此需要将多个备份日志进行整理汇总。
图10为本发明实施例提供的一种数据库的逻辑备份系统中网段集中部署节点的实施方式二的结构框图,由图10可知,网段集中部署节点还包括:
备份策略制定模块204,用于根据需求以及数据库的大小预先制定备份策略。网段集中部署节点根据需求和数据库大小的差异,制定不同的备份策略。策略制定的依据是数据库版本、数据量大小以及系统环境等,不同的约束条件组合采用不同的备份策略。不同策略包括步骤约束、备份脚本以及部署方式几个方面的差异,策略以表的形式存储在数据库中,如表2所示的策略。当策略制定完成后,系统执行逻辑备份将按照策略执行,且在执行过程中不可更改;若需更改策略,则待本次执行完毕后,手动修改策略,再重新执行。
逻辑备份请求生成模块205,用于根据所述的备份策略生成逻辑备份请求。
物理备份模块206,用于将所述的备份数据、备份日志、日志信息以及运行作业信息进行物理备份。也即各网段集中部署节点接收到各生产服务器的逻辑备份后,采用集中管理的方式进行整理,汇总备份日志,并由磁带机进行物理备份,可以将备份数据信息拷贝到磁带中。
图11为本发明实施例提供的一种数据库的逻辑备份系统中的中心节点的结构框图,由图11可知,所述的中心节点100具体包括:
抓取模块101,用于抓取所述的网段集中部署节点上的日志信息、运行作业信息。在各网段集中部署节点上存储着各生产服务器节点的日志信息,但由于防火墙的隔离,各网段集中部署节点的日志信息式独立的,该过程实现了网段集中部署节点的日志汇总工作,数据存储位置也由原来的各网段集中部署节点到中心节点上。
日志信息分析模块102,用于对所述的日志信息进行分析,得到分析结果信息;
运行作业分析模块103,用于对所述的运行作业信息进行分析,得到分析结果。
图12为本发明实施例提供的一种数据库的逻辑备份系统中抓取模块的结构框图,由图12可知,所述的抓取模块具体101包括:
抓取请求发送单元1011,用于向所述的网段集中部署节点发送抓取请求,所述的抓取请求中包含日志抓取的相关参数信息,包括日志抓取的主机IP地址、备份日志路径、抓取时间点等,具体参数如表4所示。
应答消息接收单元1012,用于接收所述的网段集中部署节点返回与所述的抓取请求对应的应答消息;
抓取单元1013,用于根据所述的应答消息抓取所述的网段集中部署节点上的日志信息、运行作业信息。
中心节点上存储网段集中部署节点的列表,该列表记录了所有与中心节点连接的网段集中部署节点的信息。由中心节点发出请求,对所有网段集中部署节点的备份日志信息进行抓取,若抓取失败,则显示错误信息。抓取后,在中心节点创建备份文件夹,存储所有备份日志信息。也即中心节点向各网段集中部署节点发送备份日志收集请求,待请求应答后,将各网段集中部署节点的日志信息集中传输至中心节点,对日志信息进行分析和处理,查找错误信息并发出警告。
图13为本发明实施例提供的一种数据库的逻辑备份系统中日志信息分析模块的结构框图,由图13可知,所述的日志信息分析模块102具体包括:
错误信息判断单元1021,用于判断所述的日志信息中是否存在错误信息;
第一分析信息生成单元1022,用于当所述的错误信息判断单元判断为是时,生成逻辑备份失败的分析结果信息;
错误信息输出单元1023,用于输出所述的错误信息;
服务器节点确定单元1024,用于根据所述的错误信息确定出对应的生产服务器节点;
第二分析信息生成单元1025,用于当所述的错误信息判断单元判断为否时,生成逻辑备份成功的分析结果信息。
即可在中心节点创建备份日志汇总文件,对中心节点下的备份日志文件的内容进行分析,查找日志中的错误信息,若不存在,则在备份日志汇总文件中显示为“Normal”;否则,显示错误信息。
图14为本发明实施例提供的一种数据库的逻辑备份系统中运行作业分析模块的结构框图,由图14可知,所述的运行作业分析模块103具体包括:
时间获取单元1031,用于获取所述的运行作业信息中的逻辑备份的开始时间、结束时间;
备份时长确定单元1032,用于根据所述的逻辑备份的开始时间、结束时间确定所述逻辑备份的备份时长;
第二判断单元1033,用于判断所述的备份时长是否超过预先设定的阈值;
标记单元1034,用于当所述的第二判断单元判断为是时,将所述的运行作业信息对应的生产服务器节点标记为长作业节点。
图15为本发明实施例提供的一种数据库的逻辑备份系统的实施方式二的结构框图,由图15可知,所述的逻辑备份系统还包括显示平台500,用于将标记为长作业节点的生产服务器节点进行报警显示。主要实现了长作业的报警功能,系统首先会设定一个阈值,备份时长超过阈值的则认为是长作业。将超过阈值的长作业展示出来,并以红色标注,起到警示作用。
所述的显示平台,还用于将所述的错误信息对应的生产服务器节点进行报警显示。主要实现了未能完成正常备份的作业的报警功能,在逻辑备份过程中,系统会记录未完成备份的作业,并展示出来。可采用红色标注将失败作业的信息显示在页面上。
在实际应用中,为了方便系统维护人员和一线人员对备份进行监控,该步骤可采用WEB页面方式进行呈现。可在管理人员首页,对今日备份作业有问题需要关注的作业进行列表。除了上述步骤展示的内容外,还可以表格形式展现,每一列信息包括备份的基本信息、备份开始时间、备份结束时间和备份时间。还可提供备份时间的排序功能,可以按照备份时间从小到大和从大到小排序,从而更好地展现备份性能信息。
此外,展示的内容还可包括总体逻辑备份成功率、每日备份作业成功率、每日作业数目、备份时间总体统计等,通过分类图表的方式显示,展现方式较为多样,有饼图、柱状图等等,通过图表展现可以对备份作业的趋势进行跟踪与预测,增强管理人员对备份作业的可感知性。报表系统可以查询备份系统信息,在这个查询页面中能够看到该系统的总体备份作业成功率以及平均逻辑备份时间。也可以通过备份日期进行查询。直接通过在右上侧的搜索功能,可以使用IP或数据库SID关键词对备份作业进行搜索,查询该数据库的备份作业完成情况。可以通过策略更改页面对数据库备份策略进行新增与调整,方便对备份作业进行集中管理。
本发明实施例提供的一种数据库的逻辑备份系统还可包括数据存储装置,完成了各个节点配置信息、中间结果和分析最终结果存储的功能。主要存储如下信息:
(1)存储数据库信息。在消息传递过程中,本方法采用数据库ID号标记数据库的信息。当作业分析时,需要通过数据库ID号获取数据库的详细信息,并将分析结果提供给前台界面进行展示。本方法把数据库的配置信息以表的形式存储在Oracle数据库中,为数据库ID添加索引,方便进行查询。数据库配置信息的表结构设计如表5所示。
(2)存储逻辑备份后产生的日志信息。该备份日志信息存储在网段集中部署节点,包含了该节点下的所有生产服务器子节点的备份日志信息。备份日志信息以log文件进行存储,备份日志文件以主机IP、数据库SID和备份日期三种内容进行命名。
(3)存储各个生产服务器的备份数据,存储位置在网段集中部署节点。
(4)存储备份信息和日志分析结果信息。当网段集中部署节点发出备份请求时,将会记录备份开始时间,当备份完成后,将会记录备份结束时间,运行作业信息将存储以上两个时间点,并计算备份时长等信息。除此以外,本方法日志分析装置还会对备份日志进行分析,从而查找备份出错的节点。
综上所述,本发明提供了一种数据库的逻辑备份方法以及逻辑备份系统,提高了数据库系统逻辑备份效率,资源利用率,提高了数据库的安全性,降低了运行维护成本,整体结构设计灵活,实现集中化管理之后,对现有备份策略的更改以及增删都更加灵活方便,降低人力成本和管理成本。解决了原逻辑备份分散化部署、脚本效率低、成功率低、监控有效性差、无法集中管理和展现的缺点,其优势在于:
1.架构灵活,减少网络压力。
本系统采用三层网络结构,中心节点作为总控服务器,起到了汇总信息和中心监控的作用。网段集中部署节点对生产服务器节点的信息进行备份和收集,根据网段的不同,可以扩展多个网段集中部署节点,用于存储不同网段的备份信息。对比优化前系统的单层备份结构,本系统采用统一管理的方式,不但加强了管理,并且使得架构更加灵活,减少了跨防火墙的数据流量,减少了网络压力。
2.集中部署,无需在生产服务器部署脚本或代理,方便管理,降低运维成本。
本系统采用了集中部署模式,在网段集中部署节点部署备份脚本和代理,对于同一网段内的生产服务器采取统一逻辑备份策略,逻辑备份数据存储在网段集中部署节点上,相比原逻辑备份系统,管理更加方便,运维成本随之降低。
3.减少磁带备份复杂度。
本系统采用了在网段集中部署节点上部署磁带备份策略,和原系统相比,有效减少了磁带备份的策略数量,简化了磁带备份的复杂度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一般计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
本领域技术人员还可以了解到本发明实施例列出的各种功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种数据库的逻辑备份方法,其特征是,所述的逻辑备份方法包括:
网段集中部署节点向多个生产服务器节点发送逻辑备份请求;
所述的生产服务器节点根据所述的逻辑备份请求将生产数据进行逻辑备份,得到备份数据;
所述的生产服务器将备份数据、逻辑备份过程中生成的运行作业信息以及备份日志发送至所述的网段集中部署节点,所述的运行作业信息包括逻辑备份的开始时间、结束时间;
所述的网段集中部署节点将多个所述的备份日志进行汇总,生成日志信息;
所述的中心节点抓取所述的网段集中部署节点上的日志信息、运行作业信息;
所述的中心节点对所述的日志信息进行分析,得到分析结果信息;
所述的中心节点对所述的运行作业信息进行分析,得到分析结果。
2.根据权利要求1所述的逻辑备份方法,其特征是,所述的逻辑备份方法还包括:
网段集中部署节点根据需求以及数据库的大小预先制定备份策略;
网段集中部署节点根据所述的备份策略生成逻辑备份请求。
3.根据权利要求1所述的逻辑备份方法,其特征是,所述的逻辑备份方法还包括:
所述的网段集中部署节点将所述的备份数据、备份日志、日志信息以及运行作业信息进行物理备份。
4.根据权利要求1所述的逻辑备份方法,其特征是,所述的中心节点抓取所述的网段集中部署节点上的日志信息、运行作业信息具体包括:
所述的中心节点向所述的网段集中部署节点发送抓取请求;
所述的网段集中部署节点接收所述的抓取请求;
所述的网段集中部署节点返回与所述的抓取请求对应的应答消息;
所述的中心节点根据所述的应答消息抓取所述的网段集中部署节点上的日志信息、运行作业信息。
5.根据权利要求1或4所述的逻辑备份方法,其特征是,所述的中心节点对所述的日志信息进行分析,得到分析结果信息具体包括:
判断所述的日志信息中是否存在错误信息;
当判断为是时,生成逻辑备份失败的分析结果信息,并输出所述的错误信息;
根据所述的错误信息确定出对应的生产服务器节点;
当判断为否时,生成逻辑备份成功的分析结果信息。
6.根据权利要求5所述的逻辑备份方法,其特征是,所述的逻辑备份方法还包括将所述的错误信息对应的生产服务器节点进行报警显示。
7.根据权利要求1或4所述的逻辑备份方法,其特征是,所述的中心节点对所述的运行作业信息进行分析,得到分析结果具体包括:
获取所述的运行作业信息中的逻辑备份的开始时间、结束时间;
根据所述的逻辑备份的开始时间、结束时间确定所述逻辑备份的备份时长;
判断所述的备份时长是否超过预先设定的阈值;
当判断为是时,将所述的运行作业信息对应的生产服务器节点标记为长作业节点。
8.根据权利要求7所述的逻辑备份方法,其特征是,所述的逻辑备份方法还包括将标记为长作业节点的生产服务器节点进行报警显示。
9.一种数据库的逻辑备份系统,其特征是,所述的逻辑备份系统包括三层节点,第一层节点包括中心节点,第二层节点包括多个网段集中部署节点,第三层节点包括多个生产服务器节点;
其中,所述的生产服务器节点具体包括:
逻辑备份请求接收模块,用于接收所述的网段集中部署节点发送的逻辑备份请求;
备份模块,用于根据所述的逻辑备份请求将生产数据进行逻辑备份,得到备份数据;
运行作业信息生成模块,用于根据逻辑备份过程生成运行作业信息,所述的运行作业信息包括逻辑备份的开始时间、结束时间;
备份日志生成模块,用于根据逻辑备份过程生成备份日志;
发送模块,用于将所述的备份数据、运行作业信息以及备份日志发送至所述的网段集中部署节点;
所述的网段集中部署节点具体包括:
逻辑备份请求发送模块,用于向多个生产服务器节点发送逻辑备份请求;
接收模块,用于接收所述的多个生产服务器节点发送的备份数据、运行作业信息以及备份日志;
日志信息生成模块,用于将多个所述的备份日志进行汇总,生成日志信息;
所述的中心节点具体包括:
抓取模块,用于抓取所述的网段集中部署节点上的日志信息、运行作业信息;
日志信息分析模块,用于对所述的日志信息进行分析,得到分析结果信息;
运行作业分析模块,用于对所述的运行作业信息进行分析,得到分析结果。
10.根据权利要求9所述的逻辑备份系统,其特征是,所述的网段集中部署节点还包括:
备份策略制定模块,用于根据需求以及数据库的大小预先制定备份策略;
逻辑备份请求生成模块,用于根据所述的备份策略生成逻辑备份请求。
11.根据权利要求9所述的逻辑备份系统,其特征是,所述的网段集中部署节点还包括:
物理备份模块,用于将所述的备份数据、备份日志、日志信息以及运行作业信息进行物理备份。
12.根据权利要求9所述的逻辑备份系统,其特征是,所述的抓取模块具体包括:
抓取请求发送单元,用于向所述的网段集中部署节点发送抓取请求;
应答消息接收单元,用于接收所述的网段集中部署节点返回与所述的抓取请求对应的应答消息;
抓取单元,用于根据所述的应答消息抓取所述的网段集中部署节点上的日志信息、运行作业信息。
13.根据权利要求9或12所述的逻辑备份系统,其特征是,所述的日志信息分析模块具体包括:
错误信息判断单元,用于判断所述的日志信息中是否存在错误信息;
第一分析信息生成单元,用于当所述的错误信息判断单元判断为是时,生成逻辑备份失败的分析结果信息;
错误信息输出单元,用于输出所述的错误信息;
服务器节点确定单元,用于根据所述的错误信息确定出对应的生产服务器节点;
第二分析信息生成单元,用于当所述的错误信息判断单元判断为否时,生成逻辑备份成功的分析结果信息。
14.根据权利要求13所述的逻辑备份系统,其特征是,所述的逻辑备份系统还包括显示平台,用于将所述的错误信息对应的生产服务器节点进行报警显示。
15.根据权利要求9或12所述的逻辑备份系统,其特征是,所述的运行作业分析模块具体包括:
时间获取单元,用于获取所述的运行作业信息中的逻辑备份的开始时间、结束时间;
备份时长确定单元,用于根据所述的逻辑备份的开始时间、结束时间确定所述逻辑备份的备份时长;
第二判断单元,用于判断所述的备份时长是否超过预先设定的阈值;
标记单元,用于当所述的第二判断单元判断为是时,将所述的运行作业信息对应的生产服务器节点标记为长作业节点。
16.根据权利要求15所述的逻辑备份系统,其特征是,所述的逻辑备份系统还包括显示平台,用于将标记为长作业节点的生产服务器节点进行报警显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310166145.4A CN103226501B (zh) | 2013-05-08 | 2013-05-08 | 一种数据库的逻辑备份方法以及逻辑备份系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310166145.4A CN103226501B (zh) | 2013-05-08 | 2013-05-08 | 一种数据库的逻辑备份方法以及逻辑备份系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103226501A true CN103226501A (zh) | 2013-07-31 |
CN103226501B CN103226501B (zh) | 2015-11-18 |
Family
ID=48836960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310166145.4A Active CN103226501B (zh) | 2013-05-08 | 2013-05-08 | 一种数据库的逻辑备份方法以及逻辑备份系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103226501B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885426A (zh) * | 2019-01-29 | 2019-06-14 | 广东华伦招标有限公司 | 招标业务数据备份方法及系统 |
CN110262927A (zh) * | 2019-06-25 | 2019-09-20 | 中国工商银行股份有限公司 | 应用于数据备份的处理方法和装置 |
CN111625397A (zh) * | 2020-04-14 | 2020-09-04 | 北京捷通华声科技股份有限公司 | 业务日志备份方法、集群、装置、电子设备及存储介质 |
CN112286735A (zh) * | 2020-12-24 | 2021-01-29 | 深圳市科力锐科技有限公司 | 备份成功率确定方法、装置、设备及存储介质 |
CN112306758A (zh) * | 2020-12-24 | 2021-02-02 | 深圳市科力锐科技有限公司 | 备份成功率预测方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102385637A (zh) * | 2011-12-22 | 2012-03-21 | 山东中创软件商用中间件股份有限公司 | 一种数据库信息的备份方法及系统 |
US20120089570A1 (en) * | 2009-10-21 | 2012-04-12 | Delphix Corp. | Virtual Database System |
CN102637169A (zh) * | 2011-02-14 | 2012-08-15 | 大连兆阳软件科技有限公司 | 安全实用的数据库备份方法及系统 |
-
2013
- 2013-05-08 CN CN201310166145.4A patent/CN103226501B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120089570A1 (en) * | 2009-10-21 | 2012-04-12 | Delphix Corp. | Virtual Database System |
CN102637169A (zh) * | 2011-02-14 | 2012-08-15 | 大连兆阳软件科技有限公司 | 安全实用的数据库备份方法及系统 |
CN102385637A (zh) * | 2011-12-22 | 2012-03-21 | 山东中创软件商用中间件股份有限公司 | 一种数据库信息的备份方法及系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885426A (zh) * | 2019-01-29 | 2019-06-14 | 广东华伦招标有限公司 | 招标业务数据备份方法及系统 |
CN110262927A (zh) * | 2019-06-25 | 2019-09-20 | 中国工商银行股份有限公司 | 应用于数据备份的处理方法和装置 |
CN111625397A (zh) * | 2020-04-14 | 2020-09-04 | 北京捷通华声科技股份有限公司 | 业务日志备份方法、集群、装置、电子设备及存储介质 |
CN111625397B (zh) * | 2020-04-14 | 2023-09-12 | 北京捷通华声科技股份有限公司 | 业务日志备份方法、集群、装置、电子设备及存储介质 |
CN112286735A (zh) * | 2020-12-24 | 2021-01-29 | 深圳市科力锐科技有限公司 | 备份成功率确定方法、装置、设备及存储介质 |
CN112306758A (zh) * | 2020-12-24 | 2021-02-02 | 深圳市科力锐科技有限公司 | 备份成功率预测方法、装置、设备及存储介质 |
CN112306758B (zh) * | 2020-12-24 | 2021-04-02 | 深圳市科力锐科技有限公司 | 备份成功率预测方法、装置、设备及存储介质 |
CN112286735B (zh) * | 2020-12-24 | 2021-04-09 | 深圳市科力锐科技有限公司 | 备份成功率确定方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103226501B (zh) | 2015-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9020802B1 (en) | Worldwide distributed architecture model and management | |
CN107315776B (zh) | 一种基于云计算的数据管理系统 | |
CN101667034B (zh) | 一种易扩展的、支持异构集群的监控系统 | |
CN108475360A (zh) | 分布式计算依赖管理系统 | |
CN102708158B (zh) | 一种PostgreSQL云存储归档调度系统 | |
US20120166620A1 (en) | System and method for integrated real time reporting and analytics across networked applications | |
CN104301360A (zh) | 一种日志数据记录的方法、日志服务器及系统 | |
CN102567185B (zh) | 一种应用服务器的监控方法 | |
CN106130809A (zh) | 一种基于日志分析的IaaS云平台网络故障定位方法及系统 | |
CN103226501A (zh) | 一种数据库的逻辑备份方法以及逻辑备份系统 | |
CN102917009B (zh) | 一种基于云计算技术的股票数据采集和存储方法和系统 | |
CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
CN105591803A (zh) | 一种资源处理方法和设备 | |
CN114791846B (zh) | 一种针对云原生混沌工程实验实现可观测性的方法 | |
CN104298669A (zh) | 一种基于社交网络的人员地理信息挖掘模型 | |
CN111459900B (zh) | 大数据生命周期设置方法、装置、存储介质及服务器 | |
CN110008197A (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
CN106780157B (zh) | 基于Ceph的电网多时态模型存储与管理系统及方法 | |
CN105787090A (zh) | 一种电力数据的olap系统的索引建立方法和系统 | |
CN113127526A (zh) | 一种基于Kubernetes的分布式数据存储和检索系统 | |
CN110245037B (zh) | 一种基于日志的Hive用户操作行为还原方法 | |
MX2011003102A (es) | Suscripcion de datos. | |
CN111143336A (zh) | 面向高校科研数据管理的网络爬虫管理方法及平台 | |
CN103377286A (zh) | 数据库历史管理方法及其数据库历史管理系统 | |
CN112910974B (zh) | 一种基于区块链系统架构的系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |