CN106776150A - 一种获取事务日志转储文件信息的方法及设备 - Google Patents

一种获取事务日志转储文件信息的方法及设备 Download PDF

Info

Publication number
CN106776150A
CN106776150A CN201710005140.1A CN201710005140A CN106776150A CN 106776150 A CN106776150 A CN 106776150A CN 201710005140 A CN201710005140 A CN 201710005140A CN 106776150 A CN106776150 A CN 106776150A
Authority
CN
China
Prior art keywords
information
dump
file
dump file
uploaded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710005140.1A
Other languages
English (en)
Inventor
杨浩前
杜青
段晖莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Upper Marine Infotech Share Co Ltd Of Interrogating
Original Assignee
Upper Marine Infotech Share Co Ltd Of Interrogating
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Upper Marine Infotech Share Co Ltd Of Interrogating filed Critical Upper Marine Infotech Share Co Ltd Of Interrogating
Priority to CN201710005140.1A priority Critical patent/CN106776150A/zh
Publication of CN106776150A publication Critical patent/CN106776150A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请的目的是提供一种获取事务日志转储文件信息的方法及设备，该方法包括：对备份服务日志进行拷贝，形成备份服务日志的拷贝文件；当有新的转储任务完成时，备份服务日志会生成相应记录信息；将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。本申请通过实时异步获取事务日志转储文件信息，简化了数据库管理员的恢复工作，进而减少数据库恢复时间，并最大化确保数据库恢复成功。

Description

一种获取事务日志转储文件信息的方法及设备
技术领域
本申请涉及计算机领域，尤其涉及一种获取事务日志转储文件信息的方法及设备。
背景技术
随着计算机技术不断发展，各行各业的信息化和计算机网络建设也得到了迅猛发展，与此同时，随着数据量的不断膨胀，数据丢失与失效越来越成为信息化服务部门所不容忽视的问题。数据库技术在电信、证券、金融、政府、交通与能源等领域稳步发展，尤其是电信行业一直在同行业中处于领先地位，其数据容灾保护也是使用领域所关注的重要课题。
但是，目前数据库的容灾保护仍存在以下问题，以Sybase数据库为例：
1、数据库事务日志的转储仅局限于本地。
Sybase数据库管理员必须定期进行数据库的备份，一旦系统出现故障，数据能够得到及时的恢复。Sybase数据库备份包括对数据库和事务日志的转储，但转储目标只局限于本地。在数据库磁盘介质正常运作的情况下，如果数据库出现逻辑损坏，管理员可在本地选取之前所转储的数据库和相应的事务日志来恢复数据库；但如果数据库磁盘介质损坏，就无法再对数据库进行恢复，从而导致数据的丢失。
2、数据库事务日志转储文件信息的获取缺少自动化。
在对Sybase数据库进行恢复的过程中，管理员必须基于数据库转储文件并装载适当的事务日志转储文件才能恢复到特定时间段的任意时间点，若所选取的事务日志转储文件有误，就会因日志顺序错误而导致恢复失败，因此管理员需要识别适当的事务日志转储文件来进行恢复。但是，通过读取Sybase备份服务日志中的时间戳等信息来确定转储文件的先后顺序，这不仅增加了管理员的额外工作量和恢复时间，而且缺少灵活性。
3、数据库事务日志转储文件存在多变的可能性。
为了防止磁盘介质损坏的情况下对数据库的正常恢复，管理员需要对数据库和事务日志的转储文件有定期的异地冗余拷贝。如果在此期间，转储文件有丢失、覆盖写入或权限更改等变化，即使有异地冗余拷贝，也无法做到正常恢复。这不仅增大了恢复难度，也扰乱了管理员选取正确事务日志转储文件的工作。
综上，现有数据库事务日志转储文件存在只局限于本地，易丢失数据，文件信息的获取缺少自动化，管理员工作强度大，并在转储文件有丢失、覆盖写入或权限更改等变化时，恢复难度较大等缺点。
申请内容
针对上述现有技术的缺陷，本申请的一个目的是提供一种获取事务日志转储文件信息的方法及设备，解决现有数据库事务日志转储文件存在的只局限于本地，易丢失数据，文件信息的获取缺少自动化，管理员工作强度大，并在转储文件有丢失、覆盖写入或权限更改等变化时，恢复难度较大等问题。
根据本申请的一个方面，提供了一种获取事务日志转储文件信息的方法，该方法包括：
对备份服务日志进行拷贝，形成备份服务日志的拷贝文件；
当有新的转储任务完成时，备份服务日志会生成相应记录信息；
将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；
解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。
进一步地，上述方法中，在对备份服务日志进行拷贝之前，还包括：
设定指定转储路径过滤机制，使得获取指定路径下的转储文件信息时，避开对非指定路径下转储文件信息的解析与获取。
进一步地，上述方法中，所述解析出差异临时文件中所包含的内容之后，还包括；
获取转储文件的属性信息；
将所述差异临时文件中所包含的内容以及转储文件的属性信息写入待上传临时文件；
从待上传临时文件中上传当前写入的转储文件信息，并对该转储文件信息进行标记。
进一步地，上述方法中，将所述转储文件信息写入待上传临时文件之前，还包括：
检查待上传临时文件中是否有与转储文件信息相同的记录；
若有相同记录，则不将该条转储文件信息写入待上传临时文件。
进一步地，上述方法中，若需要重新获取上一条转储文件信息，包括：
在待上传临时文件中截取最后一次标记的转储文件信息；
检查该转储文件信息中转储文件的属性信息是否有变化；
如有变化，将该变化的信息重新写入已标记的转储文件信息中，形成更改后的标记处转储文件信息；
上传待上传临时文件中更改后的该标记处转储文件信息。
进一步地，上述方法中，还包括：
在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写入磁盘。
进一步地，上述方法中，所述解析出差异临时文件中所包含的内容，该内容具体包括：
转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息。
进一步地，上述方法中，所述转储文件的属性信息，包括：转储文件的实际大小和转储文件权限状态信息；
进一步地，上述方法中，所述转储文件信息包括：转储文件路径及名称、转储文件所属数据库名称、转储文件权限状态信息、转储文件实际大小和转储文件转储时间戳。
根据本申请的另一个方面，提供了一种获取事务日志转储文件信息的设备，所述设备包括：
拷贝模块，用于对备份服务日志进行拷贝，形成备份服务日志的拷贝文件；
生成模块，用于当有新的转储任务完成时，生成相应备份服务日志记录信息；
比较模块，将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；
解析模块，解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。
进一步地，上述设备中，还包括：
设定模块，用于设定指定转储路径过滤机制，使得获取指定路径下的转储文件信息时，避开对非指定路径下转储文件信息的解析与获取。
进一步地，上述设备中，，还包括：
获取模块，用于获取转储文件的属性信息；
写入模块，用于将所述差异临时文件中所包含的内容以及转储文件的属性信息写入待上传临时文件；
标记模块，用于从待上传临时文件中上传当前写入的转储文件信息，并对该转储文件信息进行标记。
进一步地，上述设备中，还包括：
第一检查模块，用于检查待上传临时文件中是否有与转储文件信息相同的记录；
若有相同记录，则不将该条转储文件信息写入待上传临时文件。
进一步地，上述设备中，还包括：
截取模块，用于在待上传临时文件中截取最后一次标记的转储文件信息；
第二检查模块，用于检查该转储文件信息中转储文件的实际大小和转储文件权限状态信息是否有变化；
如有变化，将该变化的信息重新写入已标记的转储文件信息中，形成更改后的标记处转储文件信息；
上传模块，用于上传待上传临时文件中更改后的该标记处转储文件信息。
进一步地，上述设备中，还包括：
同步刷写模块，用于在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写入磁盘。
进一步地，上述设备中，所述解析模块，具体用于解析出差异临时文件中所包含的转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息。
进一步地，上述设备中，所述转储文件的属性信息，包括：转储文件的实际大小和转储文件权限状态信息；
进一步地，上述设备中，所述转储文件信息包括：转储文件路径及名称、转储文件所属数据库名称、转储文件权限状态信息、转储文件实际大小和转储文件转储时间戳。
与现有技术相比，本申请通过对备份服务日志进行拷贝，形成备份服务日志的拷贝文件，以在数据库磁盘介质损坏时，对数据库进行恢复。当有新的转储任务完成时，备份服务日志会生成相应记录信息；此时若开始获取转储文件信息，则将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。本申请通过实时异步获取事务日志转储文件信息，简化了数据库管理员的恢复工作，进而减少数据库恢复时间，并最大化确保数据库恢复成功。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种获取事务日志转储文件信息的方法流程图；
图2示出根据本申请一个方面的一种对转储文件信息标记的方法流程图；
图3示出根据本申请一个方面的一种重新获取上一条转储文件信息的方法流程图；
图4示出根据本申请一个方面的一种获取事务日志转储文件信息的方法整体流程图；
图5示出根据本申请一个方面的一种获取事务日志转储文件信息的设备模块示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面结合说明书附图对本发明实施例作进一步详细描述。
如图1所示，根据本申请的一个方面，提供了一种获取事务日志转储文件信息的方法，其中，所述方法包括：
步骤S101，对备份服务日志进行拷贝，形成备份服务日志的拷贝文件；
步骤S102，当有新的转储任务完成时，备份服务日志会生成相应记录信息；
步骤S103，将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；
步骤S104，解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。
优选的，本申请数据库尤以Sybase数据库为例，所述Sybase数据库搭建于Unix/Linux集群环境上，可事先对用户环境变量做指定配置，即可将获取转储文件信息所依赖的差异临时文件自动部署在集群共享存储中，保证集群资源切换后对转储信息的正常获取。以上场景可便于更好地论述本申请实施例中的具体实现过程，但其只是一个场景例子，显然本申请的技术方案可以应用到获取事务日志转储文件信息的任何场景下。
本申请通过对备份服务日志进行拷贝，形成备份服务日志的拷贝文件，以在数据库磁盘介质损坏时，保证数据库的成功恢复，避免数据的丢失。本申请基于Unix/Linux环境通过对Sybase事务日志转储文件信息的自动获取，来简化数据库管理员的恢复工作，进而减少数据库恢复时间，并最大化确保恢复成功。
进一步地，上述方法中，在对备份服务日志进行拷贝之前，还包括：
设定指定转储路径过滤机制，使得获取指定路径下的转储文件信息时，避开对非指定路径下转储文件信息的解析与获取。
本申请为了避开对数据库的其他业务保护流程的影响，设定了指定转储路径过滤机制。管理员若需要获取指定路径下的转储文件信息，即可通过该机制在获取转储信息时，避开对非指定路径下转储文件信息的解析与获取。
进一步地，上述方法中，所述解析出差异临时文件中所包含的内容之后，如图2所示，还包括：
步骤S201，获取转储文件的属性信息；
步骤S202，将所述差异临时文件中所包含的内容以及转储文件的属性信息写入待上传临时文件；
步骤S203，从待上传临时文件中上传当前写入的转储文件信息，并对该转储文件信息进行标记。
进一步地，上述方法中，所述解析出差异临时文件中所包含的内容，该内容具体包括：
转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息。
本申请通过解析出差异临时文件中所包含的转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息，将该解析出的内容追加写入备份服务日志的拷贝文件中，完成事务日志转储信息的自动化解析与实时获取，并待下一次获取转储文件信息时进行差异性比对。
进一步地，上述方法中，所述转储文件的属性信息，包括：转储文件的实际大小和转储文件权限状态信息；
进一步地，上述方法中，所述转储文件信息包括：转储文件路径及名称、转储文件所属数据库名称、转储文件权限状态信息、转储文件实际大小和转储文件转储时间戳。
本申请将所述转储文件路径及名称、转储文件所属数据库名称、转储文件转储时间戳信息、转储文件的实际大小和转储文件权限状态信息写入待上传临时文件，通过为每个转储文件附加时间信息来简化恢复流程。本申请通过对转储文件信息进行标记，管理员可以绕过对备份服务日志的读取来选择适当的转储文件，直接从备份服务器中对标有明确信息的转储文件进行选取并恢复数据库，不仅减少了管理员的额外工作量和恢复时间，而且具有一定的灵活性。
进一步地，上述方法中，为了避免事务日志转储信息的重传，将所述转储文件信息写入待上传临时文件之前，还包括：
检查待上传临时文件中是否有与转储文件信息相同的记录；
若有相同记录，则不将该条转储文件信息写入待上传临时文件。
进一步地，上述方法中，若备份服务器因传输实际文件失败而需要重新获取上一条转储文件信息时，如图3所示，具体流程包括：
步骤S301，在待上传临时文件中截取最后一次标记的转储文件信息；
步骤S302，检查该转储文件信息中转储文件的属性信息是否有变化；如有变化，将该变化的信息重新写入已标记的转储文件信息中，形成更改后的标记处转储文件信息；
步骤S303，上传待上传临时文件中更改后的该标记处转储文件信息。
本申请通过截取最后一次标记的转储文件信息，简化了对事务日志转储文件的识别与选取。在备份服务器因传输实际文件失败而需要重新获取上一条转储文件信息时，避免了现有技术中若选取的事务日志转储文件有误，则会因日志顺序错误而导致恢复失败的缺陷。
进一步地，上述方法中，还包括：
在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写入磁盘。
本申请在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写，保证其写入磁盘，避免了在获取事务日志转储信息过程中系统掉电，因差异临时文件、待上传临时文件以及拷贝文件未及时刷写入磁盘，而在系统恢复后，获取转储信息出现日志转储信息重传，或临时文件内容错乱导致无法获取转储信息等各种异常情况。本申请通过实现文件同步刷写磁盘，设定系统掉电保护机制来避免突发性情况所导致的各种错误。
为了使本发明所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图4所示为本申请实施例提供的一种获取事务日志转储文件信息的方法整体流程图：
步骤S401，设定指定转储路径过滤机制；
步骤S402，判断是否存在备份服务日志的拷贝文件，若是，则执行S403，否则执行S404；
步骤S403，判断是否需要重新获取上一条转储文件信息，若是，则执行S405，否则执行S406；
步骤S404，对备份服务日志进行拷贝，形成备份服务日志的拷贝文件，同步写入磁盘；
步骤S405，在待上传临时文件中截取最后一次标记的转储文件信息，重新写入该信息到待上传临时文件并上传，同步写入磁盘，获取转储文件信息结束；
步骤S406，判断是否存在待上传临时文件，若是，则执行步骤S407，否则执行S408；
步骤S407，判断待上传临时文件中是否有未标记信息，若是，则执行S409，否则执行S410；
步骤S408，创建待上传临时文件；
步骤S409，在待上传临时文件中检测第一条未标记的转储文件信息，重新写入该信息到待上传临时文件，同步写入磁盘，获取转储文件信息结束；
步骤S410，将备份服务日志与拷贝文件的差异信息写入差异临时文件；
步骤S411，判断差异临时文件的内容是否为空，若是，则获取转储文件信息结束，否则执行S412；
步骤S412，解析出差异临时文件中所包含的转储文件路径及名称；
步骤S413，判断该转储文件是否在指定过滤路径中，若是，则执行S414，否则执行S415；
步骤S414，继续解析出转储文件所属数据库名称、转储文件的实际大小、转储文件权限状态信息和转储时间戳信息；
步骤S415，将差异临时文件内容追加写入备份服务日志的拷贝文件中，同步写入磁盘，继续执行S410。
步骤S416，检查待上传临时文件中是否有与转储文件信息相同的记录，若是，则执行S415，否在执行S417；
步骤S417，将以上转储文件信息写入待上传临时文件，同步写入磁盘；
步骤S418，上传待上传临时文件中当前写入的转储文件信息，并对该转储文件信息进行标记；
步骤S419，将差异临时文件内容追加写入备份服务日志的拷贝文件中，同步写入磁盘，获取转储文件信息结束。
综上所述，本申请通过在装有Sybase数据库的Unix/Linux系统主机上实时异步获取指定路径下的事务日志转储文件信息，使得备份服务器可通过该信息获取并存储事务日志转储文件，从而实现对Sybase数据库的数据容灾保护。
基于相同的技术构思，本申请还提供一种获取事务日志转储文件信息的设备，该设备可执行上述方法实施例，由于该设备解决问题的原理与前述一种获取事务日志转储文件信息的方法相似，因此该设备的实施可以参见方法的实施。
本申请的另一个方面提供了一种获取事务日志转储文件信息的设备，如图5所示，该设备包括：
拷贝模块501，用于对备份服务日志进行拷贝，形成备份服务日志的拷贝文件；
生成模块502，用于当有新的转储任务完成时，生成相应备份服务日志记录信息；
比较模块503，将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；
解析模块504，解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。
优选的，本申请数据库尤以Sybase数据库为例，所述Sybase数据库搭建于Unix/Linux集群环境上，可事先对用户环境变量做指定配置，即可将获取转储文件信息所依赖的差异临时文件自动部署在集群共享存储中，保证集群资源切换后对转储信息的正常获取。以上场景可便于更好地论述本申请实施例中的具体实现过程，但其只是一个场景例子，显然本申请的技术方案可以应用到获取事务日志转储文件信息的任何场景下。
本申请通过对备份服务日志进行拷贝，形成备份服务日志的拷贝文件，以在数据库磁盘介质损坏时，保证数据库的成功恢复，避免数据的丢失。本申请基于Unix/Linux环境通过对Sybase事务日志转储文件信息的自动获取，来简化数据库管理员的恢复工作，进而减少数据库恢复时间，并最大化确保恢复成功。
进一步地，上述设备中，在对备份服务日志进行拷贝之前，还包括：
设定模块，用于设定指定转储路径过滤机制，使得获取指定路径下的转储文件信息时，避开对非指定路径下转储文件信息的解析与获取。
本申请为了避开对数据库的其他业务保护流程的影响，设定了指定转储路径过滤机制。管理员若需要获取指定路径下的转储文件信息，即可通过该机制在获取转储信息时，避开对非指定路径下转储文件信息的解析与获取。
进一步地，上述设备中，还包括：
获取模块，用于获取转储文件的属性信息；
写入模块，用于将所述差异临时文件中所包含的内容以及转储文件的属性信息写入待上传临时文件；
标记模块，用于从待上传临时文件中上传当前写入的转储文件信息，并对该转储文件信息进行标记。
进一步地，上述设备中，所述解析模块504，具体用于解析出差异临时文件中所包含的转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息。
本申请通过解析模块解析出差异临时文件中所包含的转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息，将该解析出的内容追加写入备份服务日志的拷贝文件中，完成事务日志转储信息的自动化解析与实时获取，并待下一次获取转储文件信息时进行差异性比对。
进一步地，上述设备中，所述转储文件的属性信息，包括：转储文件的实际大小和转储文件权限状态信息；
进一步地，上述设备中，所述转储文件信息包括：转储文件路径及名称、转储文件所属数据库名称、转储文件权限状态信息、转储文件实际大小和转储文件转储时间戳。
本申请将所述转储文件路径及名称、转储文件所属数据库名称、转储文件转储时间戳信息、转储文件的实际大小和转储文件权限状态信息写入待上传临时文件，通过为每个转储文件附加时间信息来简化恢复流程。本申请通过对转储文件信息进行标记，管理员可以绕过对备份服务日志的读取来选择适当的转储文件，直接从备份服务器中对标有明确信息的转储文件进行选取并恢复数据库，不仅减少了管理员的额外工作量和恢复时间，而且具有一定的灵活性。
进一步地，上述设备中，为了避免事务日志转储信息的重传，还包括：
第一检查模块，用于检查待上传临时文件中是否有与转储文件信息相同的记录；
若有相同记录，则不将该条转储文件信息写入待上传临时文件。
进一步地，上述设备中，若备份服务器因传输实际文件失败而需要重新获取上一条转储文件信息时，包括：
截取模块，用于在待上传临时文件中截取最后一次标记的转储文件信息；
第二检查模块，用于检查该转储文件信息中转储文件的实际大小和转储文件权限状态信息是否有变化；
如有变化，将该变化的信息重新写入已标记的转储文件信息中，形成更改后的标记处转储文件信息；
上传模块，用于上传待上传临时文件中更改后的该标记处转储文件信息。
本申请通过截取最后一次标记的转储文件信息，简化了对事务日志转储文件的识别与选取。在备份服务器因传输实际文件失败而需要重新获取上一条转储文件信息时，避免了现有技术中若选取的事务日志转储文件有误，则会因日志顺序错误而导致恢复失败的缺陷。
进一步地，上述设备中，还包括：
同步刷写模块，用于在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写入磁盘。
本申请在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写，保证其写入磁盘，避免了在获取事务日志转储信息过程中系统掉电，因差异临时文件、待上传临时文件以及拷贝文件未及时刷写入磁盘，而在系统恢复后，获取转储信息出现日志转储信息重传，或临时文件内容错乱导致无法获取转储信息等各种异常情况。本申请通过实现文件同步刷写磁盘，设定系统掉电保护机制来避免突发性情况所导致的各种错误。
综上所述，本申请通过在装有Sybase数据库的Unix/Linux系统主机上实时异步获取指定路径下的事务日志转储文件信息，使得备份服务器可通过该信息获取并存储事务日志转储文件，从而实现对Sybase数据库的数据容灾保护。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，在本申请一实施例中，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，在本申请一实施例中，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，在本申请一实施例中，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，在本申请一实施例中计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在本申请一实施例中，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种获取事务日志转储文件信息的方法，其特征在于，该方法包括：
对备份服务日志进行拷贝，形成备份服务日志的拷贝文件；
当有新的转储任务完成时，备份服务日志会生成相应记录信息；
将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；
解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。
2.如权利要求1所述的方法，其特征在于，在对备份服务日志进行拷贝之前，还包括：
设定指定转储路径过滤机制，使得获取指定路径下的转储文件信息时，避开对非指定路径下转储文件信息的解析与获取。
3.如权利要求1或2所述的方法，其特征在于，所述解析出差异临时文件中所包含的内容之后，还包括；
获取转储文件的属性信息；
将所述差异临时文件中所包含的内容以及转储文件的属性信息写入待上传临时文件；
从待上传临时文件中上传当前写入的转储文件信息，并对该转储文件信息进行标记。
4.如权利要求3所述的方法，其特征在于，将所述转储文件信息写入待上传临时文件之前，还包括：
检查待上传临时文件中是否有与转储文件信息相同的记录；
若有相同记录，则不将该条转储文件信息写入待上传临时文件。
5.如权利要求4所述的方法，其特征在于，若需要重新获取上一条转储文件信息，包括：
在待上传临时文件中截取最后一次标记的转储文件信息；
检查该转储文件信息中转储文件的属性信息是否有变化；
如有变化，将该变化的信息重新写入已标记的转储文件信息中，形成更改后的标记处转储文件信息；
上传待上传临时文件中更改后的该标记处转储文件信息。
6.如权利要求5所述的方法，其特征在于，还包括：
在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写入磁盘。
7.如权利要求6所述的方法，其特征在于，所述解析出差异临时文件中所包含的内容，该内容具体包括：
转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息。
8.如权利要求7所述的方法，其特征在于，所述转储文件的属性信息，包括：转储文件的实际大小和转储文件权限状态信息。
9.如权利要求8所述的方法，其特征在于，所述转储文件信息包括：转储文件路径及名称、转储文件所属数据库名称、转储文件权限状态信息、转储文件实际大小和转储文件转储时间戳。
10.一种获取事务日志转储文件信息的设备，其特征在于，该设备包括：
拷贝模块，用于对备份服务日志进行拷贝，形成备份服务日志的拷贝文件；
生成模块，用于当有新的转储任务完成时，生成相应备份服务日志记录信息；
比较模块，将备份服务日志和已形成的备份服务日志的拷贝文件进行差异性比对，并将差异信息写入差异临时文件；
解析模块，解析出差异临时文件中所包含的内容，并将该内容追加写入备份服务日志的拷贝文件中，以待下一次获取转储文件信息时进行差异性比对。
11.如权利要求10所述的设备，其特征在于，还包括：
设定模块，用于设定指定转储路径过滤机制，使得获取指定路径下的转储文件信息时，避开对非指定路径下转储文件信息的解析与获取。
12.如权利要求10或11所述的设备，其特征在于，还包括：
获取模块，用于获取转储文件的属性信息；
写入模块，用于将所述差异临时文件中所包含的内容以及转储文件的属性信息写入待上传临时文件；
标记模块，用于从待上传临时文件中上传当前写入的转储文件信息，并对该转储文件信息进行标记。
13.如权利要求12所述的设备，其特征在于，还包括：
第一检查模块，用于检查待上传临时文件中是否有与转储文件信息相同的记录；
若有相同记录，则不将该条转储文件信息写入待上传临时文件。
14.如权利要求13所述的设备，其特征在于，还包括：
截取模块，用于在待上传临时文件中截取最后一次标记的转储文件信息；
第二检查模块，用于检查该转储文件信息中转储文件的实际大小和转储文件权限状态信息是否有变化；
如有变化，将该变化的信息重新写入已标记的转储文件信息中，形成更改后的标记处转储文件信息；
上传模块，用于上传待上传临时文件中更改后的该标记处转储文件信息。
15.如权利要求14所述的设备，其特征在于，还包括：
同步刷写模块，用于在备份服务日志的拷贝文件和待上传临时文件中有新的信息写入时，对该拷贝文件和待上传临时文件进行同步刷写入磁盘。
16.如权利要求15所述的设备，其特征在于，所述解析模块，具体用于解析出差异临时文件中所包含的转储文件路径及名称、转储文件所属数据库名称和转储文件转储时间戳信息。
17.如权利要求16所述的设备，其特征在于，所述转储文件的属性信息，包括：转储文件的实际大小和转储文件权限状态信息。
18.如权利要求17所述的设备，其特征在于，所述转储文件信息包括：转储文件路径及名称、转储文件所属数据库名称、转储文件权限状态信息、转储文件实际大小和转储文件转储时间戳。
CN201710005140.1A 2017-01-04 2017-01-04 一种获取事务日志转储文件信息的方法及设备 Pending CN106776150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710005140.1A CN106776150A (zh) 2017-01-04 2017-01-04 一种获取事务日志转储文件信息的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710005140.1A CN106776150A (zh) 2017-01-04 2017-01-04 一种获取事务日志转储文件信息的方法及设备

Publications (1)

Publication Number Publication Date
CN106776150A true CN106776150A (zh) 2017-05-31

Family

ID=58949930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710005140.1A Pending CN106776150A (zh) 2017-01-04 2017-01-04 一种获取事务日志转储文件信息的方法及设备

Country Status (1)

Country Link
CN (1) CN106776150A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542844A (zh) * 2018-12-03 2019-03-29 郑州云海信息技术有限公司 一种事件日志收集方法、系统及电子设备和存储介质
CN109542921A (zh) * 2018-11-28 2019-03-29 北京字节跳动网络技术有限公司 一种数据检查方法、装置、电子设备及存储介质
CN111125060A (zh) * 2019-12-17 2020-05-08 中国联合网络通信集团有限公司 一种数据库管理方法、系统、设备及存储介质
CN111176903A (zh) * 2019-12-31 2020-05-19 云汉芯城（上海）互联网科技股份有限公司 一种商品数据恢复的方法、系统、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521075A (zh) * 2011-12-01 2012-06-27 浪潮电子信息产业股份有限公司 一种快速可靠的文件增量备份方法
CN102609338A (zh) * 2012-02-05 2012-07-25 四川大学 一种逆向的文件增量归档方法
CN103019888A (zh) * 2012-12-21 2013-04-03 华为技术有限公司 备份方法与装置
CN105183581A (zh) * 2015-07-23 2015-12-23 深圳市沃信科技有限公司 一种数据库容灾系统
CN105988899A (zh) * 2015-03-05 2016-10-05 广州市动景计算机科技有限公司 实现数据缓存的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521075A (zh) * 2011-12-01 2012-06-27 浪潮电子信息产业股份有限公司 一种快速可靠的文件增量备份方法
CN102609338A (zh) * 2012-02-05 2012-07-25 四川大学 一种逆向的文件增量归档方法
CN103019888A (zh) * 2012-12-21 2013-04-03 华为技术有限公司 备份方法与装置
CN105988899A (zh) * 2015-03-05 2016-10-05 广州市动景计算机科技有限公司 实现数据缓存的方法和装置
CN105183581A (zh) * 2015-07-23 2015-12-23 深圳市沃信科技有限公司 一种数据库容灾系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542921A (zh) * 2018-11-28 2019-03-29 北京字节跳动网络技术有限公司 一种数据检查方法、装置、电子设备及存储介质
CN109542921B (zh) * 2018-11-28 2021-03-02 北京字节跳动网络技术有限公司 一种数据检查方法、装置、电子设备及存储介质
CN109542844A (zh) * 2018-12-03 2019-03-29 郑州云海信息技术有限公司 一种事件日志收集方法、系统及电子设备和存储介质
CN109542844B (zh) * 2018-12-03 2021-11-19 郑州云海信息技术有限公司 一种事件日志收集方法、系统及电子设备和存储介质
CN111125060A (zh) * 2019-12-17 2020-05-08 中国联合网络通信集团有限公司 一种数据库管理方法、系统、设备及存储介质
CN111125060B (zh) * 2019-12-17 2023-10-31 中国联合网络通信集团有限公司 一种数据库管理方法、系统、设备及存储介质
CN111176903A (zh) * 2019-12-31 2020-05-19 云汉芯城（上海）互联网科技股份有限公司 一种商品数据恢复的方法、系统、设备及可读存储介质
CN111176903B (zh) * 2019-12-31 2020-10-02 云汉芯城（上海）互联网科技股份有限公司 一种商品数据恢复的方法、系统、设备及可读存储介质

Similar Documents

Publication Publication Date Title
US7516286B1 (en) Conversion between full-data and space-saving snapshots
CN104040481B (zh) 用于融合、存储和检索增量式备份数据的方法和系统
CN106776150A (zh) 一种获取事务日志转储文件信息的方法及设备
US7194487B1 (en) System and method for recording the order of a change caused by restoring a primary volume during ongoing replication of the primary volume
CN105183581B (zh) 一种数据库容灾系统
US20110082835A1 (en) Periodic file system checkpoint manager
CN103019890B (zh) 一种块级别的磁盘数据保护系统及其方法
US20140310245A1 (en) Partition level backup and restore of a massively parallel processing database
CN103197988A (zh) 一种数据备份、恢复的方法、设备和数据库系统
CN105955836A (zh) 一种冷热备份自动演练多功能系统
CN102999564B (zh) 写入数据的方法、装置和设备
CN108255638B (zh) 一种快照回滚方法及装置
CN104077380A (zh) 一种重复数据删除方法、装置及系统
CN104216801A (zh) 一种面向虚拟化环境的数据复制方法及系统
CN106708662A (zh) 一种恢复数据库的方法及设备
CN102200944A (zh) Erp系统的测试环境克隆方法及系统
CN107885616A (zh) 一种基于文件系统解析的海量小文件备份恢复方法
CN110188068A (zh) 一种保证文件系统数据一致性的卷级备份方法及装置
CN104978336A (zh) 基于Hadoop分布式计算平台的非结构化数据存储系统
CN105988895A (zh) 快照处理方法及装置
CN108762982B (zh) 一种数据库恢复方法、装置及系统
CN106339387A (zh) 一种数据库集群中新增服务器的数据同步方法及装置
CN106502830B (zh) 一种基于Btrfs文件系统的系统备份还原方法
CN103106200A (zh) 非关系型数据库同步系统及双写同步方法
CN114003439B (zh) 数据备份方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication