CN103744939B - 一种日志的记录方法、日志的恢复方法及日志管理器 - Google Patents

一种日志的记录方法、日志的恢复方法及日志管理器 Download PDF

Info

Publication number
CN103744939B
CN103744939B CN201310752894.5A CN201310752894A CN103744939B CN 103744939 B CN103744939 B CN 103744939B CN 201310752894 A CN201310752894 A CN 201310752894A CN 103744939 B CN103744939 B CN 103744939B
Authority
CN
China
Prior art keywords
data
tuple
tuple data
serial data
subdata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310752894.5A
Other languages
English (en)
Other versions
CN103744939A (zh
Inventor
文继军
李健
张学富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310752894.5A priority Critical patent/CN103744939B/zh
Publication of CN103744939A publication Critical patent/CN103744939A/zh
Application granted granted Critical
Publication of CN103744939B publication Critical patent/CN103744939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种日志的记录方法、日志的恢复方法及日志管理器，涉及数据压缩领域，用于解决日志文件的数据量很大，导致占用大量磁盘IO资源的问题。所述日志的记录方法包括：日志管理器获取修改操作之后的第一元组数据；将所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配；若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；将所述第一元组数据中除所述第一数据串之外的子数据、以及各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录。本发明实施例适用于进行日志记录的情景。

Description

一种日志的记录方法、日志的恢复方法及日志管理器
技术领域
本发明涉及数据压缩领域，尤其涉及一种日志的记录方法、日志的恢复方法及日志管理器。
背景技术
如图1所示，在数据库系统中，日志模块包括日志管理器和日志文件两部分，当数据库系统出现故障之后，数据库系统通过使用日志模块来重建对数据库所做的更新过程，从而保证数据库的一致性。
现有技术中，通常将修改操作之后的元组数据存储在日志文件中，在系统需要进行恢复时，日志管理器直接从日志文件中读取修改操作之后的元组数据，然后将修改操作之后的元组数据通过缓冲区重新写入数据文件，在现有的方案中，当修改（update）操作比较频繁，或者修改操作只更改元组数据的部分属性的情况下，日志文件中会存储大量的重复冗余数据，使得日志文件的数据量很大，导致占用大量磁盘IO资源。
发明内容
本发明的实施例提供一种日志的记录方法、日志的恢复方法及日志管理器，用于解决日志文件的数据量很大，导致占用大量磁盘IO资源的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
一方面，提供一种日志的记录方法，所述方法包括：
日志管理器获取修改操作之后的第一元组数据，所述第一元组数据包括多个子数据；
将所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配；
若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；所述数据串包括至少两个连续的子数据；
将所述第一元组数据中除所述第一数据串之外的子数据、以及各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录。
在第一方面的第一种可能的实现方式中，在将所述第一元组数据与修改操作之前的第二元组数据进行数据匹配之前，所述方法还包括：
从事务管理器获取第二元组数据的存储地址，并按照所述第二元组数据的存储地址获取所述第二元组数据。
在第一方面的第一种可能的实现方式中，还提供了第一方面的第二种可能的实现方式，在所述生成所述修改操作的日志记录之后，所述方法还包括：
设置所述日志记录对应的结构信息，所述结构信息包括：控制字符；所述控制字符中的控制位依次表示所述日志记录中的数据是所述位置信息还是所述第一元组数据中除所述第一数据串之外的一个子数据；
将所述日志记录、所述结构信息和所述第二元组数据的存储地址存储在日志文件中。
在第一方面的第二种可能的实现方式中，还提供了第一方面的第三种可能的实现方式，所述结构信息还包括：头部信息，所述头部信息包括所述日志记录的长度信息。
在第一方面或第一方面的前三种任一可能的实现方式中，还提供了第一方面的第四种可能的实现方式，所述将所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配，具体包括：
将所述第一元组数据中的子数据按照正序或倒序方式依次与所述第二元组数据全部或部分子数据进行数据匹配。
在第一方面或第一方面的前三种任一可能的实现方式中，还提供了第一方面的第五种可能的实现方式，将所述第一元组数据中除所述第一数据串之外的子数据、以及各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录，具体包括：
按照所述进行数据匹配的顺序，依次排列各个所述位置信息和所述第一元组数据中除所述第一数据串之外的各个子数据，得到所述修改操作的日志记录，其中，所述位置信息占用第一预定数目的字节；所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
在第一方面或第一方面的前三种任一可能的实现方式中，还提供了第一方面的第五种可能的实现方式，所述位置信息包括：在所述第二元组数据中的起始位置和所述第二数据串的长度；或者，在所述第二元组数据中的起始位置和结束位置；或者，在所述第二元组数据中的结束位置和所述第二数据串的长度。
第二方面，提供一种日志管理器，所述日志管理器包括：第一获取单元、计算单元和第一生成单元；
所述第一获取单元，用于获取修改操作之后的第一元组数据，所述第一元组数据包括多个子数据；
所述计算单元，用于将所述第一获取单元所获取的所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配；若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；所述数据串包括至少两个连续的子数据；
所述第一生成单元，用于将所述第一获取单元所获取的所述第一元组数据中除所述第一数据串之外的子数据、以及所述计算单元所得到的各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录。
在第二方面的第一种可能的实现方式中，所述日志管理器还包括：第二获取单元；
所述第二获取单元用于从事务管理器获取第二元组数据的存储地址，并按照所述第二元组数据的存储地址获取所述第二元组数据。
在第二方面的第一种可能的实现方式中，还提供了第二方面的第二种可能的实现方式，所述日志管理器还包括：设置单元和存储单元；
所述设置单元，用于设置所述第一生成单元所生成的日志记录对应的结构信息，所述结构信息包括：控制字符；所述控制字符中的控制位依次表示所述日志记录中的数据是所述位置信息还是所述第一元组数据中除所述第一数据串之外的一个子数据；
所述存储单元，用于将所述第一生成单元所生成的所述日志记录、所述设置单元所设置的所述结构信息和第二获取单元所获取的所述第二元组数据的存储地址存储在日志文件中。
在第二方面的第二种可能的实现方式中，还提供了第二方面的第三种可能的实现方式，所述结构信息还包括：头部信息，所述头部信息包括所述日志记录的长度信息。
在第二方面或第二方面的前三种任一可能的实现方式中，还提供了第二方面的第四种可能的实现方式，所述计算单元具体用于将所述第一获取单元所获取的所述第一元组数据中的子数据按照正序或倒序方式依次与所述第二元组数据全部或部分子数据进行数据匹配。
在第二方面或第二方面的前三种任一可能的实现方式中，还提供了第二方面的第五种可能的实现方式，所述第一生成单元具体用于按照所述进行数据匹配的顺序，依次排列所述计算单元所得到的各个所述位置信息和所述第一获取单元所获取的所述第一元组数据中除所述第一数据串之外的各个子数据，得到所述修改操作的日志记录，其中，所述位置信息占用第一预定数目的字节；所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
在第二方面或第二方面的前三种任一可能的实现方式中，还提供了第二方面的第五种可能的实现方式，所述位置信息包括：在所述第二元组数据中的起始位置和所述第二数据串的长度；或者，在所述第二元组数据中的起始位置和结束位置；或者，在所述第二元组数据中的结束位置和所述第二数据串的长度。
本发明提供了一种日志的记录方法和日志管理器，通过将第一元组数据与第二元组数据进行数据匹配，在存在第一数据串与所述第二元组数据中的第二数据串相同的情况下，获取所述第二数据串在所述第二元组数据中的位置信息，也就是将相同数据串压缩为位置信息的方式，相对于现有技术中，将修改操作之后的第一元组数据确定为日志记录的方式，本发明实施例充分利用修改操作之前的数据与修改操作之后的数据的高度相关性，将相同的数据串进行压缩，这样降低了日志文件中的数据量，从而节省了IO资源。
第三方面，提供一种日志的恢复方法，所述方法包括：
日志管理器获取修改操作的日志记录和所述日志记录对应的结构信息，所述结构信息包括控制字符；所述日志记录包括第一元组数据中除所述第一数据串之外的子数据、以及各个第二数据串在所述第二元组数据中的位置信息，所述第一数据串与所述第二元组数据中的第二数据串相同；所述第二元组数据为修改操作之前的元组数据；所述第一元组数据为修改操作之后的元组数据；
当所述控制字符中的控制位表示所述日志记录中的数据为所述位置信息时，从所述日志记录中获取所述位置信息，并从所述第二元组数据中获取所述位置信息指示的第二数据串；
当所述控制字符中的控制位表示所述日志记录中的数据不是位置信息时，从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据；
按照控制字符的各个控制位的顺序，将所述第一元组数据中除所述第一数据串之外的子数据、以及各个第二数据串生成第一元组数据。
在第三方面的第一种可能的实现方式中，在从所述第二元组数据中获取所述位置信息指示的第二数据串之前，所述方法还包括：
日志管理器获取第二元组数据的存储地址，并根据所述第二元组数据的存储地址获取所述第二元组数据。
在第三方面或第三方面的第一种可能的实现方式中，还提供了第三方面的第二种可能的实现方式，所述位置信息占用第一预定数目的字节，所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
第四方面，提供一种日志管理器，所述日志管理器包括：第三获取单元、第四获取单元、第五获取单元和第二生成单元；
所述第三获取单元，用于从日志文件中获取修改操作的日志记录和所述日志记录对应的结构信息，所述结构信息包括控制字符；所述日志记录包括第一元组数据中除所述第一数据串之外的子数据、以及各个第二数据串在所述第二元组数据中的位置信息，所述第一数据串与所述第二元组数据中的第二数据串相同；所述第二元组数据为修改操作之前的元组数据；所述第一元组数据为修改操作之后的元组数据；
所述第四获取单元，用于当所述控制字符中的控制位表示所述第三获取单元所获取的所述日志记录中的数据为所述位置信息时，从所述日志记录中获取所述位置信息，并从所述第二元组数据中获取所述位置信息指示的第二数据串；
所述第五获取单元，用于当所述控制字符中的控制位表示所述第三获取单元所获取的所述日志记录中的数据不是位置信息时，从所述第三获取单元所获取的所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据；
所述第二生成单元，用于按照控制字符的各个控制位的顺序，将所述第五获取单元所获取的所述第一元组数据中除所述第一数据串之外的子数据、以及所述第四获取单元所获取的各个第二数据串生成第一元组数据。
在第四方面的第一种可能的实现方式中，所述日志管理器还包括：第六获取单元；
所述第六获取单元用于从日志文件中获取第二元组数据的存储地址，并根据所述第二元组数据的存储地址获取所述第二元组数据。
在第四方面或第四方面的第一种可能的实现方式中，还提供了第四方面的第二种可能的实现方式，所述位置信息占用第一预定数目的字节，所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
本发明实施例还提供一种日志的恢复方法及日志管理器，通过读取控制字节中相应的控制位获取所述位置信息指示的第二数据串，和从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据，再将除所述第一数据串之外的子数据、以及各个第二数据串生成第一元组数据，实现根据第二元组数据和日志记录恢复出第一元组数据，进一步通过日志管理器将数据文件中的元组数据更新为所述第一元组数据元组，从而实现了恢复数据库系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据库系统结构示意图；
图2为本发明实施例提供的一种日志的记录方法；
图3为本发明实施例提供的另一种日志的记录方法；
图4为本发明实施例提供的一种编码过程的示意图；
图5为本发明实施例提供的一种编码数据的结构示意图；
图6为本发明实施例提供的一种日志的恢复方法；
图7为本发明实施例提供的一种解码过程的示意图；
图8为本发明实施例提供的一种日志管理器；
图9为本发明实施例提供的另一种日志管理器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解本发明实施例，下面结合附图和实施例对本发明作详细说明。
实施例一
本发明实施例一种日志的记录方法，如图2所示，所述方法包括以下步骤101～104，该方法的执行主体为日志管理器。
101、日志管理器获取修改操作之后的第一元组数据，所述第一元组数据包括多个子数据。
102、将所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配。
103、若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；所述数据串包括至少两个连续的子数据。
104、将所述第一元组数据中除所述第一数据串之外的子数据、以及各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录。
本发明提供了一种日志的记录方法，通过将第一元组数据与第二元组数据进行数据匹配，在存在第一数据串与所述第二元组数据中的第二数据串相同的情况下，获取所述第二数据串在所述第二元组数据中的位置信息，也就是将相同数据串压缩为位置信息的方式，相对于现有技术中，将修改操作之后的第一元组数据确定为日志记录的方式，本发明实施例充分利用修改操作之前的数据与修改操作之后的数据的高度相关性，将相同的数据串进行压缩，这样降低了日志文件中的数据量，从而节省了IO资源。
实施例二
本发明实施例提供一种日志的记录方法，如图3所示，所述方法包括以下步骤201-206。该方法的执行主体为日志管理器。
201、日志管理器从事务管理器获取第二元组数据的存储地址，并按照所述第二元组数据的存储地址获取所述第二元组数据；在本发明中，第二元组数据为修改操作之前的元组数据，第一元组数据为修改操作之后的元组数据，在本发明实施例中并不限定所修改的日志的类型，但是本发明中修改操作之前的元组数据和修改操作之后的元组数据是以二进制流方式进行增量的计算。
202、获取修改操作之后的第一元组数据，所述第一元组数据包括多个子数据。
203、将所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配。
在实现步骤203的过程中，可选的，将所述第一元组数据中的子数据按照正序或倒序方式依次与所述第二元组数据全部或部分子数据进行数据匹配。例如，从第一元组数据中第一个子数据开始，依次与第二元组数据中的各个子数据进行匹配，或者，从第一元组数据中最后一个子数据开始，依次与第二元组数据中的各个子数据进行匹配，或者，从第一元组数据中第一个子数据开始，与第二元组数据中的固定长度范围的子数据进行匹配。在实现匹配的过程中，可以将第二元组数据构建为字典的方式，还可以将第二元组数据构建为查找树等方式，本发明实施例中并不限定匹配过程中所采用的具体实现算法。
204、若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；所述数据串包括至少两个连续的子数据。如图4所示，在所述第一元组数据10中存在第一数据串11，第一数据串12和第一数据串13的情况下，获取与第一数据串11相同的所述第二数据串21在所述第二元组数据20中的位置信息31，获取与第一数据串12相同的所述第二数据串22在所述第二元组数据20中的位置信息32，获取与第一数据串13相同的所述第二数据串22在所述第二元组数据20中的位置信息32。
在本发明实施例中，将除所述第一数据串之外的每个子数据确定为增加的子数据。如图4中，日志记录30中包括多个增加的子数据。
可选的，所述位置信息包括：在所述第二元组数据中的起始位置和所述第二数据串的长度；或者，在所述第二元组数据中的起始位置和结束位置；或者，在所述第二元组数据中的结束位置和所述第二数据串的长度。
205、将所述第一元组数据中除所述第一数据串之外的子数据、以及各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录。
在实现步骤205的过程中，可选的，按照所述进行数据匹配的顺序，依次排列各个所述位置信息和所述第一元组数据中除所述第一数据串之外的各个子数据，得到所述修改操作的日志记录，其中，所述位置信息占用第一预定数目的字节；所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。在该方式为一种优选的实施方式，将位置信息的长度设置为固定长度，将第一元组数据中每一个非第一数据串的子数据的长度也设置为固定长度，这种方式便于后续根据控制位恢复第一元组数据。当然在还可以采用其它方式，例如，将第一元组数据中每次增加的子数据串直接生成日志记录，将增加的子数据串的长度存储在预定位置，在后续恢复第一元组数据时根据预定位置的长度读取增加的子数据串。
又一示例性的，修改操作的元组数据有两列，属性分别为timestamp，varchar。
修改操作之前的第二元组数据为2013-12-10-20：47，abcedfghijklmnopqr。
修改操作之后第一元组数据为2013-12-10-20：50，abcedfghijklmnopqr。
则匹配结果为：<0,14>50<17,18>。其中，<0,14>为第二数据串在第二元组数据中的位置信息，50为所述第一元组数据中除所述第一数据串之外的子数据，<17,18>为第二数据串在第二元组数据中的位置信息。在本示例中，位置信息包括所述第二数据串在所述第二元组数据中的起始位置和长度。
206、设置所述日志记录对应的结构信息，所述结构信息包括：控制字符；所述控制字符中的控制位依次表示所述日志记录中的数据是否为所述位置信息。
在本发明所有实施例中，将第一元组数据中除所述第一数据串之外的每个子数据确定为增加的子数据。
如图5所示，控制字符为10101000，当控制位为1时表示所述日志记录中的数据为所述位置信息；所述日志记录中所记录的内容依次为第一预定数目的字节的位置信息、第二预定数目的字节的增加的子数据、第一预定数目的字节的位置信息、第二预定数目的字节的增加的子数据、第一预定数目的字节的位置信息、第二预定数目的字节的增加的子数据、第二预定数目的字节的增加的子数据、第二预定数目的字节的增加的子数据。
可见，通过设置控制字符以便获知下一个字节的数据是位置信息还是一个增加的子数据。
207、将所述日志记录、所述结构信息和所述第二元组数据的存储地址存储在日志文件中，以便在需要进行数据库系统恢复时，将日志记录对应的第一元组进行恢复。
可选的，所述结构信息还包括：头部信息，所述头部信息包括所述日志记录的长度信息。所述日志记录的长度信息用于对恢复修改操作之后的元组数据的长度校验。
本发明提供了一种日志的记录方法，通过将第一元组数据与第二元组数据进行数据匹配，在存在第一数据串与所述第二元组数据中的第二数据串相同的情况下，获取所述第二数据串在所述第二元组数据中的位置信息，也就是将相同数据串压缩为位置信息的方式，相对于现有技术中，将修改操作之后的第一元组数据确定为日志记录的方式，本发明实施例充分利用修改操作之前的数据与修改操作之后的数据的高度相关性，将相同的数据串进行压缩，这样降低了日志文件中的数据量，从而节省了IO资源。
实施例三
本发明实施例提供一种日志的恢复方法，在上述日志的记录方法之后，本发明实施例中提供的恢复方法，适用于在修改操作之后日志文件中记录了修改操作产生的第一元组数据对应的日志记录，但是数据库系统发生异常还没有完成数据文件中的元组数据的更新，该方法的执行主体为日志管理器。所述方法包括：
301、日志管理器获取第二元组数据的存储地址，并根据所述第二元组数据的存储地址获取所述第二元组数据，所述第二元组数据为修改操作之前的元组数据。
302、日志管理器获取修改操作的日志记录和所述日志记录对应的结构信息，所述结构信息包括控制字符；所述日志记录包括第一元组数据中除所述第一数据串之外的子数据、以及各个第二数据串在所述第二元组数据中的位置信息，所述第一数据串与所述第二元组数据中的第二数据串相同；所述第一元组数据为修改操作之后的元组数据。
303、判断所述控制字符中的控制位表示所述日志记录中的数据是否为位置信息；在判断结果为是的情况下，执行以下步骤304，在判断结果为否的情况下，执行以下步骤305；
304、当所述控制字符中的控制位表示所述日志记录中的数据为所述位置信息时，从所述日志记录中获取所述位置信息，并从所述第二元组数据中获取所述位置信息指示的第二数据串。
305、当所述控制字符中的控制位表示所述日志记录中的数据不是位置信息时，从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据。
可选的，所述位置信息占用第一预定数目的字节，所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。在实现步骤305的过程中，具体为从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的一个子数据，该子数据的长度为第二预定数目的字节。可选的，第二预定数目的字节为1个字节。
306、按照控制字符的各个控制位的顺序，将除所述第一数据串之外的子数据、以及各个第二数据串生成第一元组数据。
如图7所示，在根据日志记录30和第二元组数据20获取第一元组数据10的过程中，当控制字符指示日志记录中的字符为位置信息时，根据位置信息例如<0,14>，获取从第二元组数据0位置开始的14个字符长度的数据，也就是第二元组数据中的第二数据串21；同样，根据位置信息例如<16，3>，获取从第二元组数据16位置开始的3个字符长度的数据，也就是第二元组数据中的第二数据串22；当控制字符指示日志记录中的字符不为位置信息时，从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据也就是增加的子数据31、增加的子数据32、增加的子数据33。根据控制字符各个控制位指示的顺序，得到第一元组数据10。
本发明实施例提供一种日志的恢复方法，通过读取控制字节中相应的控制位获取所述位置信息指示的第二数据串，和从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据，再将除所述第一数据串之外的子数据、以及各个第二数据串生成第一元组数据，实现根据第二元组数据和日志记录恢复出第一元组数据，进一步通过日志管理器将数据文件中的元组数据更新为所述第一元组数据元组，从而实现了恢复数据库系统。
实施例四
本发明实施例提供一种日志管理器1000，如图8所示，所述日志管理器1000包括：第一获取单元1001、计算单元1002和第一生成单元1003。
所述第一获取单元1001，用于获取修改操作之后的第一元组数据，所述第一元组数据包括多个子数据。
所述计算单元1002，用于将所述第一获取单元1001所获取的所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配；若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；所述数据串包括至少两个连续的子数据。
可选的，所述计算单元1002具体用于将所述第一获取单元1001所获取的所述第一元组数据中的子数据按照正序或倒序方式依次与所述第二元组数据全部或部分子数据进行数据匹配。在实现匹配的过程中，可以将第二元组数据构建为字典的方式，还可以将第二元组数据构建为查找树等方式，本发明实施例中并不限定匹配过程中所采用的具体实现算法。
所述第一生成单元1003，用于将所述第一获取单元1001所获取的所述第一元组数据中除所述第一数据串之外的子数据、以及所述计算单元1002所得到的各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录。
可选的，所述第一生成单元1003具体用于按照所述进行数据匹配的顺序，依次排列所述计算单元1002所得到的各个所述位置信息和所述第一获取单元1001所获取的所述第一元组数据中除所述第一数据串之外的各个子数据，得到所述修改操作的日志记录，其中，所述位置信息占用第一预定数目的字节；所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
优选的，所述日志管理器1000还包括：第二获取单元1004。
所述第二获取单元1004用于从事务管理器获取第二元组数据的存储地址，并按照所述第二元组数据的存储地址获取所述第二元组数据。
优选的，所述日志管理器1000还包括：设置单元1005和存储单元1006。
所述设置单元1005，用于设置所述第一生成单元1003所生成的日志记录对应的结构信息，所述结构信息包括：控制字符；所述控制字符中的控制位依次表示所述日志记录中的数据是所述位置信息还是所述第一元组数据中除所述第一数据串之外的一个子数据；
所述存储单元1006，用于将所述第一生成单元1003所生成的所述日志记录、所述设置单元1005所设置的所述结构信息和第二获取单元1004所获取的所述第二元组数据的存储地址存储在日志文件中。
可选的，所述结构信息还包括：头部信息，所述头部信息包括所述日志记录的长度信息。
可选的，所述位置信息包括：在所述第二元组数据中的起始位置和所述第二数据串的长度；或者，在所述第二元组数据中的起始位置和结束位置；或者，在所述第二元组数据中的结束位置和所述第二数据串的长度。所述日志记录的长度信息用于在恢复日志之后的长度校验。
本发明提供了一种日志管理器，通过计算单元将第一元组数据与第二元组数据进行数据匹配，在存在第一数据串与所述第二元组数据中的第二数据串相同的情况下，获取所述第二数据串在所述第二元组数据中的位置信息，也就是将相同数据串压缩为位置信息的方式，相对于现有技术中，将修改操作之后的第一元组数据确定为日志记录的方式，本发明实施例充分利用修改操作之前的数据与修改操作之后的数据的高度相关性，将相同的数据串进行压缩，这样降低了日志文件中的数据量，从而节省了IO资源。
实施例五
本发明实施例提供一种日志管理器2000，如图9所示，所述日志管理器2000包括：第三获取单元2001、第四获取单元2002、第五获取单元2003和第二生成单元2004；
所述第三获取单元2001，用于从日志文件中获取修改操作的日志记录和所述日志记录对应的结构信息，所述结构信息包括控制字符；所述日志记录包括第一元组数据中除所述第一数据串之外的子数据、以及各个第二数据串在所述第二元组数据中的位置信息，所述第一数据串与所述第二元组数据中的第二数据串相同；所述第二元组数据为修改操作之前的元组数据；所述第一元组数据为修改操作之后的元组数据；
所述第四获取单元2002，用于当所述控制字符中的控制位表示所述第三获取单元2001所获取的所述日志记录中的数据为所述位置信息时，从所述日志记录中获取所述位置信息，并从所述第二元组数据中获取所述位置信息指示的第二数据串；
所述第五获取单元2003，用于当所述控制字符中的控制位表示所述第三获取单元2001所获取的所述日志记录中的数据不是位置信息时，从所述第三获取单元2001所获取的所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据；
所述第二生成单元2004，用于按照控制字符的各个控制位的顺序，将所述第五获取单元2003所获取的所述第一元组数据中除所述第一数据串之外的子数据、以及所述第四获取单元2002所获取的各个第二数据串生成第一元组数据。
优选的，所述日志管理器2000还包括：第六获取单元2005；
所述第六获取单元2005用于从日志文件中获取第二元组数据的存储地址，并根据所述第二元组数据的存储地址获取所述第二元组数据。
优选的，所述位置信息占用第一预定数目的字节，所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
本发明实施例提供一种日志管理器，通过第四获取单元读取控制字节中相应的控制位获取所述位置信息指示的第二数据串，和第五获取单元从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据，再通过第二生成单元将除所述第一数据串之外的子数据、以及各个第二数据串生成第一元组数据，实现根据第二元组数据和日志记录恢复出第一元组数据，进一步通过日志管理器将数据文件中的元组数据更新为所述第一元组数据元组，从而实现了恢复数据库系统。
需要说明的是，前述实施例描述中所采用的第一、第二的说法，没有限定顺序的意思，仅为方便区分而已。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种日志的记录方法，其特征在于，所述方法包括：
日志管理器从事务管理器获取第二元组数据的存储地址，并按照所述第二元组数据的存储地址获取所述第二元组数据；
获取修改操作之后的第一元组数据，所述第一元组数据包括多个子数据；
将所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配；
若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；所述数据串包括至少两个连续的子数据；
将所述第一元组数据中除所述第一数据串之外的子数据、以及各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录；
设置所述日志记录对应的结构信息，所述结构信息包括：控制字符；所述控制字符中的控制位依次表示所述日志记录中的数据是所述位置信息还是所述第一元组数据中除所述第一数据串之外的一个子数据；
将所述日志记录、所述结构信息和所述第二元组数据的存储地址存储在日志文件中。
2.根据权利要求1所述的方法，其特征在于，所述结构信息还包括：头部信息，所述头部信息包括所述日志记录的长度信息。
3.根据权利要求1或2所述的方法，其特征在于，
所述将所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配，具体包括：
将所述第一元组数据中的子数据按照正序或倒序方式依次与所述第二元组数据全部或部分子数据进行数据匹配。
4.根据权利要求1或2所述的方法，其特征在于，将所述第一元组数据中除所述第一数据串之外的子数据、以及各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录，具体包括：
按照所述进行数据匹配的顺序，依次排列各个所述位置信息和所述第一元组数据中除所述第一数据串之外的各个子数据，得到所述修改操作的日志记录，其中，所述位置信息占用第一预定数目的字节；所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
5.根据权利要求1或2所述的方法，其特征在于，所述位置信息包括：在所述第二元组数据中的起始位置和所述第二数据串的长度；或者，在所述第二元组数据中的起始位置和结束位置；或者，在所述第二元组数据中的结束位置和所述第二数据串的长度。
6.一种日志的恢复方法，其特征在于，所述方法包括：
日志管理器获取修改操作的日志记录和所述日志记录对应的结构信息，所述结构信息包括控制字符；所述日志记录包括第一元组数据中除第一数据串之外的子数据、以及各个第二数据串在第二元组数据中的位置信息，所述第一数据串与所述第二元组数据中的第二数据串相同；所述第二元组数据为修改操作之前的元组数据；所述第一元组数据为修改操作之后的元组数据；
当所述控制字符中的控制位表示所述日志记录中的数据为所述位置信息时，从所述日志记录中获取所述位置信息，并从所述第二元组数据中获取所述位置信息指示的第二数据串；
当所述控制字符中的控制位表示所述日志记录中的数据不是位置信息时，从所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据；
按照控制字符的各个控制位的顺序，将所述第一元组数据中除所述第一数据串之外的子数据、以及各个第二数据串生成第一元组数据。
7.根据权利要求6所述的方法，其特征在于，在从所述第二元组数据中获取所述位置信息指示的第二数据串之前，所述方法还包括：
日志管理器获取第二元组数据的存储地址，并根据所述第二元组数据的存储地址获取所述第二元组数据。
8.根据权利要求6或7所述的方法，其特征在于，所述位置信息占用第一预定数目的字节，所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
9.一种日志管理器，其特征在于，所述日志管理器包括：第二获取单元、第一获取单元、计算单元、第一生成单元、设置单元和存储单元；
所述第二获取单元，用于从事务管理器获取第二元组数据的存储地址，并按照所述第二元组数据的存储地址获取所述第二元组数据；
所述第一获取单元，用于获取修改操作之后的第一元组数据，所述第一元组数据包括多个子数据；
所述计算单元，用于将所述第一获取单元所获取的所述第一元组数据与所述修改操作之前的第二元组数据进行数据匹配；若所述第一元组数据中存在第一数据串与所述第二元组数据中的第二数据串相同，则获取所述第二数据串在所述第二元组数据中的位置信息；所述数据串包括至少两个连续的子数据；
所述第一生成单元，用于将所述第一获取单元所获取的所述第一元组数据中除所述第一数据串之外的子数据、以及所述计算单元所得到的各个所述第二数据串在所述第二元组数据中的位置信息生成所述修改操作的日志记录；
所述设置单元，用于设置所述第一生成单元所生成的日志记录对应的结构信息，所述结构信息包括：控制字符；所述控制字符中的控制位依次表示所述日志记录中的数据是所述位置信息还是所述第一元组数据中除所述第一数据串之外的一个子数据；
所述存储单元，用于将所述第一生成单元所生成的所述日志记录、所述设置单元所设置的所述结构信息和第二获取单元所获取的所述第二元组数据的存储地址存储在日志文件中。
10.根据权利要求9所述的日志管理器，其特征在于，所述结构信息还包括：头部信息，所述头部信息包括所述日志记录的长度信息。
11.根据权利要求9或10所述的日志管理器，其特征在于，
所述计算单元具体用于将所述第一获取单元所获取的所述第一元组数据中的子数据按照正序或倒序方式依次与所述第二元组数据全部或部分子数据进行数据匹配。
12.根据权利要求9或10所述的日志管理器，其特征在于，所述第一生成单元具体用于按照所述进行数据匹配的顺序，依次排列所述计算单元所得到的各个所述位置信息和所述第一获取单元所获取的所述第一元组数据中除所述第一数据串之外的各个子数据，得到所述修改操作的日志记录，其中，所述位置信息占用第一预定数目的字节；所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
13.根据权利要求9或10所述的日志管理器，其特征在于，所述位置信息包括：在所述第二元组数据中的起始位置和所述第二数据串的长度；或者，在所述第二元组数据中的起始位置和结束位置；或者，在所述第二元组数据中的结束位置和所述第二数据串的长度。
14.一种日志管理器，其特征在于，所述日志管理器包括：第三获取单元、第四获取单元、第五获取单元和第二生成单元；
所述第三获取单元，用于从日志文件中获取修改操作的日志记录和所述日志记录对应的结构信息，所述结构信息包括控制字符；所述日志记录包括第一元组数据中除第一数据串之外的子数据、以及各个第二数据串在第二元组数据中的位置信息，所述第一数据串与所述第二元组数据中的第二数据串相同；所述第二元组数据为修改操作之前的元组数据；所述第一元组数据为修改操作之后的元组数据；
所述第四获取单元，用于当所述控制字符中的控制位表示所述第三获取单元所获取的所述日志记录中的数据为所述位置信息时，从所述日志记录中获取所述位置信息，并从所述第二元组数据中获取所述位置信息指示的第二数据串；
所述第五获取单元，用于当所述控制字符中的控制位表示所述第三获取单元所获取的所述日志记录中的数据不是位置信息时，从所述第三获取单元所获取的所述日志记录中读取所述第一元组数据中除所述第一数据串之外的子数据；
所述第二生成单元，用于按照控制字符的各个控制位的顺序，将所述第五获取单元所获取的所述第一元组数据中除所述第一数据串之外的子数据、以及所述第四获取单元所获取的各个第二数据串生成第一元组数据。
15.根据权利要求14所述的日志管理器，其特征在于，所述日志管理器还包括：第六获取单元；
所述第六获取单元用于从日志文件中获取第二元组数据的存储地址，并根据所述第二元组数据的存储地址获取所述第二元组数据。
16.根据权利要求14或15所述的日志管理器，其特征在于，所述位置信息占用第一预定数目的字节，所述第一元组数据中除所述第一数据串之外的每个子数据占用第二预定数目的字节。
CN201310752894.5A 2013-12-31 2013-12-31 一种日志的记录方法、日志的恢复方法及日志管理器 Active CN103744939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310752894.5A CN103744939B (zh) 2013-12-31 2013-12-31 一种日志的记录方法、日志的恢复方法及日志管理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310752894.5A CN103744939B (zh) 2013-12-31 2013-12-31 一种日志的记录方法、日志的恢复方法及日志管理器

Publications (2)

Publication Number Publication Date
CN103744939A CN103744939A (zh) 2014-04-23
CN103744939B true CN103744939B (zh) 2017-07-14

Family

ID=50501957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310752894.5A Active CN103744939B (zh) 2013-12-31 2013-12-31 一种日志的记录方法、日志的恢复方法及日志管理器

Country Status (1)

Country Link
CN (1) CN103744939B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445837B (zh) * 2016-10-12 2020-01-17 许继集团有限公司 一种嵌入式装置历史记录存储与加载管理实现方法及装置
CN109934712B (zh) * 2019-01-30 2022-07-15 网联清算有限公司 应用于分布式系统的对账方法、对账装置和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008134705A (ja) * 2006-11-27 2008-06-12 Hitachi Ltd データ処理方法及びデータ分析装置
CN101799783A (zh) * 2009-01-19 2010-08-11 中国人民大学 一种数据存储处理方法、查找方法及其装置
CN101989929B (zh) * 2010-11-17 2014-07-02 中兴通讯股份有限公司 容灾数据备份的方法及系统
CN102033924B (zh) * 2010-12-08 2012-10-31 浪潮(北京)电子信息产业有限公司 一种数据存储方法和系统
CN103412803B (zh) * 2013-08-15 2016-08-10 华为技术有限公司 数据恢复的方法及装置

Also Published As

Publication number Publication date
CN103744939A (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
US9298578B2 (en) Method and apparatus for power loss recovery in a flash memory-based SSD
CN103870514B (zh) 重复数据删除方法和装置
CN106407050A (zh) 一种数据存储方法
CN101625703B (zh) 一种内存数据库的日志合并方法和系统
CN104239443B (zh) 一种序列化数据操作日志的存储方法
EP2916240A1 (en) Database storage system based on compact disk and method using the system
CN101727299A (zh) 连续数据存储中面向raid5的写操作优化设计方法
CN103064760B (zh) 备份方法和备份装置
CN104572781B (zh) 一种交易日志产生方法和装置
CN104714858A (zh) 数据备份方法及装置、数据恢复方法及装置
CN107958079A (zh) 聚合文件删除方法、系统、装置及可读存储介质
CN105630834A (zh) 一种实现重复数据删除的方法及装置
CN109683825B (zh) 一种存储系统在线数据压缩方法、装置及设备
CN103270499A (zh) 日志存储方法及系统
CN109558213A (zh) 管理OpenStack平台的虚拟机快照的方法和装置
CN103778259A (zh) 基于Sqlite3实现智能手机数据恢复的方法
CN105068885A (zh) 一种jpg碎片文件恢复与重组的方法
CN105447168A (zh) Mp4格式的碎片文件恢复与重组的方法
CN110058969A (zh) 一种数据恢复方法及装置
CN106844607A (zh) 一种适用于非整型主键与空闲块合并的SQLite数据恢复方法
CN103744939B (zh) 一种日志的记录方法、日志的恢复方法及日志管理器
CN111722962A (zh) 一种针对cdp数据的存储系统及其方法
CN107678892A (zh) 基于跳跃恢复链的连续数据保护方法
DE112013001108B4 (de) Ein verfahren, eine vorrichtung, ein controller, ein computerprogramm und ein computerprogrammprodukt zum schreiben von neuen daten einer ersten blockgrösse in eine zweite blockgrösse, wobei ein write-write-modus verwendet wird
CN104778100A (zh) 一种安全备份数据的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220218

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.