CN106897174A - 一种针对mysql数据库的碎片恢复方法 - Google Patents

一种针对mysql数据库的碎片恢复方法 Download PDF

Info

Publication number
CN106897174A
CN106897174A CN201710115437.3A CN201710115437A CN106897174A CN 106897174 A CN106897174 A CN 106897174A CN 201710115437 A CN201710115437 A CN 201710115437A CN 106897174 A CN106897174 A CN 106897174A
Authority
CN
China
Prior art keywords
field
length
data
record
mysql database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710115437.3A
Other languages
English (en)
Other versions
CN106897174B (zh
Inventor
梁效宁
许超明
赵飞
何升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XLY SALVATIONDATA TECHNOLOGY Inc.
Original Assignee
Sichuan Aite Intelligent Technology Co Ltd Thailand Win
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Aite Intelligent Technology Co Ltd Thailand Win filed Critical Sichuan Aite Intelligent Technology Co Ltd Thailand Win
Priority to CN201710115437.3A priority Critical patent/CN106897174B/zh
Publication of CN106897174A publication Critical patent/CN106897174A/zh
Application granted granted Critical
Publication of CN106897174B publication Critical patent/CN106897174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种针对MYSQL数据库的碎片恢复方法，包括以下步骤：S1：确认数据文件；S2：确定数据表；S3：通过一个正常的MYSQL数据库分析得到数据表记录的组成结构；S4：检索数据特征标志；S5：确定长度管理表的长度；S6：确定字段判断表，判断该条记录的字段的状态是否为空；S7：排除无用数据；S8：根据长度管理表和字段判断表提取字段，再将字段组成一条完整的记录。本发明的有益效果如下：可以提取MYSQL数据库中的删除记录；可以完美恢复MYSQL数据库中的关键记录碎片；提取的数据是按照原MYSQL数据库的表结构组织的，增加了MYSQL数据库数据恢复的成功率和准确率，减少因数据丢失带来的损失。

Description

一种针对MYSQL数据库的碎片恢复方法
技术领域
本发明涉及信息安全技术领域，特别涉及一种针对MYSQL数据库的碎片恢复方法。
背景技术
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用；
数据库(DataBase，DB)是指在计算机的存储设备上合理存放的相关联的有结构的数据集合。一个数据库含有各种成分，包括表、视图、存储过程、记录、字段、索引等；
MYSQL是一个关系型数据库管理系统，由瑞典MYSQL AB公司开发，目前属于Oracle旗下产品。MYSQL最流行的关系型数据库管理系统，在WEB应用方面MYSQL是最好的RDBMS(Relational Database Management System，关系数据库管理系统)应用软件之一。
MYSQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
MYSQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MYSQL软件采用了双授权政策，它分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MYSQL作为网站数据库。
但是MYSQL数据库有时也会发生故障，导致无法访问数据，其中数据库损坏常见的原因有以下几种：事务日志问题。比如事务日志文件丢失；事务日志文件在操作过程中被误删；事务日志文件被损坏以及事务日志文件过大，导致硬盘的空间不足等；意外掉电或异常强制关机，造成数据文件损坏，主要数据库正在被读写过程中异常关机；数据库的表被破坏或索引等被破坏，或者数据库的其他对象被破坏或丢失等；删除了数据文件，或者更改了它的名字；硬盘损坏，造成数据和日志文件读写错误等；这些错误中部分数据库自己是可以采取容灾机制处理，保证数据可以正常访问，但是针对数据库表破坏，数据库被删除，或者数据文件被删除，此时数据库本身无法修复，就需要一个专门的方法来解决这些问题，解决办法大多是恢复丢失的数据库文件，进而恢复记录，但是如果文件是以碎片的形式存储，目前市面上的一些恢复MYSQL数据库的方法就无从下手了。
本发明用到的技术名词：
数据表(Table)：简称表，由一组数据记录组成，数据库中的数据是以表为单位进行组织的。一个表是一组相关的按行排列的数据；每个表中都含有相同类型的信息。表实际上是一个二维表格，例如，一个班所有学生的考试成绩，可以存放在一个表中，表中的每一行对应一个学生，这一行包括学生的学号，姓名及各门课程成绩。
记录(Record):表中的每一行称为一个记录，它由若干个字段组成。
字段(Field)：也称域，表中的每一列称为一个字段。每个字段都有相应的描述信息，如数据类型、数据宽度等。
字段判断表：非空的字段其在底层由二进制0标志，为空的字段其在底层由二进制1标志，而字段判断表则存放了这些二进制的数值，并且也是倒叙存放的，也就是说字段管理表的第一位表示字段最后一位是否为空；而字段判断表的位数与字段个数相匹配，也就是若该条记录有8个字段则字段判断表则应有8位。
长度管理表：所有不为空的变长字段(如char和vchar类型的字段)均有一个长度字节表示其长度，而长度管理表则是存放了所有这些长度字节，并且存放的方式为倒叙的，也就是说长度管理表的第一个字节表示最后一个字段的长度。
发明内容
本发明针对现有技术的缺陷，提供了一种针对MYSQL数据库的碎片恢复方法，能有效的解决上述现有技术存在的问题。
一种针对MYSQL数据库的碎片恢复方法，包括以下步骤：
S1：确认用户数据数储存在的数据文件；
S2：确定需要恢复的数据表，命名为关键表；
S3：通过一个正常的MYSQL数据库文件分析得到数据表记录的组成结构，得到表中字段和字段长度字节长度、表的长度以及位置，得到了关键表的详细结构；
S4：检索数据特征标志，在数据存储是会使用一个特征标志来判断该条记录为此数据库的数据表记录；
S5：确定长度管理表的长度；
S6：确定字段判断表，根据字段判断表判断该条记录的所有字段的状态是否为空；若字段为空所对应的字段判断表bit位为1，非空为0；
S7：排除判断表后4个字节和长度管理表第三个字段前13个字节；避免出现乱码等无用数据；
S8：根据分析出来的长度管理表以及字段判断表，在数据区提取字段，再将字段组成一条完整的记录，形成一张数据表。
作为优选，S3中确定长度管理表的字节长度需根据字段判断表的中二进制0的个数减去数据库设计书中定义为固定长度的字段个数，则得到长度判断表的长度。
作为优选，S3中确定字段判断表的长度以及位置：紧跟着长度判断表的后4个字节为字段判断表，再将该4个字节转换为二进制则为字段判断表；根据数据库设计书得到该条记录的实际字段个数得出字段判断表的位数。
作为优选，S3中确定特征头：反复对比同一张表的多条记录，找到同一张表里的多条记录中长度管理表里的相同字段，且字段其类型为char型；将固定字段作为特征头。
与现有技术相比本发明的优点在于：可以提取MYSQL数据库中的删除记录；可以完美恢复MYSQL数据库中的关键记录碎片；提取的数据是按照原MYSQL数据库的表结构组织的，增加了MYSQL数据库数据恢复的成功率和准确率，减少因数据丢失带来的损失。
附图说明
图1为本发明实施例MYSQL数据表一条记录的数据结构图。
具体实施方式
为使本发明的目的：技术方案及优点更加清楚明白，以下举实施例，对本发明做进一步详细说明。
一种针对MYSQL数据库的碎片恢复方法，包括以下步骤：
S1：确认用户数据数储存在的数据文件；
S2：确定需要恢复的数据表，命名为关键表；
S3：通过一个正常的MYSQL数据库文件分析得到数据表记录的组成结构，得到表中字段和字段长度字节长度、表的长度以及位置，得到了关键表的详细结构；
确定长度管理表的字节长度：根据字段判断表的中二进制0的个数减去数据库设计书中定义为固定长度的字段个数(如时间和金额等字段)则得到长度判断表的长度。
确定字段判断表的长度以及位置：紧跟着长度判断表的后4个字节为字段判断表，再将该4个字节转换为二进制则为字段判断表；根据数据库设计书得到该条记录的实际字段个数得出字段判断表的位数。
确定特征头：经分析发现MYSQL并没有一个明显的特征标志，反复对比同一张表的多条记录，发现同一张表里的多条记录的长度管理表里的某几个字段总是相同，发现该几个相同的字段其类型为char型。(MYSQL数据库若定义字段为char型，则其在底层字节长度固定并会在长度管理表里记录其长度；若实际长度小于定义的长度则会在底层字节填零补充)则可以将长度管理表中固定字段作为特征头。
S4：检索数据特征标志，在数据存储是会使用一个特征标志来判断该条记录为此数据库的数据表记录；
S5：按照长度管理表确定字段的长度，MYSQL数据库设计结构是将记录了所有变长的字段(如char和varchar类型的信息)的管理字节一起存放并存放在该条记录的起始位置，这里称其为字段长度管理表；而一些如时间信息或者金额信息等字节长度固定的信息，并不会存放标志这类信息长度的管理字节；
S6：确定字段的长度后，需要判断该条记录字段是否为空。MYSQL数据库设计结构在紧跟着长度管理表的接下来的一些字节，标志了该条记录是否为空。这里称这些判断字段是否为空的字节为字段判断表。
S7：确定了长度管理表和字段判断表后，还需要排除一些无用的字节。(在判断表后4个字节为排除字节，根据长度管理表第三个字段前13个字节为排除字节)这样在恢复MYSQL恢复程序时，可以将这些对恢复数据无用的字节筛除掉，就能避免出现乱码等无用数据。
S8：根据分析出来的长度管理表以及字段判断表，在数据区进行提取字段，再将字段组成一条完整的记录，最好将记录汇总，形成一张数据表。
例如，如图1所示，“01 09 06 02 09 01 36 0C 15 24 06 01 09”为该条记录的长度管理表。值得注意的是，其每一个字节对应的数据区的顺序是倒序的，也就是最后一个字节09对应数据区的第一条字段为“31 30 30 30 30 31 30 37 31”；倒数第二个字节01对应数据区的第二条字段为31，其他的依次读取数据。
“37 D0 80 00”为该条记录字段判断表，将其转换为2进制“00110111 1101000010000000 00000000”，偏移1个比特位红色字体含义：0表示表列有数据，1表示表列数据为NULL。其对应表列的数据也是倒序的。第一个“0”表示最后一列的数据不为NULL，第二个“1”表示倒数第二列的数据为NULL。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种针对MYSQL数据库的碎片恢复方法，其特征在于包括以下步骤：
S1：确认用户数据数储存在的数据文件；
S2：确定需要恢复的数据表，命名为关键表；
S3：通过一个正常的MYSQL数据库文件分析得到数据表记录的组成结构，得到表中字段和字段长度字节长度、表的长度以及位置，得到了关键表的详细结构；
S4：检索数据特征标志，在数据存储是会使用一个特征标志来判断该条记录为此数据库的数据表记录；
S5：确定长度管理表的长度；
S6：确定字段判断表，根据字段判断表判断该条记录的所有字段的状态是否为空；若字段为空所对应的字段判断表bit位为1，非空为0；
S7：排除判断表后4个字节和长度管理表第三个字段前13个字节；避免出现乱码等无用数据；
S8：根据分析出来的长度管理表以及字段判断表，在数据区提取字段，再将字段组成一条完整的记录，形成一张数据表。
2.根据权利要求1所述的一种针对MYSQL数据库的碎片恢复方法，其特征在于：S3中确定长度管理表的字节长度需根据字段判断表的中二进制0的个数减去数据库设计书中定义为固定长度的字段个数，则得到长度判断表的长度。
3.根据权利要求2所述的一种针对MYSQL数据库的碎片恢复方法，其特征在于：S3中确定字段判断表的长度以及位置：紧跟着长度判断表的后4个字节为字段判断表，再将该4个字节转换为二进制则为字段判断表；根据数据库设计书得到该条记录的实际字段个数得出字段判断表的位数。
4.根据权利要求3所述的一种针对MYSQL数据库的碎片恢复方法，其特征在于：S3中确定特征头，反复对比同一张表的多条记录，找到同一张表里的多条记录中长度管理表里的相同字段，且字段其类型为char型；将固定字段作为特征头。
CN201710115437.3A 2017-03-01 2017-03-01 一种针对mysql数据库的碎片恢复方法 Active CN106897174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710115437.3A CN106897174B (zh) 2017-03-01 2017-03-01 一种针对mysql数据库的碎片恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710115437.3A CN106897174B (zh) 2017-03-01 2017-03-01 一种针对mysql数据库的碎片恢复方法

Publications (2)

Publication Number Publication Date
CN106897174A true CN106897174A (zh) 2017-06-27
CN106897174B CN106897174B (zh) 2021-01-01

Family

ID=59184409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710115437.3A Active CN106897174B (zh) 2017-03-01 2017-03-01 一种针对mysql数据库的碎片恢复方法

Country Status (1)

Country Link
CN (1) CN106897174B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563751A (zh) * 2018-04-16 2018-09-21 中国刑事警察学院 数据库碎片提取方法
CN109492001A (zh) * 2018-10-15 2019-03-19 四川巧夺天工信息安全智能设备有限公司 一种分类提取access数据库中碎片数据的方法
CN109710462A (zh) * 2018-12-25 2019-05-03 四川巧夺天工信息安全智能设备有限公司 一种基于access样本数据库的碎片数据恢复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045817A (zh) * 2015-06-26 2015-11-11 司法部司法鉴定科学技术研究所 基于事务日志的SQL Server数据库取证分析系统及方法
CN105068887A (zh) * 2015-08-03 2015-11-18 四川效率源信息安全技术有限责任公司 一种基于SQLServer数据库的数据恢复方法
CN105068888A (zh) * 2015-08-03 2015-11-18 四川效率源信息安全技术有限责任公司 一种基于Oracle数据库的数据恢复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045817A (zh) * 2015-06-26 2015-11-11 司法部司法鉴定科学技术研究所 基于事务日志的SQL Server数据库取证分析系统及方法
CN105068887A (zh) * 2015-08-03 2015-11-18 四川效率源信息安全技术有限责任公司 一种基于SQLServer数据库的数据恢复方法
CN105068888A (zh) * 2015-08-03 2015-11-18 四川效率源信息安全技术有限责任公司 一种基于Oracle数据库的数据恢复方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563751A (zh) * 2018-04-16 2018-09-21 中国刑事警察学院 数据库碎片提取方法
CN109492001A (zh) * 2018-10-15 2019-03-19 四川巧夺天工信息安全智能设备有限公司 一种分类提取access数据库中碎片数据的方法
CN109492001B (zh) * 2018-10-15 2021-10-01 四川巧夺天工信息安全智能设备有限公司 一种分类提取access数据库中碎片数据的方法
CN109710462A (zh) * 2018-12-25 2019-05-03 四川巧夺天工信息安全智能设备有限公司 一种基于access样本数据库的碎片数据恢复方法
CN109710462B (zh) * 2018-12-25 2023-05-30 四川巧夺天工信息安全智能设备有限公司 一种基于access样本数据库的碎片数据恢复方法

Also Published As

Publication number Publication date
CN106897174B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
US11741059B2 (en) System and method for extracting a star schema from tabular data for use in a multidimensional database environment
US4961134A (en) Method for minimizing locking and reading in a segmented storage space
US20110137875A1 (en) Incremental materialized view refresh with enhanced dml compression
US20060026199A1 (en) Method and system to load information in a general purpose data warehouse database
CN105068888A (zh) 一种基于Oracle数据库的数据恢复方法
Turner et al. A DBMS for large statistical databases
US20080243945A1 (en) Log Data Store and Assembler for Large Objects in Database System
CN106897174A (zh) 一种针对mysql数据库的碎片恢复方法
CN105068887B (zh) 一种基于被损坏SQLServer数据库的数据恢复方法
CN108062358A (zh) innodb引擎删除记录的离线恢复方法、存储介质
WO2020119143A1 (zh) 一种数据库删除记录的恢复方法及系统
CN111581202A (zh) 大数据交换系统
CN112800085B (zh) 一种基于布隆过滤器识别表间主外键字段的方法及装置
Pawlaszczyk et al. Making the invisible visible–Techniques for recovering deleted SQLite data records
Vassiliadis Profiles of schema evolution in free open source software projects
Rotem et al. Extendible arrays for statistical databases and OLAP applications
Huang et al. An approach to incremental deep web crawling based on incremental harvest model
CN104731779A (zh) 一种面向实时数据库的实时文件系统数据组织管理方法
KR101024494B1 (ko) 메타데이타를 이용한 변경 데이타 추출방법
US8554722B2 (en) Method for transferring data into database systems
US20150356130A1 (en) Database management system
CN114265828A (zh) 行迁移消除方法、装置、计算机设备和存储介质
CN110764943B (zh) 一种Oracle数据库的数据处理方法及装置
CN107273483A (zh) 稀疏数据的访问方法及系统
Wu et al. Data storage and management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210315

Address after: 641100 No.1 Hanyu Avenue, Shizhong District, Neijiang City, Sichuan Province

Patentee after: XLY SALVATIONDATA TECHNOLOGY Inc.

Address before: 641000 704, floor 7, unit 1, building 3, No. 1700, North Tianfu Avenue, high tech Zone, Chengdu, Sichuan

Patentee before: SICHUAN AITE YINGTAI INTELLIGENT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right