CN108563751A - 数据库碎片提取方法 - Google Patents

数据库碎片提取方法 Download PDF

Info

Publication number
CN108563751A
CN108563751A CN201810336670.9A CN201810336670A CN108563751A CN 108563751 A CN108563751 A CN 108563751A CN 201810336670 A CN201810336670 A CN 201810336670A CN 108563751 A CN108563751 A CN 108563751A
Authority
CN
China
Prior art keywords
data
page
database
pages
bitmap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810336670.9A
Other languages
English (en)
Inventor
徐国天
秦玉海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA COLLEGE OF CRIMINAL POLICE
Original Assignee
CHINA COLLEGE OF CRIMINAL POLICE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINA COLLEGE OF CRIMINAL POLICE filed Critical CHINA COLLEGE OF CRIMINAL POLICE
Priority to CN201810336670.9A priority Critical patent/CN108563751A/zh
Publication of CN108563751A publication Critical patent/CN108563751A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属信息安全技术领域，尤其涉及一种数据库碎片提取方法，包括如下步骤：（1）根据文件系统位图数据确定磁盘空闲空间范围。（2）在磁盘空闲空间内搜索全部数据页。（3）按照数据页首部文件标识，对全部数据页进行分类。（4）采用位图算法中的页标注功能，标注该数据库的所有页，得到所有正常页及空闲页并记录，将标记的碎片位图数据以文件形式保存；（5）对每一类数据页进行排序、确认丢失的数据页、排除冲突页，组合数据库文件。本发明在“无日志”条件下，可有效完成数据信息恢复，具有数据页识别、排序、重组功能的数据库碎片提取方法。

Description

数据库碎片提取方法
技术领域
本发明属信息安全技术领域，尤其涉及一种数据库碎片提取方法。
背景技术
当前数据库被应用在各个领域，数据库中存储的涉案信息在各类涉网案件办理过程中发挥了关键作用。例如网络传销案件中，传销团伙实际发展会员数量（去重之后）、发展会员的层级关系、平台的实际获利金额、核心会员的身份信息和联系方式，等涉案信息存储在传销平台数据库中。网络赌博案件中，用户的投注金额、账户资金流水额、涉赌人员身份信息及联系方式，等信息存储在赌博网站后台数据库中。各类经济案件中，涉案金额等关键信息保存在财务数据库中。基于伪基站的电信诈骗案件中，诈骗短信内容、编辑时间、实际发送数量和嫌疑人联系方式，等涉案信息保存在伪基站数据库中。研究网络犯罪案件涉案数据库的取证、分析方法对公安机关的电子数据检验鉴定工作有重要意义。
目前涉案数据库的检验鉴定工作存在以下问题。
1、在无日志或日志被清理情况下，无法有效恢复涉案数据库中被删除的涉案信息。
为了逃避法律的制裁，犯罪分子可能会恶意删除、修改涉案数据库中一些关键记录，通常情况下公安机关的电子数据检验人员会根据数据库的日志文件来恢复这些被删除和修改的数据记录；通过逐一分析恢复出的数据记录，办案人员可以从中找出与案件相关的线索。
但是目前的“数据库恢复”方法存在以下问题：① 在实际办案中，我们发现日志通常已被系统定期自动清理或删除。因此很多情况下，数据库中被删除的涉案记录几乎无法完整恢复。② 数据库的数据容量通常以GB为单位，庞大的数据量单纯依靠人工的方式逐一进行检查显然不符合实际。
2、被删数据库文件存储特征值被局部覆盖情况下，无法有效恢复数据库文件。
目前大型数据库管理系统（如Oracle、SQL Server）均具备独立的数据库文件，例如Oracle的system.dbf文件、SQL Server的master.mdf文件，数据库中所有数据记录均保存在这些数据库文件中。犯罪分子为了逃避法律的制裁，可能会将数据库文件删除或直接格式化硬盘。
现有文件恢复软件（如Final Data）采用的是通用恢复策略，而没有针对不同类型网络数据库的存储特点设计专门的恢复策略。因此在被删除数据库文件局部存储特征值被覆盖的情况下，现有取证系统无法有效恢复被删数据库文件。
3、现场勘查过程中，涉案服务器直接断电，造成数据库文件损坏，无法正常使用的问题。
网络犯罪案件现场勘查过程中，办案人员经常采用直接断电的方式终止涉案服务器的运行。直接断电导致数据库未执行正常的关闭流程，内存中的数据页未及时写入硬盘、日志记录等操作未能正常完成。由于数据库文件损坏，无法正常启动，造成数据库内存储的海量涉案信息无法提取。
发明内容
本发明旨在克服现有技术的不足之处而提供一种在“无日志”条件下，可有效完成数据信息恢复，具有数据页识别、排序、重组功能的数据库碎片提取方法。
为解决上述技术问题，本发明是这样实现的。
一种数据库碎片提取方法，可按如下步骤依次进行。
（1）根据文件系统位图数据确定磁盘空闲空间范围。
（2）在磁盘空闲空间内搜索全部数据页。
（3）按照数据页首部文件标识，对全部数据页进行分类。
（4）采用位图算法中的页标注功能，标注该数据库的所有页，得到所有正常页及空闲页并记录，将标记的碎片位图数据以文件形式保存。
（5）对每一类数据页进行排序、确认丢失的数据页、排除冲突页，组合数据库文件。
本发明针对当前应用最广泛的网络数据库系统（即Oracle、SQL Server、MYSQL）展开研究，数据库碎片提取方法可实现以下主要功能。
（1）可以在“无日志”条件下，恢复数据库中被删除和修改的数据记录。
（2）可以直接从硬盘分区中恢复被删除的数据库文件。
（3）可以对残缺数据库文件进行取证，从中提取出有价值的数据信息。
附图说明
下面结合附图和具体实施方式对本发明作进一步说明。本发明的保护范围不仅局限于下列内容的表述。
图1为本发明数据库碎片提取方法流程框图。
具体实施方式
如图1所示，数据库碎片提取方法，可按如下步骤依次进行。
（1）根据文件系统位图数据确定磁盘空闲空间范围。
（2）在磁盘空闲空间内搜索全部数据页。
（3）按照数据页首部文件标识，对全部数据页进行分类。
（4）采用位图算法中的页标注功能，标注该数据库的所有页，得到所有正常页及空闲页并记录，将标记的碎片位图数据以文件形式保存。
（5）对每一类数据页进行排序、确认丢失的数据页、排除冲突页，组合数据库文件。
本发明主要用于网络犯罪案件涉案数据库的取证分析工作,主要解决问题包括。
a、设计了一种数据页定位、提取和排序重组算法，可自动提取、重组被删数据库文件残留在磁盘内的数据碎片。解决了数据库碎片无法有效提取的问题。
b、设计了残缺、破损数据库文件取证方法。解决现场勘查过程中，涉案服务器直接断电，造成数据库文件损坏，无法正常使用的问题。
c、设计了“无日志”条件下，数据表中被删记录的恢复算法。解决“无日志”或日志被清理条件下，数据记录的有效恢复问题。
现有数据库恢复软件是通过日志文件来恢复用户对数据表执行的增、删、改操作，但当无日志或日志被清理的情况下，现有软件无法恢复出数据表中被删除和修改的数据记录。本发明可在无日志条件下，直接从数据库文件中恢复出被删除和修改数据记录。
现有的数据恢复软件（如FinalData 和 EasyRecovery）是根据硬盘分区（如NTFS、EXT3）的地址链表和文件头部的特征签名来完成数据恢复。在文件被删除之后，随着计算机的使用、这两个关键信息很可能遭到破坏，这时即使被删除文件的大部分数据仍然残留在硬盘空间内，现有恢复软件也无法完成数据恢复。本发明可在硬盘分区关键信息被破坏、现有工具无法恢复的情况下，根据“数据页”存储特征来恢复被删除的数据库文件。
网络犯罪案件中，涉案网络平台实际发展会员人数是案件定罪量刑的关键环节。嫌疑人辩护律师经常在这一方面提出质疑，认为存在同一人注册多个账户、同一人使用大量他人身份证号重复注册等问题。认为取证过程中统计出的会员数量并不能代表平台实际发展人数，实际人数无法认定。本发明可以依据数据库内记录的用户登录IP地址、会员注册时使用的身份证号、银行卡号、姓名、手机号码，等关键信息实现自动关联去重，通过数据集交叉计算，统计最小集合，进而实现人数统计。
可以理解地是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。

Claims (1)

1.一种数据库碎片提取方法，其特征在于，按如下步骤依次进行：
（1）根据文件系统位图数据确定磁盘空闲空间范围；
（2）在磁盘空闲空间内搜索全部数据页；
（3）按照数据页首部文件标识，对全部数据页进行分类；
（4）采用位图算法中的页标注功能，标注该数据库的所有页，得到所有正常页及空闲页并记录，将标记的碎片位图数据以文件形式保存；
（5）对每一类数据页进行排序、确认丢失的数据页、排除冲突页，组合数据库文件。
CN201810336670.9A 2018-04-16 2018-04-16 数据库碎片提取方法 Pending CN108563751A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810336670.9A CN108563751A (zh) 2018-04-16 2018-04-16 数据库碎片提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810336670.9A CN108563751A (zh) 2018-04-16 2018-04-16 数据库碎片提取方法

Publications (1)

Publication Number Publication Date
CN108563751A true CN108563751A (zh) 2018-09-21

Family

ID=63535155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810336670.9A Pending CN108563751A (zh) 2018-04-16 2018-04-16 数据库碎片提取方法

Country Status (1)

Country Link
CN (1) CN108563751A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492001A (zh) * 2018-10-15 2019-03-19 四川巧夺天工信息安全智能设备有限公司 一种分类提取access数据库中碎片数据的方法
CN109656929A (zh) * 2018-12-25 2019-04-19 四川效率源信息安全技术股份有限公司 一种雕复关系型数据库文件的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021217A (zh) * 2014-06-23 2014-09-03 四川效率源信息安全技术有限责任公司 一种提取手机碎片文件和被删除文件的系统和方法
CN106095808A (zh) * 2016-05-30 2016-11-09 厦门市美亚柏科信息股份有限公司 一种mdb文件碎片恢复的方法和装置
CN106155832A (zh) * 2015-03-30 2016-11-23 Tcl集团股份有限公司 一种数据恢复的方法、装置及Android设备
CN106897174A (zh) * 2017-03-01 2017-06-27 四川艾特赢泰智能科技有限责任公司 一种针对mysql数据库的碎片恢复方法
CN107180092A (zh) * 2017-05-15 2017-09-19 中国科学院上海微系统与信息技术研究所 一种文件系统的控制方法、装置及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021217A (zh) * 2014-06-23 2014-09-03 四川效率源信息安全技术有限责任公司 一种提取手机碎片文件和被删除文件的系统和方法
CN106155832A (zh) * 2015-03-30 2016-11-23 Tcl集团股份有限公司 一种数据恢复的方法、装置及Android设备
CN106095808A (zh) * 2016-05-30 2016-11-09 厦门市美亚柏科信息股份有限公司 一种mdb文件碎片恢复的方法和装置
CN106897174A (zh) * 2017-03-01 2017-06-27 四川艾特赢泰智能科技有限责任公司 一种针对mysql数据库的碎片恢复方法
CN107180092A (zh) * 2017-05-15 2017-09-19 中国科学院上海微系统与信息技术研究所 一种文件系统的控制方法、装置及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492001A (zh) * 2018-10-15 2019-03-19 四川巧夺天工信息安全智能设备有限公司 一种分类提取access数据库中碎片数据的方法
CN109492001B (zh) * 2018-10-15 2021-10-01 四川巧夺天工信息安全智能设备有限公司 一种分类提取access数据库中碎片数据的方法
CN109656929A (zh) * 2018-12-25 2019-04-19 四川效率源信息安全技术股份有限公司 一种雕复关系型数据库文件的方法及装置

Similar Documents

Publication Publication Date Title
Nguyen et al. Automatic image filtering on social networks using deep learning and perceptual hashing during crises
CN107437038B (zh) 一种网页篡改的检测方法及装置
CN104462433B (zh) 一种恢复fat32分区数据的方法
CN108536845A (zh) 残缺数据库文件检验方法
CN104035839B (zh) Android系统隐私数据恢复实现方法
CN108563535B (zh) 一种对MySQL数据库全库的恢复方法
CN104021217B (zh) 一种提取手机碎片文件和被删除文件的系统和方法
CN109190657A (zh) 基于数据切片及图像哈希组合的样本同源分析方法
CN108563751A (zh) 数据库碎片提取方法
CN106844588A (zh) 一种基于网络爬虫的用户行为数据的分析方法及系统
CN113269244A (zh) 针对工商登记信息中跨企业人员重名实现消歧处理方法、系统、装置、处理器及其存储介质
CN112363996B (zh) 用于建立电网知识图谱的物理模型的方法及系统和介质
CN109446167A (zh) 一种日志数据存储、提取方法及装置
Kale et al. Classification of fraud calls by intent analysis of call transcripts
CN117313058A (zh) 信息的识别方法、装置、计算机设备和存储介质
Guo et al. A large-scale longitudinal multimodal dataset of state-backed information operations on Twitter
CN111563256A (zh) 一种安全的大数据收集存放方法
Adderley et al. The effects of deprivation on the time spent examining crime scenes and the recovery of DNA and fingerprints
CN105718334B (zh) 基于特征的多个文件提取方法
Wei et al. Location-based event detection using geotagged semantic graphs
CN107392060A (zh) 一种硬盘、复印机安全检查方法、系统
CN103077090A (zh) 一种Outlook删除邮件的恢复方法
CN113343256A (zh) 一种基于区块链技术的电子取证存证系统
CN105718335B (zh) 基于特征的单个文件提取方法
Janaki Digitalization of investigation and detection of crime

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921

RJ01 Rejection of invention patent application after publication