CN110427282B - 用于日志碎片恢复的方法、装置及计算机可读介质 - Google Patents

Abstract

提供了用于日志碎片恢复的方法、装置及计算机可读介质。所述方法包括：加载日志文件中的数据以获取记录块的信息；根据所述信息跳转到所述记录块的起始偏移并读取所述记录块的头部信息，以获取所述记录块的空闲区的起始偏移；跳转到所述记录块的空闲区的起始偏移，针对所述空闲区的起始偏移来查找匹配的事件记录签名；如果匹配到签名，则解析具有所述签名的事件记录并校验所述事件记录的前后数据大小值是否匹配；以及如果所述事件记录的前后数据大小值是匹配的，则保存所述事件记录。

Description

用于日志碎片恢复的方法、装置及计算机可读介质

技术领域

本公开涉及用于日志碎片恢复的方法、装置及计算机可读介质。

背景技术

Windows是目前国内外个人桌面操作系统市场上占有率最高的操作系统，其已深入用户网络生活的方方面面。因此，研究Windows系统的运行日志，存在着极其重要的意义。

在Windows XP、Windows 2000、Windows 2003系统上，系统事件日志以Evt文件格式进行存储；而在Windows Vista、Windows 7、Windows 8、Windows 10等较新Windows系统版本上，微软公司升级使用Evtx文件格式存储系统事件日志。

Windows操作系统在其运行生命周期内会记录大量的日志信息，主要存储在系统盘的Windows\System32\winevt\Logs目录下。利用Windows系统的事件查看器可以对Evtx日志文件的记录信息进行查阅、过滤、清除等操作。这些日志信息在分析网络入侵、分析用户登录行为历程、分析系统服务运行情况等取证和溯源过程中发挥了重要的作用。图1示出了Windows系统的事件查看器的截图。

默认情况下，Windows系统内置三个核心Evtx日志文件(System.evtx、Security.evtx和Application.evtx)；默认最大大小均为20480KB(20MB)，记录事件数据超过20MB时，Windows系统将优先覆盖过期的日志记录；其它应用程序及服务日志默认最大大小为1024KB，超过最大限制也会优先覆盖过期的日志记录。每条Evtx日志记录主要包含了事件ID、日期/时间、事件类型、用户、计算机、来源、类别、描述、数据等主要信息。

在处理Evtx日志文件的过程中，用户通常会使用Windows的事件查看器或第三方日志工具查阅这些正常可见的事件记录，从中寻找和筛选目标信息。带恢复功能的日志工具基本也是对整体删除的Evtx日志的文件级别恢复；对于未分配簇中的碎片记录以及Evtx日志文件的被“覆盖删除”的记录数据鲜有处理，进而造成这些“过期”的事件记录错失了应有的价值。

鉴于以上问题，亟待提出改进的日志碎片恢复方法。

发明内容

本申请通过对Evtx日志文件数据结构的详细、深入的研究，提出了一种日志碎片恢复方法，特别地，根据本发明实施例的日志碎片恢复方法适用于Windows系统Evtx日志。根据本发明一个示例性实施例的方法通过例如记录签名搜索、记录完整性校验、事件记录重组等处理流程，能够从未分配簇中的碎片记录，以及Evtx日志文件的“待覆盖区”，逐条恢复出“过期删除”的事件记录，再整理组织成完整的系统日志信息，具有恢复准确率高的特点。

根据一个方面，提供了一种用于日志碎片恢复的方法，包括：加载日志文件中的数据以获取记录块的信息；根据所述信息跳转到所述记录块的起始偏移以读取头部信息并获取所述记录块的空闲区的起始偏移；跳转到所述记录块的空闲区的起始偏移；针对所述空闲区的起始偏移来查找匹配的事件记录签名；如果匹配到签名，则解析具有所述签名的事件记录并校验所述事件记录的前后数据大小值是否匹配；以及如果所述事件记录的前后数据大小值是匹配的，则保存所述事件记录。

可替换地，所述方法还包括：继续查找另外的匹配的事件记录签名以保存所述记录块的另外的事件记录，直到达到所述记录块的结束位置。

可替换地，其中所获取的记录块的信息是日志中记录块的数目，所述方法还包括：针对所述数目的记录块中其他记录块中的每一个，通过与所述记录块相同的方式获得并保存针对每一个记录块的事件记录，以恢复所述日志中的所有记录块。

可替换地，其中按照所述数目的记录块在所述日志中的编号依次获得并保存针对每一个记录块的事件记录。

可替换地，其中在查找匹配的事件记录签名中，如果遇到另外的记录块的签名，则停止针对当前记录块的查找。

可替换地，其中按记录编号或日期时间的顺序来展示所恢复的日志中的记录。

根据另一个方面，提供了一种用于日志碎片恢复的装置，包括用于执行上述任一方法的单元。

根据另一个方面，提供了一种其上存储有指令的计算机可读介质，所述指令当被执行时使得计算设备执行上述任一方法。

附图说明

作为示例并且不是作为限制地在附图的各图中图示了本发明的实施例，其中同样的参考标号指代类似的要素。

图1示出了Windows操作系统的日志文件的记录信息的示意图。

图2示出了根据本发明一个实施例的用于日志碎片恢复的方法的流程图。

图3示出了根据本发明一个实施例的Evtx日志文件的文件结构的示意图。

图4示出了根据本发明一个实施例的日志文件的记录块的示意图。

图5示出了根据本发明另一个实施例的用于日志碎片恢复的方法的流程图。

图6示出了根据本发明一个实施例的用于日志碎片恢复的装置的框图。

图7示出了根据本发明一个实施例的方法获得的恢复结果的示意图。

具体实施方式

在详细解释本发明的任何实施例之前，应当理解，本发明并不在其应用中被限制到在以下描述中阐述或在附图中所图示的部件的构造和布置的细节。本发明能够有其他实施例并且以各种方式被实践或实行。

而且，要理解，这里使用的措辞和术语是为了描述的目的，且不应被视为限制。在此使用“包括”、“包括”或“具有”及其变体意指涵盖其后列出的项目及其等效物以及附加项目。术语“安装的”、“连接的”和“耦合的”被宽泛地使用并且涵盖直接和间接的安装、连接和耦合。此外，“连接的”和“耦合的”不局限于物理或机械连接或耦合，且可包括电连接或耦合，无论是直接还是间接的。而且，电子通信和通知可以使用其他已知的手段(包括直接连接、无线连接等)进行执行。

还应当指出的是，多个基于硬件和软件的设备以及多个不同的结构部件可被利用于实施本发明。此外，并且如在随后的段落中所描述，在各图中图示的具体的配置旨在举例说明本发明的实施例。替代配置是可能的。

图2示出了根据本发明的一个实施例的用于日志碎片恢复的方法200的流程图。例如，日志文件可以是Windows系统的Evtx文件。具体地，Windows系统的Evtx日志文件的文件结构包括文件头部块、记录块列表、尾部填充块三个部分。图3中图示出示例性的Evtx日志文件结构。

在Windows系统的Evtx日志文件的示例中，文件头部块保存了Evtx日志文件的基本信息，例如包括文件签名、版本号、记录信息块起始偏移、下一条记录编号、文件标志位等信息。文件头部块的长度固定为4096个字节，主要存储着文件签名以及日志记录信息块的一些重要索引信息，其详细结构如下表1所示：

表1日志文件的文件头部块结构

记录块列表保存了日志实质内容。记录块列表包括一个或多个记录块(Chunk)，每个记录块例如包括签名、第一条记录编号、最后一条记录起始偏移、空闲区(也被称为未分配块)起始偏移，以及具体每条日志记录的内容等。

示例性记录块的结构如图4中所示。例如，每个记录块存储了一部分Windows系统运行过程产生的事件记录。每个记录块由头部信息、记录列表、空闲区组成。每个记录块的固定大小是65535字节，其头部信息大小是512字节，紧接的是事件记录存放区。在该示例中，记录块的头部信息的详细结构如下表2所示：

偏移	大小(字节)	值	描述
				0	8	ElfChnk\x00	签名
8	8		第一条记录编号
				16	8		最后一条记录编号
24	8		第一条记录ID
				32	8		最后一条记录ID
40	4	128	记录块头部块大小
				44	4		最后一条记录起始偏移
48	4		空闲区起始偏移
				52	4		记录的校验值
56	64		未知字段
				120	4		未知字段
124	4		校验值
				128	64*4＝256		公共字符串起始偏移数组
384	32*4＝128		模板指针数组

表2日志文件的记录块的头部信息结构

在一个示例中，每条事件记录的数据长度是可变的，其示例性数据结构如下表3所示：

偏移	大小(字节)	值	描述
				0	4	\x2a\x2a\x00\x00	签名
4	4		记录大小
				8	8		事件ID
16	8		事件的写入时间
				24	...		事件内容
...	4		记录大小

表3事件记录的数据结构

尾部填充块部分无实际意义，用于填充文件长度，不影响Evtx日志文件的有效性。

通过上述对Evtx日志文件的数据结构和特性的分析，可知，如果未分配簇中的碎片记录，以及记录块的“未分配块/空闲区”存在部分以往“覆盖删除”的记录数据，是可以通过在“未分配块/空闲区”进行记录签名(\x2a\x2a\x00\x00)查找匹配，实现被“删除”记录数据的恢复重组。

回到图2，在步骤201处，加载日志文件以获取记录块的信息。加载日志文件后，可以获得记录块列表，从而得知记录块的个数，并且可以通过数据结构分析来获得各个记录块的具体信息。

在步骤202处，根据所获取的信息跳转到记录块的起始偏移并读取该记录块的头部信息，以获取该记录块的空闲区的起始偏移。如上面已经参照附图4以及表2描述的，记录块的头部信息中包含有记录块空闲区的起始偏移，通过对记录块的数据结构分析可以获取。本领域技术人员已知或者今后可以开发出数据结构分析的方法，本发明在此方面不受限制。

在步骤203处，跳转到所述记录块的空闲区的起始偏移，针对所述空闲区的起始偏移来查找匹配的事件记录签名。在一个实施例中，空闲区的起始偏移可以是根据数据块的起始偏移而获得的。在一个实施例中，可以通过比较空闲区的字符串与事件记录签名的字符串来确定是否匹配。

在步骤205处，如果匹配到签名，则解析具有所述签名的事件记录并校验所述事件记录的前后数据大小值是否匹配。

在步骤206处，如果所述事件记录的前后数据大小值是匹配的，则保存所述事件记录。由此，可以恢复出日志碎片中记录。

本领域技术人员可以理解，在步骤206之后，还可以继续查找另外的匹配的事件记录签名以保存所述记录块的另外的事件记录，直到达到所述记录块的结束位置。

本领域技术人员可以理解，在其他实施例中，日志文件中可以包括一个或者多个记录块。在加载了日志文件后，可以获取日志文件中记录块的数目。由此，可以针对日志文件中的每一个记录块重复地进行上述步骤，从而获得并保存针对每一个记录块的事件记录，以恢复所述日志中的所有事件记录。在另一个实施例中，可以按照所述数目的记录块在所述日志中的编号依次获得并保存针对每一个记录块的事件记录。

在一个示例性实施例中，如果日志文件包括多于一个记录块，则在针对第一记录块查找匹配的事件记录签名的过程中，如果遇到另外的记录块的签名，则停止针对该第一记录块的查找。

在一个示例性实施例中，可以按记录编号或日期时间的顺序来展示所恢复的日志中的记录。

在本发明中，通过对日志文件存储结构的分析研究，提出了日志碎片恢复的方法。该方法通过记录签名搜索、记录完整性校验、事件记录重组等处理流程，从未分配簇中的碎片记录，以及日志文件的“待覆盖区”逐条恢复出“过期”的事件记录，能够为用户在取证和溯源过程中，提供更完整的日志信息，更多的参考资料。经过实验和大量的数据测试表明，本文的方法具有恢复准确率高、恢复效果好的特点。特别地，根据本发明实施例的日志碎片恢复方法尤其适用于Windows系统Evtx日志文件。

图5示出了根据本发明另一个实施例的用于日志碎片恢复的方法500的流程图。

在步骤501：加载日志文件数据，从而获取记录块个数等信息，初始化i＝0；

在步骤502a：跳转到第i个记录块起始偏移(签名ElfChnk\x00)，读取该第i记录块的头部信息，

在步骤502b：获取该第i记录块的空闲区起始偏移；

在步骤503：跳转到第i个记录块的空闲区起始偏移；

在步骤504：从空闲区查找匹配事件记录签名；

在步骤505a：如果匹配到签名，解析该条事件内容、数据长度LenX；

在步骤505b：校验该条日志前后数据大小值是否匹配；

在步骤506：匹配时，保存该条日志记录；

在步骤507：继续查找匹配事件记录签名，直到遇到第i+1个记录块的签名，或者当前记录块的结束位置；

在步骤508：解析第i+1个记录块的空闲区；直到记录块全部解析。

图6示出了根据本发明一个实施例的用于日志碎片恢复的装置600的框图。该日志碎片恢复的装置600包括相互耦合的加载装置601、信息读取装置602、匹配装置603、校验装置604和保存装置605。加载装置601加载日志文件中的数据以获取记录块的信息。根据所获取的记录块的信息，信息读取装置602跳转到所述记录块的起始偏移并读取所述记录块的头部信息，以获取所述记录块的空闲区的起始偏移。随后，匹配装置603跳转到所述记录块的空闲区的起始偏移处，针对所述空闲区的起始偏移来查找匹配的事件记录签名。如果匹配到签名，则校验装置604解析具有所述签名的事件记录并校验所述事件记录的前后数据大小值是否匹配。如果所述事件记录的前后数据大小值是匹配的，则保存装置605保存所述事件记录。

可选地，匹配装置603可以继续查找另外的匹配的事件记录签名，保存装置605可以保存所述记录块的另外的事件记录，直到达到所述记录块的结束位置。

可选地，针对所述数目的记录块中其他记录块中的每一个，装置600可以通过信息读取装置602、匹配装置603、校验装置604和保存装置605获得并保存针对每一个记录块的事件记录，以恢复所述日志中的所有记录。

可选地，装置600可以按照所述数目的记录块在所述日志中的编号依次获得并保存针对每一个记录块的事件记录。

可选地，装置600还可以包括展示装置606，用于例如按记录编号或日期时间的顺序来展示所恢复的日志中的记录。

图7示出了根据本发明一个实施例的方法获得的恢复结果的示意图。根据Evtx系统日志记录的“过期覆盖”原理，恢复出来并得以保存的记录，应都是记录编号较小或日期时间较早的记录，按记录编号或日期时间升序展示，应展示在正常记录之前，实验结果也验证了该情况。在图7中，显示为“已删除”的事件记录，即为使用根据本发明的一个实施例的方法所获得的恢复记录。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种用于Evtx日志碎片恢复的方法，包括：

加载日志文件中的数据以获取记录块的信息；

根据所述信息跳转到所述记录块的起始偏移并读取所述记录块的头部信息，以获取所述记录块的空闲区的起始偏移；

跳转到所述记录块的空闲区的起始偏移，针对所述空闲区的起始偏移来查找匹配的事件记录签名；

如果匹配到签名，则解析具有所述签名的事件记录并校验所述事件记录的前后数据大小值是否匹配；以及

如果所述事件记录的前后数据大小值是匹配的，则保存所述事件记录。

2.如权利要求1所述的用于Evtx日志碎片恢复的方法，还包括：

继续查找另外的匹配的事件记录签名以保存所述记录块的另外的事件记录，直到达到所述记录块的结束位置。

3.如权利要求2所述的用于Evtx日志碎片恢复的方法，其中所获取的记录块的信息是日志中记录块的数目，所述用于Evtx日志碎片恢复的方法还包括：

针对所述数目的记录块中其他记录块中的每一个，通过与所述记录块相同的方式获得并保存针对每一个记录块的事件记录，以恢复所述日志中的所有事件记录。

4.如权利要求3所述的用于Evtx日志碎片恢复的方法，其中按照所述数目的记录块在所述日志中的编号依次获得并保存针对每一个记录块的事件记录。

5.如权利要求3所述的用于Evtx日志碎片恢复的方法，其中在查找匹配的事件记录签名中，如果遇到另外的记录块的签名，则停止针对当前记录块的查找。

6.如权利要求5所述的用于Evtx日志碎片恢复的方法，其中按记录编号或日期时间的顺序来展示所恢复的日志中的记录。

7.一种用于Evtx日志碎片恢复的装置，包括用于执行如权利要求1-6中任一项所述的用于Evtx日志碎片恢复的方法的单元。

8.一种其上存储有指令的计算机可读介质，所述指令当被执行时使得计算设备执行如权利要求1-6中任一项所述的方法。

Images