CN112631733A - 数据采集方法及装置 - Google Patents

Abstract

本发明公开了一种数据采集方法及装置，该方法包括：获取目标设备的第一中央处理器CPU指令和第一内存信息，其中，第一CPU指令和第一内存信息对应相同时刻；根据第一CPU指令和第一内存信息确定第二内存信息。本发明实施例提供的数据采集方法，通过获取目标设备的对应于相同时刻的第一CPU指令和第一内存信息，根据第一CPU指令和第一内存信息即可确定有效的第二内存信息，无需暂停虚拟机即可获取目标设备的有效内存信息，获取到的内存信息完整，相应的根据内存信息所捕获到的行为数据也将具有较高的完整性、有效性和可用性。

Description

数据采集方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据采集方法及装置。

背景技术

数据采集是网络靶场的核心技术之一，带外采集是一种最优的数据采集方法，采用带外采集方法可以实现虚拟机内部没有agent，其优点有三，其一，不占用虚拟机的资源；其二，不被虚拟机系统感知；其三，不存在破坏隔离的问题。

目前虚拟机带外采集主要采用libvmi工具，该技术可以从虚拟机的内存中获取虚拟机的行为数据，目前libvmi工具的使用模式为：步骤1、暂停虚拟机；步骤2、获取内存；步骤3、继续虚拟机；步骤4、基于libvmi工具解析内存并获取行为数据。故而必须主动暂停虚拟机，类似于内存扫描方法，必然造成数据的局部丢失，获取的内存不完整，所捕获到的行为数据的完整性、有效性、可用性必然大打折扣。

有鉴于此，亟需一种数据采集方法以解决上述问题。

发明内容

为此，本发明提供一种数据采集方法及装置，以解决现有技术中由于libvmi工具的使用模式不合理而导致的获取到的内存不完整的问题。

为了实现上述目的，本发明第一方面提供一种数据采集方法，包括：

获取目标设备的第一中央处理器CPU指令和第一内存信息，其中，所述第一CPU指令和第一内存信息对应相同时刻；

根据所述第一CPU指令和所述第一内存信息确定第二内存信息。

在一些实施例中，所述根据所述第一CPU指令和所述第一内存信息确定第二内存信息之后，还包括：

解析所述第二内存信息以获取所述目标设备的行为数据。

在一些实施例中，所述根据所述第一CPU指令和所述第一内存信息确定第二内存信息，包括：

根据所述第一CPU指令确定第一函数信息，并根据所述第一内存信息确定第二函数信息；

在所述第一函数信息与所述第二函数信息相匹配的情况下，将所述第一内存信息确定为第二内存信息。

在一些实施例中，所述根据所述第一内存信息确定第二函数信息，包括：

将所述第一内存信息中的二进制指令集转化为系统函数堆栈信息；

根据所述系统函数堆栈信息确定所述第二函数信息。

在一些实施例中，所述根据所述第一CPU指令和所述第一内存信息确定第二内存信息之后，还包括：

在所述第一函数信息满足预设条件的情况下，解析所述第二内存信息以获取所述目标设备的行为数据。

在一些实施例中，所述获取目标设备的第一CPU指令和第一内存信息，包括：

根据所述目标设备的CPU指令和预设的指令集过滤器获取第一CPU指令，并根据所述目标设备的内存信息和预设的内存过滤器获取第一内存信息。

为了实现上述目的，本发明第二方面提供一种数据采集装置，包括：

获取模块，用于获取目标设备的第一中央处理器CPU指令和第一内存信息，其中，所述第一CPU指令和第一内存信息对应相同时刻；

处理模块，用于根据所述第一CPU指令和所述第一内存信息确定第二内存信息。

在一些实施例中，所述数据采集装置还包括解析模块，所述解析模块用于，解析所述第二内存信息以获取所述目标设备的行为数据。

在一些实施例中，所述处理模块用于：

根据所述第一CPU指令确定第一函数信息，并根据所述第一内存信息确定第二函数信息；

在所述第一函数信息与所述第二函数信息相匹配的情况下，将所述第一内存信息确定为第二内存信息。

在一些实施例中，所述处理模块用于：

将所述第一内存信息中的二进制指令集转化为系统函数堆栈信息；

根据所述系统函数堆栈信息确定所述第二函数信息。

本发明具有如下优点：

本发明实施例提供的数据采集方法，通过获取目标设备的对应于相同时刻的第一CPU指令和第一内存信息，根据第一CPU指令和第一内存信息即可确定有效的第二内存信息，无需暂停虚拟机即可获取目标设备的有效内存信息，获取到的内存信息完整，相应的根据内存信息所捕获到的行为数据也将具有较高的完整性、有效性和可用性。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。

图1为本发明实施例1提供的数据采集方法的流程示意图一；

图2为本发明实施例2提供的数据采集方法的流程示意图二；

图3为本发明实施例3提供的根据第一CPU指令和第一内存信息确定第二内存信息的流程示意图；

图4为本发明实施例4提供的根据第一内存信息确定第二函数信息的流程示意图；

图5为本发明实施例5提供的数据采集方法的流程示意图三；

图6为本发明实施例6提供的数据采集装置的结构示意图一；

图7为本发明实施例7提供的数据采集装置的结构示意图二。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

可以理解的是，此处描述的具体实施例和附图仅仅用于解释本发明，而非对本发明的限定。

可以理解的是，在不冲突的情况下，本发明中的各实施例及实施例中的各特征可相互组合。

可以理解的是，为便于描述，本发明的附图中仅示出了与本发明相关的部分，而与本发明无关的部分未在附图中示出。

可以理解的是，本发明的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。

可以理解的是，在不冲突的情况下，本发明的流程图和框图中所标注的功能、步骤可按照不同于附图中所标注的顺序发生。

可以理解的是，本发明的流程图和框图中，示出了按照本发明各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可代表一个单元、模块、程序段、代码，其包含用于实现规定的功能的可执行指令。而且，框图和流程图中的每个方框或方框的组合，可用实现规定的功能的基于硬件的系统实现，也可用硬件与计算机指令的组合来实现。

可以理解的是，本发明实施例中所涉及的单元、模块可通过软件的方式实现，也可通过硬件的方式来实现，例如单元、模块可位于处理器中。

如图1所示，本发明实施例提供一种数据采集方法，该方法可以包括以下步骤：

步骤11，获取目标设备的第一CPU(Central Processing Unit/Processor，中央处理器)指令和第一内存信息，其中，第一CPU指令和第一内存信息对应相同时刻。

第一CPU指令可以包括操作指令，主要可以包括call指令等用于调用函数的指令，第一内存信息可以包括除无用的堆数据之外的内存信息。

在本步骤中，目标设备可以为虚拟机等设备，目标设备可以包括CPU和内存设备，CPU和内存设备是系统和程序执行的主要单元，通过预设的目标扩展设备从目标设备的CPU和内存设备中同时捕获第一CPU指令和第一内存信息，使得所捕获到的第一CPU指令和第一内存信息能够对应相同时刻。

需要说明的是，本步骤中获取第一内存信息时无需将虚拟机暂停，而是在虚拟机正常运行的情况下分别将CPU中的数据和内存中的数据输出到预设的目标扩展设备，从而可以获取对应相同时刻的第一CPU指令和第一内存信息。

步骤12，根据第一CPU指令和第一内存信息确定第二内存信息。

由于第一内存信息是在虚拟机正常运行的情况下直接获取的，还需要根据第一CPU指令和第一内存信息进一步确定有效的第二内存信息，以便后续基于第二内存信息提取目标数据。

通过上述步骤11-12可以看出，本发明实施例提供的数据采集方法，通过获取目标设备的对应于相同时刻的第一CPU指令和第一内存信息，根据第一CPU指令和第一内存信息即可确定有效的第二内存信息，无需暂停虚拟机即可获取目标设备的有效内存信息，获取到的内存信息完整，相应的根据内存信息所捕获到的行为数据也将具有较高的完整性、有效性和可用性。

如图2所示，在一些实施例中，所述根据所述第一CPU指令和所述第一内存信息确定第二内存信息(即步骤12)之后，还可以包括以下步骤：

步骤13，解析第二内存信息以获取目标设备的行为数据。

在根据第一CPU指令和第一内存信息确定出有效的第二内存信息后，即可采用libvmi工具从第二内存信息中获取目标设备的行为数据。libvmi工具是一个专注于读写虚拟机内存的自省库,它能够监视虚拟机底层的运行细节并将其还原。

如图3所示，在一些实施例中，所述根据第一CPU指令和第一内存信息确定第二内存信息(即步骤12)，可以包括以下步骤：

步骤121，根据第一CPU指令确定第一函数信息，并根据第一内存信息确定第二函数信息。

在本步骤中，可以从第一CPU指令中提取第一函数信息，第一函数信息具体可以包括函数地址、函数名称等参数，同时可以从第一内存信息中提取第二函数信息，第二函数信息也可以包括函数地址、函数名称等参数。

步骤122，在第一函数信息与第二函数信息相匹配的情况下，将第一内存信息确定为第二内存信息。

第一函数信息与第二函数信息相匹配，即第一CPU指令所调用的函数与内存调用的函数相匹配，此时第一内存信息即为有效的内存信息，因此在第一函数信息与第二函数信息相匹配的情况下，可以直接将第一内存信息确定为第二内存信息。

如图4所示，在一些实施例中，所述根据第一内存信息确定第二函数信息(即步骤121)，可以包括以下步骤：

步骤1211，将第一内存信息中的二进制指令集转化为系统函数堆栈信息。

本步骤类似于一个与操作系统流程相反的流程，在操作系统流程中可以将函数调用转化为二进制指令集，而本步骤可以将第一内存信息中的二进制指令集转化为系统函数堆栈信息。

步骤1212，根据系统函数堆栈信息确定第二函数信息。

系统函数堆栈信息中也包括了函数调用的相关信息，因此根据系统函数堆栈信息可以确定出第二函数信息。

如图5所示，在一些实施例中，所述根据第一CPU指令和第一内存信息确定第二内存信息(即步骤12)之后，还可以包括以下步骤：

步骤14，在第一函数信息满足预设条件的情况下，解析第二内存信息以获取目标设备的行为数据。

其中，第一函数信息满足预设条件，可以包括：第一函数信息与预设的函数相匹配。

在根据第一CPU指令和第一内存信息确定出有效的第二内存信息后，可以判断从第一CPU指令中提取到的第一函数信息是否与预设的函数相匹配，即判断第一CPU指令中所调用的函数是否为目标函数。在第一函数信息满足预设条件的情况下，可以采用libvmi工具解析第二内存信息以获取目标设备的行为数据。

在一些实施例中，所述获取目标设备的第一CPU指令和第一内存信息(即步骤11)，可以包括：

根据目标设备的CPU指令和预设的指令集过滤器获取第一CPU指令，并根据目标设备的内存信息和预设的内存过滤器获取第一内存信息。

在本步骤中，目标扩展设备可以包括指令集过滤器和内存过滤器。将目标设备CPU中的CPU指令输入到指令集过滤器，则可以输出主要包括CALL指令的操作指令，将目标设备内存设备中的内存信息输入到内存过滤器，则可以输出已过滤无用堆数据的第一内存信息。

在一些实施例中，在步骤11中获取目标设备的第一CPU指令和第一内存信息后，可以将第一CPU指令异步存储到指令集缓存区，并第一内存信息异步存储到内存缓冲区1。在步骤12中，可以根据指令集缓存区中的第一CPU指令确定第一函数信息，并将内存缓冲区1中的第一内存信息即二进制指令集转化为系统函数堆栈信息，再根据系统函数堆栈信息确定第二函数信息，将第一函数信息与第二函数信息进行比较，确定第一函数信息与第二函数信息是否相匹配，在第一函数信息与第二函数信息相匹配的情况下，将内存缓冲区1中的第一内存信息存储到内存缓冲区2中作为第二内存信息。在步骤14中，可以对内存缓冲区2中的第二内存信息进行行为判断，即判断第一函数信息是否满足预设条件，在第一函数信息满足预设条件的情况下，将内存缓冲区2中的第二内存信息存储到有效数据区作为有效内存信息，再采用libvmi工具解析有效数据区中的第二内存信息以获取目标设备的行为数据，获取到的目标设备的行为数据形成采集数据。其中，指令集缓存区、内存缓冲区1、内存缓冲区2和有效数据区可以称为行为解析设备。

需要说明的是，本发明实施例在获取目标设备的第一CPU指令和第一内存信息时，可以采用捕获器分别将CPU中的数据和内存中的数据并联输出到预设的目标扩展设备的并联模式，所述“并联输出”并非完全是真正意义上的将捕获器与CPU并联，而是一种类似于将捕获器与CPU并联的思想，意在使用捕获器实时捕获CPU中的CPU指令，然后输出到指令集过滤器以及使用捕获器实时捕获内存中的内存信息然后输出到内存过滤器。而在另一些实施例中，也可以采用捕获器分别将CPU中的数据和内存中的数据串联输出到预设的目标扩展设备的串联模式，所述“串联输出”并非完全是真正意义上的将捕获器与CPU串联，而是一种类似于将捕获器与CPU串联的思想，意在使用捕获器实时捕获CPU中的CPU指令，然后输出到指令集过滤器以及使用捕获器实时捕获内存中的内存信息然后输出到内存过滤器。

本发明实施例采用并联模式进行捕获是因为并联模式对虚拟机的影响较小，甚至可以忽略不计，而串联模式对虚拟机的影响较大。但并联模式对捕获器和过滤器的性能要求较高，要求捕获器和过滤器至少具有与目标设备相同的CPU和内存，而串联模式对捕获器和过滤器的性能要求较低。

需要说明的是，本发明实施例所提供的数据采集方法不可避免会产生一定的延迟，该延迟主要存在于根据第一CPU指令和第一内存信息确定第二内存信息以及采用libvmi解析第二内存信息的过程中。

基于相同的技术构思，如图6所示，本发明实施例还提供一种数据采集装置，该装置可以包括：

获取模块101，用于获取目标设备的第一中央处理器CPU指令和第一内存信息，其中，第一CPU指令和第一内存信息对应相同时刻。

处理模块102，用于根据第一CPU指令和第一内存信息确定第二内存信息。

如图7所示，在一些实施例中，所述数据采集装置还可以包括解析模块103，解析模块103用于，解析第二内存信息以获取目标设备的行为数据。

在一些实施例中，处理模块102用于：

根据第一CPU指令确定第一函数信息，并根据第一内存信息确定第二函数信息。

在第一函数信息与第二函数信息相匹配的情况下，将第一内存信息确定为第二内存信息。

在一些实施例中，处理模块102用于：

将第一内存信息中的二进制指令集转化为系统函数堆栈信息；

根据系统函数堆栈信息确定第二函数信息。

在一些实施例中，解析模块103用于，在第一函数信息满足预设条件的情况下，解析第二内存信息以获取目标设备的行为数据。

在一些实施例中，获取模块101用于，根据目标设备的CPU指令和预设的指令集过滤器获取第一CPU指令，并根据目标设备的内存信息和预设的内存过滤器获取第一内存信息。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种数据采集方法，其特征在于，包括：

获取目标设备的第一中央处理器CPU指令和第一内存信息，其中，所述第一CPU指令和第一内存信息对应相同时刻；

根据所述第一CPU指令和所述第一内存信息确定第二内存信息。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一CPU指令和所述第一内存信息确定第二内存信息之后，还包括：

解析所述第二内存信息以获取所述目标设备的行为数据。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一CPU指令和所述第一内存信息确定第二内存信息，包括：

根据所述第一CPU指令确定第一函数信息，并根据所述第一内存信息确定第二函数信息；

在所述第一函数信息与所述第二函数信息相匹配的情况下，将所述第一内存信息确定为第二内存信息。

4.如权利要求3所述的方法，其特征在于，所述根据所述第一内存信息确定第二函数信息，包括：

将所述第一内存信息中的二进制指令集转化为系统函数堆栈信息；

根据所述系统函数堆栈信息确定所述第二函数信息。

5.如权利要求3所述的方法，其特征在于，所述根据所述第一CPU指令和所述第一内存信息确定第二内存信息之后，还包括：

在所述第一函数信息满足预设条件的情况下，解析所述第二内存信息以获取所述目标设备的行为数据。

6.如权利要求1-5任一项所述的方法，其特征在于，所述获取目标设备的第一CPU指令和第一内存信息，包括：

根据所述目标设备的CPU指令和预设的指令集过滤器获取第一CPU指令，并根据所述目标设备的内存信息和预设的内存过滤器获取第一内存信息。

7.一种数据采集装置，其特征在于，包括：

获取模块，用于获取目标设备的第一中央处理器CPU指令和第一内存信息，其中，所述第一CPU指令和第一内存信息对应相同时刻；

处理模块，用于根据所述第一CPU指令和所述第一内存信息确定第二内存信息。

8.如权利要求7所述的数据采集装置，其特征在于，还包括解析模块，所述解析模块用于，解析所述第二内存信息以获取所述目标设备的行为数据。

9.如权利要求7所述的数据采集装置，其特征在于，所述处理模块用于：

根据所述第一CPU指令确定第一函数信息，并根据所述第一内存信息确定第二函数信息；

在所述第一函数信息与所述第二函数信息相匹配的情况下，将所述第一内存信息确定为第二内存信息。

10.如权利要求9所述的数据采集装置，其特征在于，所述处理模块用于：

将所述第一内存信息中的二进制指令集转化为系统函数堆栈信息；

根据所述系统函数堆栈信息确定所述第二函数信息。

Images