CN102710441A - 一种基于统一接口的多平台信息采集方法和信息采集系统 - Google Patents

Abstract

一种基于统一接口的多平台信息采集方法及信息采集系统。本发明使用统一接口技术连接多体系下操作系统的通信和连接控制，达到多平台信息采集功能的支持，统一接口包括：代理状态管理统一接口、代理运行控制统一接口、采集插件管理统一接口和结果传输统一接口。在信息采集过程中，使用独特的个性化任务描述模块进行任务的布置，自动生成采集指标，使得采集过程更加准确和高效。

Description

一种基于统一接口的多平台信息采集方法和信息采集系统

技术领域

本发明属于计算机信息安全技术领域，具体涉及多平台操作系统采集方法和系统，包括Windows，UNIX，Linux，Solaris体系操作系统采集技术；多平台采集通信统一接口技术；采集任务个性化描述技术。

背景技术

目前，现有的信息采集系统为本地信息采集系统，只在目标主机上直接安装采集系统从而进行采集，不能达到远程监控主机状态的要求，而少数基于网络的信息采集系统则只是对于本地信息采集系统增加了采集结果上报功能，并不能对采集任务进行管理和控制。并且对于不同体系操作系统进行主机信息采集，同时进行统一管理信息采集功能的方法和系统也同样缺乏。同时对于不同采集指标没有相应的插件完成相应的功能，从而对于操作系统的升级不能通过插件的升级管理而进行相应的升级从而采集功能的实现时而出现错误。采集指标的制定很多也只是人工的制定，没有根据特定的需求来个性化制定针对不同需求的不同的采集指标组合。因此一种能够远程控制管理采集任务，基于统一接口的，自动制定采集任务指标的多平台信息采集方法和采集系统是现有技术所急需的。

发明内容

针对现有技术的不足，为了改善现有基于多平台信息采集方法和采集系统，本发明提供了一种基于统一接口的多平台信息采集方法和信息采集系统。该系统由采集控制端和采集代理端两部分组成，在统一接口的正常工作下协作完成采集任务。本发明设计的统一接口包括：代理状态管理统一接口、代理运行控制统一接口、采集插件管理统一接口和结果传输统一接口。通过设计统一接口，本信息采集系统屏蔽了不同体系操作系统下的通信传输和信息采集的差异，满足了多平台信息采集的要求。采集控制端负责评估采集任务描述和制定采集指标；管理采集代理端的运行状态，下达采集任务；管理下发和更新采集插件；采集代理端负责解析执行采集控制端下达的命令，实时上传采集结果。当执行采集任务时，用户在采集控制端制定采集任务，采集控制端根据采集任务自动制定采集指标，并将采集任务和指标对应的插件下发到采集代理端，采集代理端使用插件执行采集任务同时实时上报采集结果，从而达到基于插件的多平台远程控制管理采集任务的目的。

本发明能够跨操作系统平台，使用者能够个性化制定采集任务并自动生成采集指标，高效、准确的进行信息采集的信息采集方法和信息采集系统，其针对多数操作系统平台，基于统一接口技术，能够对本地或远程主机进行信息采集监控，通过用户个性化对采集任务的描述，自动进行采集任务指标制定。该系统能够针对不同体系下的操作系统进行信息采集，如Windows、Unix、Linux、Solaris体系下的操作系统均能够得到支持。同时设计采集通信统一接口，该接口技术的运用使得采集控制端能够统一管理不同操作系统体系下的信息采集代理端。采集内容包括用户信息、CPU使用率、内存使用率、主机带宽、磁盘状况、文件读写情况、通信端口、模块加载状况、进程、服务、系统日志等。使用者可以通过对采集的任务进行个性化描述，选择采集属性来制定采集任务，通过本技术实现的信息采集系统能够通过所选采集任务的属性来进行采集任务评估进而制定准确相关的信息采集指标。

附图说明

下面结合附图对本发明做详细说明。

图1是本信息采集系统整体结构分布图；

图2是本信息采集系统控制端执行控制流图；

图3是本信息采集系统控制端数据流图；

图4是本信息采集系统代理端执行控制流图；

图5是本信息采集系统代理端数据流图；

图6是本信息采集系统内部接口示意图。

具体实施方式

下面对本发明进行详细描述。

本发明解决其技术问题所采用的总体技术方案是：将整个信息采集系统分成控制端和代理端的结构。对于具体不同的采集指标，针对不同体系操作系统编写不同的采集插件。采集代理端负责解析执行采集控制端下达的命令，实时上传采集结果。采集控制端负责评估采集任务描述和制定采集指标；管理采集代理端的运行状态，下达采集任务；管理下发和更新采集插件。当执行采集任务时，用户在采集控制端制定采集任务，采集控制端根据采集任务自动制定采集指标，并将采集任务和指标对应的插件下发到采集代理端，采集代理端使用插件执行采集任务同时实时上报采集结果，从而达到基于插件的多平台远程控制管理采集任务的目的。

对于信息采集控制端，使用者首先制定采集任务，对于采集任务的制定，本发明可针对用户对采集目的具体描述(即对采集属性的选择)，个性化生成采集指标。这些采集指标可以通过特定的评估算法衡量采集任务的采集任务结果。采集任务属性包括：登录权限、端口信息量、操作系统指纹探测率、躲避IDS/IPS检测成功率、静态隐藏对抗量、网络传播提升权限、处理资源最大消耗、平均网络带宽消耗率、防火墙规则探测信息量、文件最大操作权限等。本技术涉及上百项采集属性，在此仅列出上述参考。通过这些大量的采集属性描述，本发明可以准确的描述出使用者的采集需求并制定有效和准确的采集指标。采集指标制定完成后，选择在线代理进行采集任务的下发和执行。

采集控制端通过采集统一接口获得代理在线情况。本发明通过自主设计的信息采集统一接口可以协调各体系操作系统的不同，达到跨平台的实际效果。统一接口分为以下几个部分：代理状态管理统一接口、代理运行控制统一接口、采集插件管理统一接口和结果传输统一接口。

表1 信息采集系统接口标识

代理状态管理统一接口负责管理代理的当前状态。本发明采用的统一接口技术定义的采集状态包括采集代理在线、采集代理离线、采集代理采集中、采集代理停止中、采集结果上报中。采集代理端根据统一接口的定义上报代理端当前的状态，控制端接收并显示代理端状态。这个接口的使用使得针对多操作系统的采集代理当前状态得到有效管理。下表定义了代理状态管理统一接口的数据结构。

表2 代理状态管理统一接口数据结构

代理运行控制统一接口负责控制代理的运行、停止等功能。远程的采集控制端能够通过统一的接口技术对分布在各操作系统体系下的采集代理端进行运行和停止的控制，达到多操作系统协调统一的功能。下表定义了代理运行控制统一接口的数据结构。

表3 代理运行控制统一接口数据结构

采集插件管理统一接口负责采集插件的管理，该管理具体包括插件下发、插件检查以及插件更新。采集控制端根据采集指标首先对采集代理端询问当前代理端已有插件，采集代理端上报已有插件及版本，采集控制端检查版本是否为最新，若不为最新则进行更新插件同时下发代理端所缺插件。以上过程均在统一接口的定义下完成，通过统一接口的定义，上述过程才能在不同操作系统的差异性下正常准确的工作。下表定义了插件管理统一接口的数据结构。

表4 插件管理统一接口数据结构

结果传输统一接口则负责采集结果传输。采集结果按照统一接口的定义首先进行统一格式化结果输出，之后使用统一接口上传到采集控制端。采集控制端同样通过统一接口无差别接收采集结果并分析。通过本发明统一接口技术的使用，采集结果能够在不同操作系统下达到统一管理和分析的效果，使得采集结果不会因为代理端操作系统的差异而产生不同格式的内容进而使得结果分析困难化。下表定义了结果传输统一接口的数据结构。

表5 结果传输统一接口数据结构

如上所述，通过本发明的统一接口技术对信息采集代理端的通信和结果进行统一的定义，屏蔽了不同体系下操作系统底层的差异，使得采集过程统一而有序。同时对采集结果的统一定义，使采集控制端对采集结果的分析不会因为操作系统的差异而不同，分析简单化、准确化和高效化。

对于采集代理端和采集插件，本发明旨在重视多操作系统平台的兼容性，本发明在本发明应用的设计和实现做了如下规定。在本发明的应用设计中使用跨平台语言C、C++以及Python语言的结合。在Windows体系下操作系统中使用C及C++语言设计采集插件，使用MFC架构设计采集前端。C\C++语言结合MFC架构的组合，保证了采集代理端在Windows体系操作系统下得到良好的兼容性和准确性。在Unix，Linux以及Solaris体系操作系统下使用Python和C语言结合的方式设计采集插件和采集代理端。鉴于Python和C语言本身跨平台的特性，保证了采集代理端和采集插件的设计高可复用性和高兼容性。同时在采集插件的设计中，应尽量涉及操作系统内核编程，由此保证主机信息采集的准确性和效率。同时调用系统内核函数可以进而降低采集过程中产生的额外计算资源消耗。

本发明的有益效果是：统一接口的定义和设计以及跨平台语言的应用使得本信息采集系统能够正常和准确的控制多操作系统平台下的采集任务。并且本技术所使用的采集任务描述模块可以个性化定制采集任务，精确和高效制定准确的采集指标，进而在网络和计算资源合理消耗下进行高准确度的信息采集任务。

图1表示本信息采集系统通体结构分布，其中：采集控制端要求运行在高配置的服务器上；采集代理端需运行在支持Windows、Unix、Linux、Solaris体系下各种发行版本的兼容PC上。采集控制端通过统一接口控制管理采集代理端的运行、插件更新等；代理端则通过统一接口保持与控制端的通信，包括结果上传、状态传递等。

图2表示本信息采集系统控制端执行控制流程。首先管理员在控制端对当次采集任务进行任务描述，选择对应的采集属性。采集控制端任务描述模块对本次采集任务的任务描述进行评估并生成相应的采集指标。之后选择所需采集的在线代理。控制端通过采集插件管理统一接口查询采集代理端插件版本并升级和补全所缺插件。控制端进入等待开始采集指示状态。当管理员下达开始采集指令后，控制端通过代理运行控制统一接口生成运行控制命令，并根据统一接口下达代理端，代理端开始采集，采集端通过代理状态管理统一接口实时获取采集代理端当前运行状况。当管理员下达结束采集指令后，控制端生成停止采集命令下发代理端，代理端停止采集通过结果传输统一接口上传采集结果报告，控制端根据统一接口定义接收采集报告并分析。采集任务结束。

图3表示本信息采集系统控制端数据流向。图中所示的数据流均根据本发明设计的统一接口技术定义，因此在跨平台的性能和稳定性上均得到了很好的保证。在采集过程中，控制端首先以采集任务为数据进行分配，这里的采集任务包括采集任务描述、采集指标、目标代理主机、指标涉及插件等信息，分配采集任务后同样根据统一接口的定义生成代理运行控制命令将其发送到目标采集代理端。采集代理端则将自己当前的采集状态实时上报，通信过程通过代理状态管理统一接口定义。在传输采集结果时根据结果传输统一接口的定义传输采集结果，控制端接收采集结果并进行分析和录入数据的过程。

图4表示本信息采集系统代理端的执行流程。首先在采集代理端所在主机运行采集代理端软件。当采集代理端被运行时，对采集控制端发送上线信息，并接收控制端连接是否成功建立的信息。若未成功建立连接，则清理临时文件，结束采集任务。若成功，则进入等待升级插件库的状态。当采集控制端发送升级插件库的命令并成功被采集代理端解析之后，采集代理端接收插件，进入等待采集开始命令状态。当采集控制端发送开始采集命令后，采集代理端开始采集并实时上传采集结果，直到接收到采集停止命令。当收到采集停止命令之后，停止采集，处理采集临时文件，采集结束。

图5表示本信息采集系统代理端数据流向。代理端接收到采集端根据统一接口定义发出的控制命令后，将其解析，根据解析结果分别调用子例程，并同时显示解析出的命令。在接收插件时，代理端将采集插件作为数据进行数据流动，将采集插件接收并保存为本地文件，在接收采集命令后，根据采集指标，加载对应插件开始采集任务。

图6表示本信息采集系统内部接口示意图。在本信息采集系统内部使用本发明研发的统一接口进行跨平台的实现，这些统一接口包括：代理状态管理统一接口、代理运行控制统一接口、采集插件管理统一接口和结果传输统一接口。在这些接口的共同作用下，本信息采集系统屏蔽了不同体系操作系统的不同部分，实现了跨平台的功能。

Claims (6)

1.一种基于统一接口的多平台信息采集系统，该系统包括采集控制端、统一接口、采集代理端，通过设计统一接口，该采集系统屏蔽了不同体系操作系统下的通信传输和信息采集的差异，完成多平台信息采集的任务；其中：

统一接口包括：代理状态管理统一接口、代理运行控制统一接口、采集插件管理统一接口和结果传输统一接口；

采集控制端负责评估采集任务描述和制定采集指标；管理采集代理端的运行状态，下达采集任务；管理下发和更新采集插件；

采集代理端负责解析执行采集控制端下达的命令，实时上传采集结果；

当执行采集任务时，用户在采集控制端制定采集任务，采集控制端根据采集任务自动制定采集指标，并将采集任务和指标对应的插件下发到采集代理端，采集代理端使用插件执行采集任务同时实时上报采集结果，从而达到基于插件的多平台远程控制管理采集任务的目的。

2.根据权利要求1所述的系统，其特征在于：

对于采集控制端，用户可以制定采集任务，针对用户对采集属性的具体选择生成个性化采集指标，这些采集指标通过设定的评估算法衡量采集任务结果；采集任务属性至少包括：登录权限、端口信息量、操作系统指纹探测率、躲避IDS/IPS检测成功率、静态隐藏对抗量、网络传播提升权限、处理资源最大消耗、平均网络带宽消耗率、防火墙规则探测信息量、文件最大操作权限。

3.根据权利要求2所述的系统，其特征在于：

代理状态管理统一接口负责对多操作系统的采集代理当前状态进行管理，采集代理当前状态包括采集代理在线、采集代理离线、采集代理采集中、采集代理停止中、采集结果上报中；采集代理端根据统一接口的定义上报代理端当前的状态，控制端接收并显示代理端状态；

代理运行控制统一接口负责控制代理的运行、停止控制，远程的采集控制端能够通过统一的接口对分布在各操作系统体系下的采集代理端进行运行和停止的控制，达到多操作系统协调统一；

采集插件管理统一接口负责采集插件的管理，包括插件下发、插件检查以及插件更新；采集控制端根据采集指标首先对采集代理端询问当前代理端已有插件，采集代理端上报已有插件及版本，采集控制端检查版本是否为最新，若不为最新则进行更新插件同时下发代理端所缺插件；

结果传输统一接口则负责采集结果传输，采集结果按照统一接口的定义首先进行统一格式化结果输出，之后使用统一接口上传到采集控制端，采集控制端同样通过统一接口无差别接收采集结果并分析。

4.一种基于统一接口的多平台信息采集方法，该方法在设计的统一接口的正常工作下，通过采集控制端和采集代理端协作工作，屏蔽了不同体系操作系统下的通信传输和信息采集的差异，完成多平台信息采集的任务；其中，

统一接口包括：代理状态管理统一接口、代理运行控制统一接口、采集插件管理统一接口和结果传输统一接口；

该方法包括以下步骤：

在采集控制端，首先管理员在控制端对当次采集任务进行任务描述，选择对应的采集属性，采集控制端任务描述模块对本次采集任务的任务描述进行评估并生成相应的采集指标；之后选择所需采集的在线代理，控制端通过采集插件管理统一接口查询采集代理端插件版本并升级和补全所缺插件；控制端进入等待开始采集指示状态，当管理员下达开始采集指令后，控制端通过代理运行控制统一接口生成运行控制命令，并根据统一接口下达代理端，代理端开始采集，采集端通过代理状态管理统一接口实时获取采集代理端当前运行状况；当管理员下达结束采集指令后，控制端生成停止采集命令下发代理端，代理端停止采集通过结果传输统一接口上传采集结果报告，控制端根据统一接口定义接收采集报告并分析；

在采集代理端，首先在采集代理端所在主机运行采集代理端软件，当采集代理端被运行时，对采集控制端发送上线信息，并接收控制端连接是否成功建立的信息；若未成功建立连接，则清理临时文件，结束采集任务；若成功，则进入等待升级插件库的状态；当采集控制端发送升级插件库的命令并成功被采集代理端解析之后，采集代理端接收插件，进入等待采集开始命令状态；当采集控制端发送开始采集命令后，采集代理端开始采集并实时上传采集结果，直到接收到采集停止命令；当收到采集停止命令之后，停止采集，处理采集临时文件。

5.根据权利要求4所述的方法，其特征在于：

对于采集控制端，用户可以制定采集任务，针对用户对采集属性的具体选择生成个性化采集指标，这些采集指标通过设定的评估算法衡量采集任务结果；采集任务属性至少包括：登录权限、端口信息量、操作系统指纹探测率、躲避IDS/IPS检测成功率、静态隐藏对抗量、网络传播提升权限、处理资源最大消耗、平均网络带宽消耗率、防火墙规则探测信息量、文件最大操作权限。

6.根据权利要求5所述的方法，其特征在于：

代理状态管理统一接口负责对多操作系统的采集代理当前状态进行管理，采集代理当前状态包括采集代理在线、采集代理离线、采集代理采集中、采集代理停止中、采集结果上报中；采集代理端根据统一接口的定义上报代理端当前的状态，控制端接收并显示代理端状态；

代理运行控制统一接口负责控制代理的运行、停止控制，远程的采集控制端能够通过统一的接口对分布在各操作系统体系下的采集代理端进行运行和停止的控制，达到多操作系统协调统一；

采集插件管理统一接口负责采集插件的管理，包括插件下发、插件检查以及插件更新；采集控制端根据采集指标首先对采集代理端询问当前代理端已有插件，采集代理端上报已有插件及版本，采集控制端检查版本是否为最新，若不为最新则进行更新插件同时下发代理端所缺插件；

结果传输统一接口则负责采集结果传输，采集结果按照统一接口的定义首先进行统一格式化结果输出，之后使用统一接口上传到采集控制端，采集控制端同样通过统一接口无差别接收采集结果并分析。

Images