CN106095575B - 一种日志审计的装置、系统和方法 - Google Patents
一种日志审计的装置、系统和方法 Download PDFInfo
- Publication number
- CN106095575B CN106095575B CN201610415448.9A CN201610415448A CN106095575B CN 106095575 B CN106095575 B CN 106095575B CN 201610415448 A CN201610415448 A CN 201610415448A CN 106095575 B CN106095575 B CN 106095575B
- Authority
- CN
- China
- Prior art keywords
- normalization
- log
- association
- task object
- journal file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种日志审计的装置、系统和方法，该日志审计的装置与外设的至少两个设备相连，通过收集单元中的每一个收集进程，当空闲时，接收外设的至少两个设备发送的日志文件；通过归一化单元中的每一个归一化进程确定归一化规则，当空闲时，解析日志文件属性，根据归一化规则和所述日志文件属性，确定日志文件的关联属性；通过日志关联单元中的每一个关联进程，确定关联规则和告警规则，当接收到关联属性时，根据关联规则，进行日志关联，当日志关联满足所述告警规则时，触发告警单元；通过告警单元进行日志审计告警。本发明提供的方案实现了日志审计进程负载均衡。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种日志审计的装置、系统和方法。
背景技术
网络设备、服务器、应用服务等通用计算机软硬件以及各种特定业务系统在运行过程中会产生大量日志信息，而日志信息能够反应出计算机软硬件以及业务系统等的运行状态，而对日志进行审计是了解运行状态的重要手段之一。
目前，日志审计的主要方式是，为每个待监测的设备分配收集进程以及多个处理进程以对该设备进行日志审计，例如：为设备1分配收集进程1、处理进程1及处理进程2，设备2分配收集进程2、处理进程3及处理进程4，那么，当设备1没有日志审计，而设备2有较多的日志需要审计的时候，该收集进程1、处理进程1及处理进程2将空闲状态，而收集进程2、处理进程 3及处理进程4处于满负载状态，造成日志审计进程负载不均衡。
发明内容
本发明实施例提供了一种日志审计的装置、系统和方法，实现了日志审计进程负载均衡。
一种日志审计的装置，与外设的至少两个设备相连，包括：收集单元、归一化单元、日志关联单元及告警单元，其中，
所述收集单元，包括：至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件，并将所述日志文件发送给所述归一化单元；
所述归一化单元，包括：至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收所述收集单元发送的所述日志文件，解析所述日志文件属性，根据所述归一化规则和所述日志文件属性，确定所述日志文件的关联属性，将所述关联属性发送给所述日志关联单元；
所述日志关联单元，包括：至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据所述关联规则，进行日志关联，当所述日志关联满足所述告警规则时，触发所述告警单元；
所述告警单元，用于在接收到触发时，进行日志审计告警。
优选地，上述日志审计的装置，进一步包括：规则引擎，其中，
所述规则引擎，用于接收至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID；
所述归一化单元中，每一个归一化进程，用于加载所述规则引擎，根据所述归一化规则，为日志文件分配对应的任务对象，并为任务对象配置关联属性，并根据所述关联规则，为所述任务对象确定对应的RuleID，并根据 RuleID，将所述任务对象和关联属性发送给所述日志关联单元中的目标关联进程；
所述日志关联单元中，每一个关联进程，当作为目标关联进程时，用于接收所述归一化单元发送的任务对象和关联属性，根据所述关联属性，设置任务对象，对所述任务对象进行加1操作。
优选地，上述日志审计的装置，进一步包括：缓存区域和数据库，其中，
所述缓存区域，用于设置时间阈值，缓存所述归一化单元配置的任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象；
所述日志关联单元中，每一个关联进程，当作为目标关联进程时，进一步用于根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加1操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加1操作，否则，增加新的任务对象给所述缓存区域。
优选地，上述日志审计的装置，进一步包括：设置单元，其中，
所述设置单元，用于为所述归一化单元中的每一个收集进程和所述日志关联单元中的每一个关联进程设置处理类及关联关系；
所述归一化单元中，每一个收集进程间，用于根据所述设置单元设置的处理类，对接收到的日志文件进行归一化处理；
所述日志关联单元中，每一个关联进程，用于根据所述设置单元设置的处理类，对接收到的日志文件进行日志关联；
所述每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，根据所述关联关系，进行数据交互。
优选地，上述日志审计的装置，应用于storm集群中，其中，
所述storm集群中，每一个节点，用于安装所述日志审计的装置中的任意一个或多个收集进程、归一化进程及关联进程。
一种日志审计的系统，其特征在于，包括：上述任意一种日志审计的装置和至少两个设备，其中，
所述至少两个设备中，每一个设备，用于向所述日志审计的装置发送日志文件。
一种日志审计的方法，设置至少一个收集进程、至少两个归一化进程及至少两个关联进程，为每一个归一化进程确定归一化规则，并为每一个关联进程确定关联规则和告警规则，还包括：
确定所述至少一个收集进程中空闲的收集进程；
利用空闲的收集进程接收外设的至少两个设备发送的日志文件；
确定所述至少两个归一化进程中的空闲的归一化进程；
利用空闲归一化进程解析所述日志文件的属性，根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性；
确定所述至少两个关联进程中的空闲关联进程；
根据所述关联规则，利用空闲关联进程进行日志关联，当所述日志关联满足所述告警规则时，进行日志审计告警。
优选地，上述方法进一步包括：
利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID；
所述每一个归一化进程确定归一化规则，包括：每一个归一化进程加载所述规则引擎设置的至少一种归一化规则和关联规则设置对应的RuleID；
所述根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性，包括：根据所述归一化规则，为日志文件分配对应的任务对象，为任务对象配置关联属性，并为所述任务对象确定对应的RuleID；
所述确定所述至少两个关联进程中的空闲关联进程，包括：根据RuleID，确定目标关联进程；
所述利用空闲关联进程进行日志关联，包括：利用目标关联进程进行日志关联。
优选地，上述方法进一步包括：设置缓存区域和数据库；
在所述缓存区域设置时间阈值；
在所述为日志文件分配对应的任务对象之后，在所述利用目标关联进程进行日志关联之前，进一步包括：利用所述缓存区域缓存所述任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象；
所述利用目标关联进程进行日志关联，包括：根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加1操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加1操作，否则，增加新的任务对象给所述缓存区域。
优选地，上述方法进一步包括：为每一个收集进程和每一个关联进程设置处理类及关联关系；
根据所述关联关系，所述每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，进行数据交互；
所述确定空闲的进程，包括：根据日志文件属性，确定目标处理类，并在所述目标处理类中，确定空闲的进程。
本发明实施例提供了一种日志审计的装置、系统和方法，该日志审计的装置，与外设的至少两个设备相连，包括：收集单元、归一化单元、日志关联单元及告警单元，其中，收集单元，包括：至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件；归一化单元，包括：至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收收集单元发送的所述日志文件，解析日志文件属性，根据归一化规则和日志文件属性，确定日志文件的关联属性；日志关联单元，包括：至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据关联规则，进行日志关联，当日志关联满足告警规则时，触发告警单元；告警单元，用于在接收到触发时，进行日志审计告警，由于本发明实施例提供的各种进程在空闲时能够对多个设备产生的日志进行日志解析和关联，实现了日志审计进程负载均衡。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种日志审计的装置的结构示意图；
图2是本发明另一个实施例提供的一种日志审计的装置的结构示意图；
图3是本发明又一个实施例提供的一种日志审计的装置的结构示意图；
图4是本发明一个实施例提供的一种日志审计的系统的结构示意图；
图5是本发明一个实施例提供的一种日志审计的方法的流程图；
图6是本发明另一个实施例提供的一种日志审计的方法的流程图；
图7是本发明一个实施例提供的进程间的关联关系的结构示意图；
图8是本发明一个实施例提供的日志分配关联进程的规则示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种日志审计的装置，与外设的至少两个设备相连，包括：收集单元101、归一化单元102、日志关联单元103及告警单元104，其中，
收集单元101，包括：至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件，并将日志文件发送给归一化单元102；
归一化单元102，包括：至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收收集单元101发送的日志文件，解析日志文件属性，根据归一化规则和日志文件属性，确定日志文件的关联属性，将关联属性发送给日志关联单元103；
日志关联单元103，包括：至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到关联属性时，根据关联规则，进行日志关联，当日志关联满足告警规则时，触发告警单元104；
告警单元104，用于在接收到触发时，进行日志审计告警。
如图2所示，在本发明另一实施例中，上述日志审计的装置进一步包括：规则引擎201，其中，
规则引擎201，用于接收至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID；
归一化单元102中，每一个归一化进程，用于加载规则引擎201，根据归一化规则，为日志文件分配对应的任务对象，并为任务对象配置关联属性，并根据关联规则，为任务对象确定对应的RuleID，并根据RuleID，将任务对象和关联属性发送给日志关联单元103中的目标关联进程；
日志关联单元103中，每一个关联进程，当作为目标关联进程时，用于接收归一化单元102发送的任务对象和关联属性，根据关联属性，设置任务对象，对任务对象进行加1操作。
如图3所示，在本发明又一实施例中，上述日志审计的装置，进一步包括：缓存区域301和数据库302，其中，
缓存区域301，用于设置时间阈值，缓存归一化单元102配置的任务对象，并当缓存对象达到时间阈值时，将缓存的任务对象存储到数据库302，并删除缓存的任务对象；
日志关联单元103中，每一个关联进程，当作为目标关联进程时，进一步用于根据关联属性，在缓存区域301查找对应的任务对象，如果查找到任务对象，则对任务对象进行加1操作，否则，在数据库302中查找任务对象，如果在数据库302中查找到任务对象，则对任务对象进行加1操作，否则，增加新的任务对象给缓存区域301。
在本发明另一实施例中，上述日志审计的装置，进一步包括：设置单元(图中未示出)，其中，
设置单元，用于为归一化单元102中的每一个收集进程和日志关联单元 103中的每一个关联进程设置处理类及关联关系；
归一化单元102中，每一个收集进程间，用于根据设置单元设置的处理类，对接收到的日志文件进行归一化处理；
日志关联单元103中，每一个关联进程，用于根据设置单元设置的处理类，对接收到的日志文件进行日志关联；
每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，根据关联关系，进行数据交互。
在本发明又一实施例中，上述日志审计的装置应用于storm集群中，其中，
storm集群中，每一个节点，用于安装日志审计的装置中的任意一个或多个收集进程、归一化进程及关联进程。
如图4所示，本发明实施例提供一种日志审计的系统，该系统包括：上述任意一种日志审计的装置401和至少两个设备402，其中，
至少两个设备402中，每一个设备，用于向日志审计的装置401发送日志文件。
上述装置/系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
如图5所示，本发明实施例提供了一种日志审计的方法，该方法可以包括以下步骤：
步骤501：设置至少一个收集进程、至少两个归一化进程及至少两个关联进程；
步骤502：为每一个归一化进程确定归一化规则，并为每一个关联进程确定关联规则和告警规则；
步骤503：确定至少一个收集进程中空闲的收集进程；
步骤504：利用空闲的收集进程接收外设的至少两个设备发送的日志文件；
步骤505：确定至少两个归一化进程中的空闲的归一化进程；
步骤506：利用空闲归一化进程解析日志文件的属性，根据归一化规则和日志文件的属性，确定日志文件的关联属性；
步骤507：确定至少两个关联进程中的空闲关联进程；
步骤508：根据关联规则，利用空闲关联进程进行日志关联，当日志关联满足告警规则时，进行日志审计告警。
在本发明一个实施例中，上述方法进一步包括：利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的 RuleID；步骤502的具体实施方式，包括：每一个归一化进程加载规则引擎设置的至少一种归一化规则和关联规则设置对应的RuleID；步骤505的具体实施方式，包括：根据归一化规则，为日志文件分配对应的任务对象，为任务对象配置关联属性，并为任务对象确定对应的RuleID；步骤507的具体实施方式，包括：根据RuleID，确定目标关联进程；步骤508的具体实施方式，包括：利用目标关联进程进行日志关联，通过规则引擎用户可以按照自己的需求设置各种规则，实现了规则设置的灵活性，例如：用户利用规则引擎设置规则1、规则2等等，该规则1和规则2可以直接通过进程加载规则引擎实现配置。
在本发明一个实施例中，为了保证日志关联的准确性，同时保证日志审计的效率，上述方法进一步包括：设置缓存区域和数据库；在所述缓存区域设置时间阈值；利用缓存区域缓存任务对象，并当缓存对象达到时间阈值时，将缓存的任务对象存储到数据库，并删除缓存的任务对象；步骤508的具体实施方式，包括：根据关联属性，在缓存区域查找对应的任务对象，如果查找到任务对象，则对任务对象进行加1操作，否则，在数据库中查找任务对象，如果在数据库中查找到任务对象，则对任务对象进行加1操作，否则，增加新的任务对象给缓存区域。
在本发明一个实施例中，为了实现分类处理日志，同时保证各进程间的通信，上述方法进一步包括：为每一个收集进程和每一个关联进程设置处理类及关联关系；根据关联关系，每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，进行数据交互；确定空闲的进程，包括：根据日志文件属性，确定目标处理类，并在目标处理类中，确定空闲的进程。
以审计某一网站帐户登录的频次，从而判断该网站是否被恶意攻击或恶意访问为例，详细说明日志审计的方法，如图6所示，该方法可以包括以下步骤：
步骤601：设置至少一个收集进程、至少两个归一化进程及至少两个关联进程；
在该步骤中，可以基于Topology架构构建不同的进程，其中，Topology 是由spout和bolt组成的，spout负责向bolt发送消息，bolt负责处理消息，并把消息发送给下一个bolt。在该步骤中需要定义spout和bolt的处理类，以及它们之间的连接关系，从而实现设置至少一个收集进程、至少两个归一化进程及至少两个关联进程。如图7所示，spoutA为一个收集进程，boltA 和boltB是归一化进程；boltC和boltD是关联进程，其中，spoutA与boltA 和boltB交互数据；boltA和boltB与boltC和boltD交互数据。
步骤602：利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID及网站帐户登录的频次；
在该步骤中，可以通过Topology架构中的spoutB设置至少一种归一化规则和至少一种关联规则，该spoutB将归一化规则和关联规则发送给boltA 和boltB，boltA和boltB再将关联规则发送给boltC和boltD，为了使关联规则比较容易查找，一种关联规则设置对应的RuleID。
步骤603：设置缓存区域和数据库，在缓存区域设置时间阈值；
在该步骤设置的缓存区域和数据库主要是为了缓存和存储任务对象如某一网站登录频次统计。
步骤604：将至少一个收集进程、至少两个归一化进程及至少两个关联进程分散到strom集群中的各个节点上；
该步骤可以使归一化进程和关联进程设置在不同的节点上，保证进程间相对独立，能够为多个设备服务器提供服务，从而保证进程负载的均衡。
步骤605：在各个节点加载规则引擎；
步骤606：为各个节点中的归一化进程确定归一化规则，并为关联进程确定关联规则和告警规则；
例如：为boltA和boltB确定归一化规则，以通过boltA和boltB对日志进行分类；为boltC确定关联规则1对应Rule1；为boltD确定关联规则2对应Rule2。
步骤607：确定各个节点中空闲的收集进程；
步骤608：利用各个节点中空闲的收集进程接收外设的至少两个设备发送的网站登录日志文件；
步骤609：利用收集进程确定各个节点中空闲的归一化进程；
步骤610：利用空闲归一化进程解析网站登录日志文件的属性，根据归一化规则和日志文件的属性，确定任务对象；
如图8所示，通过步骤607至步骤610，确定出boltA和boltB空闲，确定为boltA分配log1和log2；为boltB分配log3、log4及log5，对日志文件的属性如日志文件名称等等进行解析。
步骤611：为任务对象配置关联属性及对应的RuleID；
在该步骤中，给日志对应的任务对象增加关联属性即相似性属性如需要包括日志所属设备，表示同一设备的日志关联，并根据关联规则如对登陆频次进行统计等等。如图8所示，根据日志的相似属性，为log1配置Rule1；为log2、log3、log4及log5配置Rule2。
步骤612：确定至少两个关联进程中的空闲关联进程；
步骤613：根据RuleID，在空闲关联进程中确定目标关联进程；
如图8所示，将log1分配给boltC；将log2、log3、log4及log5分配给 boltD。
步骤614：根据关联规则和任务对象的关联属性及对应的RuleID，目标关联进程查找缓存区域是否存在该任务对象，如果是，则执行步骤615；否则，执行步骤616；
该任务对象为对网站登录频次的统计，在该步骤中，如果之前对该网站已经有登录记录，那么会在缓存区域有缓存任务对象。
步骤615：对缓存区域中的任务对象的频次执行加1操作，判断该任务对象总频次是否达到频次阈值，如果是，则执行步骤617；否则，执行步骤 608；
例如：可以设置频次阈值为100次，即在24内某一帐户登录超过100 次即认定该帐户被恶意攻击。
步骤616：目标关联进程查找数据库是否存在该任务对象，如果是，则执行步骤618，否则，执行步骤619；
步骤617：进行告警，并将任务对象频次清零，执行步骤608；
该步骤的告警可以通过邮件或者短消息的方式发送给用户，以让用户及时对其账户进行处理。
步骤618：对将该任务对象加载到缓存区域，执行步骤615；
步骤619：将任务对象存储到缓存区域，并当任意任务对象在缓存区域中的时间达到时间阈值时，存储到数据库中。
根据上述方案，本发明的各实施例，至少具有如下有益效果：
1.该日志审计的装置，与外设的至少两个设备相连，包括：收集单元、归一化单元、日志关联单元及告警单元，其中，收集单元，包括：至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件；归一化单元，包括：至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收收集单元发送的所述日志文件，解析日志文件属性，根据归一化规则和日志文件属性，确定日志文件的关联属性；日志关联单元，包括：至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据关联规则，进行日志关联，当日志关联满足告警规则时，触发告警单元；告警单元，用于在接收到触发时，进行日志审计告警，由于本发明实施例提供的各种进程在空闲时能够对多个设备产生的日志进行日志解析和关联，实现了日志审计进程负载均衡。
2.通过Storm集群的方式，将多个进程分散到各个节点上，可以接收多个设备的日志，并对多个设备的日志并行进行日志审计，实现了资源共享。
3.本发明实施例提供至少两个归一化进程和至少两个关联进程，而且通过将符合同一规则的日志被同一关联进程处理，便于对日志的关联性进行统计，同时有效的提高了日志审计的效率。
4.在关联进程进行关联统计时，通过缓存区域和数据库结合的方式缓存和存储任务对象，当缓存区域缓存的任务对象达到一定时间阈值时，将任务对象存储到数据库，这样保证缓存区域的缓存效率，同时在进行任务对象的关联时，首先查找缓存区域中，然后查找数据库，即以缓存区域为主，数据库为辅，从而进一步有效地提高了日志审计的效率。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个·····”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (6)
1.一种日志审计的装置，其特征在于，与外设的至少两个设备相连，包括：收集单元、归一化单元、日志关联单元及告警单元，其中，
所述收集单元，包括：至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件，并将所述日志文件发送给所述归一化单元；
所述归一化单元，包括：至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收所述收集单元发送的所述日志文件，解析所述日志文件属性，根据所述归一化规则和所述日志文件属性，确定所述日志文件的关联属性，将所述关联属性发送给所述日志关联单元；
所述日志关联单元，包括：至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据所述关联规则，进行日志关联，当所述日志关联满足所述告警规则时，触发所述告警单元；
所述告警单元，用于在接收到触发时，进行日志审计告警；
进一步包括：规则引擎，其中，
所述规则引擎，用于接收至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID；
所述归一化单元中，每一个归一化进程，用于加载所述规则引擎，根据所述归一化规则，为日志文件分配对应的任务对象，并为任务对象配置关联属性，并根据所述关联规则，为所述任务对象确定对应的RuleID，并根据RuleID，将所述任务对象和关联属性发送给所述日志关联单元中的目标关联进程；
所述日志关联单元中，每一个关联进程，当作为目标关联进程时，用于接收所述归一化单元发送的任务对象和关联属性，根据所述关联属性，设置任务对象，对所述任务对象进行加1操作。
2.根据权利要求1所述的日志审计的装置，其特征在于，进一步包括：缓存区域和数据库，其中，
所述缓存区域，用于设置时间阈值，缓存所述归一化单元配置的任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象；
所述日志关联单元中，每一个关联进程，当作为目标关联进程时，进一步用于根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加1操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加1操作，否则，增加新的任务对象给所述缓存区域。
3.根据权利要求1至2任一所述的日志审计的装置，其特征在于，进一步包括：设置单元，其中，
所述设置单元，用于为所述归一化单元中,每一个归一 化进程和所述日志关联单元中的每一个关联进程设置处理类及关联关系；
所述归一化单元中，每一个归一化进程间，用于根据所述设置单元设置的处理类，对接收到的日志文件进行归一化处理；
所述日志关联单元中，每一个关联进程，用于根据所述设置单元设置的处理类，对接收到的日志文件进行日志关联；
所述每一个归一化进程之间、每一个关联进程之间及每一个归一化进程进程与每一个关联进程之间，根据所述关联关系，进行数据交互。
4.一种日志审计的系统，其特征在于，包括：权利要求1至3任一所述日志审计的装置和至少两个设备，其中，
所述至少两个设备中，每一个设备，用于向所述日志审计的装置发送日志文件。
5.一种日志审计的方法，其特征在于，设置至少一个收集进程、至少两个归一化进程及至少两个关联进程，为每一个归一化进程确定归一化规则，并为每一个关联进程确定关联规则和告警规则，还包括：
确定所述至少一个收集进程中空闲的收集进程；
利用空闲的收集进程接收外设的至少两个设备发送的日志文件；
确定所述至少两个归一化进程中的空闲的归一化进程；
利用空闲归一化进程解析所述日志文件的属性，根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性；
确定所述至少两个关联进程中的空闲关联进程；
根据所述关联规则，利用空闲关联进程进行日志关联，当所述日志关联满足所述告警规则时，进行日志审计告警；
进一步包括：
利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID；
所述每一个归一化进程确定归一化规则，包括：每一个归一化进程加载所述规则引擎设置的至少一种归一化规则和关联规则设置对应的RuleID；
所述根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性，包括：根据所述归一化规则，为日志文件分配对应的任务对象，为任务对象配置关联属性，并为所述任务对象确定对应的RuleID；
所述确定所述至少两个关联进程中的空闲关联进程，包括：根据RuleID，确定目标关联进程；
所述利用空闲关联进程进行日志关联，包括：利用目标关联进程进行日志关联；
进一步包括：设置缓存区域和数据库；
在所述缓存区域设置时间阈值；
在所述为日志文件分配对应的任务对象之后，在所述利用目标关联进程进行日志关联之前，进一步包括：利用所述缓存区域缓存所述任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象；
所述利用目标关联进程进行日志关联，包括：根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加1操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加1操作，否则，增加新的任务对象给所述缓存区域。
6.根据权利要求5所述的一种日志审计的方法，其特征在于，进一步包括：为每一个归一化进程和每一个关联进程设置处理类及关联关系；
根据所述关联关系，所述每一个归一化进程之间、每一个关联进程之间及每一个归一化进程与每一个关联进程之间，进行数据交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610415448.9A CN106095575B (zh) | 2016-06-14 | 2016-06-14 | 一种日志审计的装置、系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610415448.9A CN106095575B (zh) | 2016-06-14 | 2016-06-14 | 一种日志审计的装置、系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106095575A CN106095575A (zh) | 2016-11-09 |
| CN106095575B true CN106095575B (zh) | 2019-02-15 |
Family
ID=57846677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610415448.9A Active CN106095575B (zh) | 2016-06-14 | 2016-06-14 | 一种日志审计的装置、系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106095575B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709023A (zh) * | 2016-12-28 | 2017-05-24 | 深圳市华傲数据技术有限公司 | 数据异常的报警处理方法及装置 |
| CN107357919A (zh) * | 2017-07-21 | 2017-11-17 | 携程旅游网络技术（上海）有限公司 | 行为日志查询系统及方法 |
| CN107302546B (zh) * | 2017-08-16 | 2021-05-21 | 北京奇虎科技有限公司 | 大数据平台安全访问系统、方法及电子设备 |
| CN107645542A (zh) * | 2017-09-03 | 2018-01-30 | 中国南方电网有限责任公司 | 一种应用于云审计系统的数据采集装置 |
| CN107656973A (zh) * | 2017-09-03 | 2018-02-02 | 中国南方电网有限责任公司 | 一种应用于云审计系统的日志审计子系统 |
| CN116318969B (zh) * | 2023-03-15 | 2024-01-26 | 中国华能集团有限公司北京招标分公司 | 一种多元设备日志接入方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100521623C (zh) * | 2007-05-22 | 2009-07-29 | 网御神州科技（北京）有限公司 | 高性能的Syslog日志处理和存储方法 |
| EP2953298B1 (en) * | 2013-01-30 | 2018-03-21 | Nippon Telegraph and Telephone Corporation | Log analysis device, information processing method and program |
| CN103138989B (zh) * | 2013-02-25 | 2016-12-28 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN104636494A (zh) * | 2015-03-04 | 2015-05-20 | 浪潮电子信息产业股份有限公司 | 一种基于Spark大数据平台的日志审计倒查系统 |
-
2016
- 2016-06-14 CN CN201610415448.9A patent/CN106095575B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106095575A (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106095575B (zh) | 一种日志审计的装置、系统和方法 | |
| CN107094158B (zh) | 一种自动化内网安全脆弱分析系统 | |
| US7908160B2 (en) | System and method for producing audit trails | |
| US8418183B2 (en) | Resource information collection and delivery method and system | |
| Li et al. | Towards social data platform: Automatic topic-focused monitor for twitter stream | |
| KR101435789B1 (ko) | Ｄｌｐ 시스템의 빅데이터 처리 시스템 및 방법 | |
| CN104836701B (zh) | 订单监控方法及装置 | |
| CN106972978A (zh) | 一种系统告警推送方法及装置 | |
| CN104468282B (zh) | 集群监控处理系统及方法 | |
| US20190004837A1 (en) | Optimizing allocation of virtual machines in cloud computing environment | |
| CN103502990A (zh) | 用于事件的内存中处理的系统和方法 | |
| CN110213207A (zh) | 一种基于日志分析的网络安全防御方法及设备 | |
| CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
| CN112463553A (zh) | 一种基于普通告警关联分析智能告警的系统与方法 | |
| CN109241084A (zh) | 数据的查询方法、终端设备及介质 | |
| CN109308330A (zh) | 基于互联网的企业泄露信息提取、分析及分类的方法 | |
| Wang et al. | Mining frequent itemsets over distributed data streams by continuously maintaining a global synopsis | |
| CN113221535B (zh) | 情报处理方法、装置、计算机设备和存储介质 | |
| CN107257289A (zh) | 一种风险分析设备、监控系统和监控方法 | |
| EP3011456B1 (en) | Sorted event monitoring by context partition | |
| CN103714144A (zh) | 一种信息检索装置和方法 | |
| CN111582796B (zh) | 一种基于图像识别的快递监控系统及方法 | |
| CN106341474B (zh) | 一种基于icn与sdn网络的资料管控中心及其内容管理方法 | |
| Zhang et al. | A correlation context‐aware approach for composite service selection | |
| CN108304731A (zh) | 一种管理企业数据调用的方法、系统及信息处理平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |