CN110377571B - 一种违规日志处理方法、装置和计算机可读存储介质 - Google Patents

一种违规日志处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN110377571B
CN110377571B CN201910548518.1A CN201910548518A CN110377571B CN 110377571 B CN110377571 B CN 110377571B CN 201910548518 A CN201910548518 A CN 201910548518A CN 110377571 B CN110377571 B CN 110377571B
Authority
CN
China
Prior art keywords
violation log
violation
message processing
cache
processing thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910548518.1A
Other languages
English (en)
Other versions
CN110377571A (zh
Inventor
甄鹏
唐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201910548518.1A priority Critical patent/CN110377571B/zh
Publication of CN110377571A publication Critical patent/CN110377571A/zh
Application granted granted Critical
Publication of CN110377571B publication Critical patent/CN110377571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种违规日志处理方法，包括：从通信组件中提取违规日志集，并将违规日志集存储在第一缓存中；对第一缓存中的违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个违规日志信息存储在对应的第二缓存中；根据第二缓存的违规日志信息确定对应的消息处理线程；对各个消息处理线程进行管理，以便并发对第二缓存的违规日志信息进行处理。可见，本申请通过采用两级缓存和多线程并发处理的方式大幅度提高了日志处理效率，避免了大量日志并发时消息堵塞、消息延迟处理的问题，为用户及时分析安全违规日志提供了便利，提高了用户体验。本申请同时还提供了一种违规日志处理装置、电子设备和计算机可读存储介质，均具有上述有益效果。

Description

一种违规日志处理方法、装置和计算机可读存储介质
技术领域
本申请涉及违规日志处理技术领域，特别涉及一种违规日志处理方法、装置、电子设备和计算机可读存储介质。
背景技术
在轨道交通、电力网等场景中、各类主机的安全至关重要。通常需要安装操作系统安全增强系统，在保护主机安全的过程中会产生大量安全违规日志。这种场景中，主机数量通常是几千台，集中管理平台部署一台。
但是当主机遭遇病毒攻击时会持续产生大量违规日志，违规日志堵塞在通信组件上，集中管理平台无法及时处理，导致违规日志的分析产生延迟。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种违规日志处理方法、违规日志处理装置、电子设备和计算机可读存储介质，能够提高违规日志处理效率。其具体方案如下：
本申请公开了一种违规日志处理方法，包括：
从通信组件中提取违规日志集，并将所述违规日志集存储在第一缓存中；
对所述第一缓存中的所述违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个所述违规日志信息存储在对应的第二缓存中；
根据所述第二缓存的违规日志信息确定对应的消息处理线程；
对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理。
可选的，对所述第一缓存中的所述违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个所述违规日志信息存储在对应的第二缓存中，包括：
根据各个主机信息将所述违规日志集进行水平切分处理，得到各个所述违规日志信息，其中，所述主机信息是所述违规日志集中的违规日志对应的主机信息；
分别将各个所述违规日志信息存储在对应的所述第二缓存中。
可选的，对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理，包括：
利用并发容器对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理。
可选的，利用并发容器对各个所述消息处理线程进行管理，包括：
判断ConcurrentHashMap中是否存在未处理的违规日志信息；
若是，则确定所述未处理的违规日志信息的key；
将所述未处理的违规日志信息放入与所述key对应的阻塞队列。
可选的，对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理之后，包括：
记录各个所述消息处理线程的处理信息；
若各个所述处理信息均达到预设条件，则增加新的消息处理线程；
当各个所述消息处理线程处理完成后，对新的违规日志集进行新的水平切分处理，以便并发对所述新的违规日志集对应的违规日志进行处理。
本申请公开了一种违规日志处理装置，包括：
第一缓存模块，用于从通信组件中提取违规日志集，并将所述违规日志集存储在第一缓存中；
第二缓存模块，用于对所述第一缓存中的所述违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个所述违规日志信息存储在对应的第二缓存中；
确定模块，用于根据所述第二缓存的违规日志信息确定对应的消息处理线程；
第一处理模块，用于对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理。
可选的，所述第二缓存模块包括：
切分单元，用于根据各个主机信息将所述违规日志集进行水平切分处理，得到各个所述违规日志信息，其中，所述主机信息是所述违规日志集中的违规日志对应的主机信息；
第二缓存单元，用于分别将各个所述违规日志信息存储在对应的所述第二缓存中
可选的，还包括：
记录模块，用于记录各个所述消息处理线程的处理信息；
增加模块，用于若各个所述处理信息达到预设条件，则获取更新消息处理线程；
第二处理模块，用于当各个所述消息处理线程处理完成后，对新的违规日志集进行新的水平切分处理，以便利用所述更新消息处理线程并发对所述新的违规日志集对应的违规日志进行处理。
本申请公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述违规日志处理方法的步骤。
本申请公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述违规日志处理方法的步骤。
本申请提供一种违规日志处理方法，包括：从通信组件中提取违规日志集，并将违规日志集存储在第一缓存中；对第一缓存中的违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个违规日志信息存储在对应的第二缓存中；根据第二缓存的违规日志信息确定对应的消息处理线程；对各个消息处理线程进行管理，以便并发对第二缓存的违规日志信息进行处理。
可见，本申请通过采用二级缓存和多线程并发处理的方式大幅度提高了日志处理效率，避免了大量日志并发时，消息堵塞、消息延迟处理、消息丢失问题，为用户及时分析安全违规日志提供了便利，提高了用户体验。本申请同时还提供了一种违规日志处理装置、一种电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种违规日志处理方法的流程图；
图2为本申请实施例所提供的一种违规日志的处理结构简图；
图3为本申请实施例所提供的另一种违规日志处理方法的流程图；
图4为本申请实施例提供的一种违规日志处理装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中由于主机数量大，但是集中管理平台只有一台，因此当主机遭遇病毒攻击时会持续产生大量违规日志，违规日志堵塞在通信组件上，集中管理平台无法及时处理，导致违规日志的分析产生延迟，基于上述技术问题，本实施例提供一种违规日志处理方法，通过采用两级缓存和多线程并发处理的方式大幅度提高了日志处理效率，避免了大量日志并发时，消息堵塞、消息延迟处理、消息丢失问题，为用户及时分析安全违规日志提供了便利，提高了用户体验，具体请参考图1，图1为本申请实施例所提供的一种违规日志处理方法的流程图，具体包括：
S101、从通信组件中提取违规日志集，并将违规日志集存储在第一缓存中。
主机与集中管理平台间通信的组件是通信组件，主机将违规日志发送至通信组件，集中管理平台从通信组件中取走后分析处理，但是当主机遭遇病毒攻击时会持续产生大量违规日志，违规日志堵塞在通信组件上。因此，本实施例提供一种违规日志处理方法能够提高了日志处理效率，主要是在服务器中设置有第一缓存与第二缓存以减轻通信组件中的数据压力。从通信组件中提取违规日志集，可以理解的是，多主机实时发送多个违规日志至通信组件中，此时，多个违规日志构成了违规日志集，从通信组件中提取违规日志集，并将它存储在第一缓存中，保证消息不被阻塞在通信组件中，以便减轻通信组件的数据压力。
S102、对第一缓存中的违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个违规日志信息存储在对应的第二缓存中。
本步骤是增加第二缓存，以便将第一缓存中的违规日志集水平切分到第二缓存中，以便减轻第一缓存的数据压力，避免出现内存溢出的现象。具体的本实施例不对水平切分技术进行限定，用户可根据实际需求进行设置，水平切分的依据可以是根据违规日志的主机ID、违规日志生成时间等进行优先级的设置。
进一步的，对第一缓存中的违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个违规日志信息存储在对应的第二缓存中，包括：根据各个主机信息将违规日志集进行水平切分处理，得到各个违规日志信息，其中，主机信息是违规日志集中的违规日志对应的主机信息；分别将各个违规日志信息存储在对应的第二缓存中。
具体的，利用主机信息对违规日志集进行水平切分，进而将各个违规日志信息存储在对应的第二缓存中。可见，基于上述技术手段，利用主机信息进行水平切分处理，保证了数据处理的一致性，保证每个消息处理线程只处理一台主机的消息，保证了写入数据的一致性。
S103、根据第二缓存的违规日志信息确定对应的消息处理线程。
违规日志的信息包括对应的主机的IP、日志生成的时间、违规日志的大小等；根据违规日志的信息确定对应的消息处理线程，本实施例不对确定的方式进行限定，用户可根据实际进行选择，例如，每一个主机IP生成的违规日志信息按照时间先后的顺序缓存在一个第二缓存中，一个第二缓存对应一个消息处理线程，如第二缓存a对应消息处理线程A，而a中存储有同一主机按照时间先后的违规日志；当然也可以是他的方式。
S104、对各个消息处理线程进行管理，以便并发对第二缓存的违规日志信息进行处理。
本步骤的目的是对消息处理线程进行管理以便能够高效的处理违规日志。如图2所示，图2为违规日志的处理结构简图，一级缓存对应第一缓存，一级缓存从通信组件中提取消息，然后将一级缓存中提取的消息进行水平切分处理，得到各个违规日志信息，并存储在二级缓存即第二缓存中，然后每个二级缓存对应一个消息处理线程，以便实现并发处理违规日志。可以看出通过本实施例提供的方法，能够提高违规日志处理效率。
进一步的，对各个消息处理线程进行管理，以便并发对第二缓存的违规日志信息进行处理之后，包括：记录各个消息处理线程的处理信息；若各个处理信息达到预设条件则获取更新消息处理线程；当各个消息处理线程处理完成后，对新的违规日志集进行新的水平切分处理，以便利用更新消息处理线程并发对新的违规日志集对应的违规日志进行处理。
其中，处理信息包括但不限于处理的时间、处理的日志大小、处理的违规日志对应的主机信息。若各个消息处理线程对应的处理信息达到预设条件的时候则获取更新消息处理线程。此时，线程处理存在压力，本实施例以增加新的消息处理线程来减轻消息处理压力。本实施例不对预设条件进行限定，只要是达到设置的消息处理线程处理的极限阈值即可，值得注意的是，预设条件与更新消息处理线程相对应，当预设条件是消息处理线程的压力极限阈值时，则更新消息处理线程是在原有的消息处理线程的基础上增加新的消息处理线程而得到的消息处理线程；当预设条件是消息处理线程的空闲极限阈值时，则更新消息处理线程是在原有的消息处理线程的基础上减少对应的消息处理线程而得到的消息处理线程。本实施例不对压力极限阈值和空闲极限阈值进行限定，只要是能够实现本实施例的目的即可。
当预设条件是消息处理线程的压力极限阈值时，具体的，预设条件可以是所有消息处理线程的处理的时间达到处理时间阈值或所有消息处理线程的处理效率达到处理效率阈值。例如，当所有消息处理线程的处理的时间达到处理时间阈值，则表明各个消息处理线程长期处于忙碌状态，此时，获取更新消息处理线程，其中，更新消息处理线程包括各个消息处理线程和增加的新的消息处理线程，增加消息处理线程时，不再从通信组件中提取违规日志集，当各个消息处理线程处理违规日志均完成时，再对新的违规日志集利用新的水平切分处理，此时由于增加了消息处理线程，减缓了原消息处理线程的压力，进一步提高违规日志处理效率。
当预设条件是消息处理线程的空闲极限阈值时，具体的，预设条件可以是有大于预设数目的消息处理线程处于空闲状态。当处于空闲状态的消息处理线程的数目大于预设数目时，表明当前处于消息处理线程的空闲极限阈值，此时获取更新消息处理线程，其中更新消息处理线程是固定数目的消息处理线程，更新消息处理线程是在原有的消息处理线程的基础上减少对应的消息处理线程而得到的消息处理线程，减少消息处理线程时，不再从通信组件中提取违规日志集，当各个消息处理线程处理违规日志均完成时，再对新的违规日志集利用新的水平切分处理此时减少了消息处理线程，减少能量的消耗。
当然也可以是其他预设条件，本实施例不再进行限定，用户可根据实际需求进行设置。可见，通过上述技术手段实现了动态消息处理线程的管理，更加科学的提高了违规日志的处理效率，提高了用户体验。
具体的，根据实际的硬件条件，在配置文件中设定一个固定的消息处理线程数量。实际运行时每个消息处理线程会在共有集合中标记自己的忙碌状态，如果全部消息处理线程长时间(该时间可通过配置文件配置)忙碌状态，那么会动态增加一定数量(该数量可通过配置文件配置)的消息处理线程。为保证数据一致性，增加消息处理线程期间，停止消息的水平切分处理，待已存消息处理线程中的消息处理完毕后启动新增消息处理线程，按照新的水平切分算法水平切分处理。当所有消息处理线程长时间(该时间可通过配置文件配置)处于空闲状态时，将消息处理线程动态减少至配置文件中设置的固定线程数量，且在减少消息处理线程期间，停止消息的水平切分处理。
基于上述技术方案，本实施例通过采用二级缓存和多消息处理线程并发处理的方式大幅度提高了日志处理效率，避免了大量日志并发时，消息堵塞、消息延迟处理、消息丢失问题，为用户及时分析安全违规日志提供了便利，提高了用户体验。
基于上述实施例，本实施例提供一种违规日志处理方法，具体请参考图3，图3为本申请实施例所提供的另一种违规日志处理方法的流程图，包括：
S301、从通信组件中提取违规日志集，并将违规日志集存储在第一缓存中。
S302、对第一缓存中的违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个违规日志信息存储在对应的第二缓存中。
S303、根据第二缓存的违规日志信息确定对应的消息处理线程。
S304、利用并发容器对各个消息处理线程进行管理，以便并发对第二缓存的违规日志信息进行处理。
创建一定数量(该数量可通过配置文件配置)的消息处理线程，每个消息处理线程设置线程ID，线程ID可以以数字形式设定，例如从0开始依次递增。创建并发容器来进行各个消息处理线程的管理。本实施例不对并发容器进行限定，用户可根据实际需求进行创建，可以是ConcurrentHashMap或CopyOnWriteArrayList。
进一步的，利用并发容器对各个消息处理线程进行管理，包括：判断ConcurrentHashMap中是否存在未处理的违规日志信息；若是，则确定未处理的违规日志信息的key；将未处理的违规日志信息放入与key对应的阻塞队列。
创建ConcurrentHashMap<Integer,LinkedBlockingQueue<Object>>用来管理二级缓存，该HashMap的Key为线程ID(线程ID从0开始)，Value为阻塞队列。在一级缓存后追加消息水平切分处理机制。该处理机制从收到的消息中提取主机ID，用主机ID除以当前的消息处理线程数得到余数remainder。用该余数remainder匹配ConcurrentHashMap<Integer,LinkedBlockingQueue<Object>>中的Key，并将消息放入该Key对应的阻塞队列。消息处理线程启动后，用线程ID匹配ConcurrentHashMap<Integer，LinkedBlockingQueue<Object>>中的缓存队列，有消息及时处理，无消息阻塞等待。
基于上述技术方案，本实施例通过采取并发容器管理二级缓存，大幅度提高了日志处理效率，避免了大量日志并发时，消息堵塞、消息延迟处理、消息丢失问题，为用户及时分析安全违规日志提供了便利，提高了用户体验。
下面对本申请实施例提供的一种违规日志处理装置进行介绍，下文描述的违规日志处理装置与上文描述的违规日志处理方法可相互对应参照，相关模块均设置于服务器中，参考图4，图4为本申请实施例所提供的一种违规日志处理装置的结构示意图，包括：
第一缓存模块401，用于从通信组件中提取违规日志集，并将违规日志集存储在第一缓存中；
第二缓存模块402，用于对第一缓存中的违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个违规日志信息存储在对应的第二缓存中；
确定模块403，用于根据第二缓存的违规日志信息确定对应的消息处理线程；
第一处理模块404，用于对各个消息处理线程进行管理，以便并发对第二缓存的违规日志信息进行处理。
在一些具体的实施例中，第二缓存模块包括：
切分单元，用于根据各个主机信息将违规日志集进行水平切分处理，得到各个违规日志信息，其中，主机信息是违规日志集中的违规日志对应的主机信息；
第二缓存单元，用于分别将各个违规日志信息存储在对应的第二缓存中。
在一些具体的实施例中，第一处理模块404包括：
处理单元，用于利用并发容器对各个消息处理线程进行管理，以便并发对第二缓存的违规日志信息进行处理。
在一些具体的实施例中，处理单元包括：
判断子单元，用于判断ConcurrentHashMap中是否存在未处理的违规日志信息；
确定子单元，用于若是，则确定未处理的违规日志信息的key；
处理子单元，用于将未处理的违规日志信息放入与key对应的阻塞队列。
在一些具体的实施例中，包括：还包括：
记录模块，用于记录各个消息处理线程的处理信息；
更新消息处理线程获取模块，用于若各个处理信息均达到预设条件，则获取更新消息处理线程；
第二处理模块，用于当各个消息处理线程处理完成后，对新的违规日志集进行新的水平切分处理，以便利用更新消息处理线程并发对新的违规日志集对应的违规日志进行处理。
由于违规日志处理装置部分的实施例与违规日志处理方法部分的实施例相互对应，因此违规日志处理装置部分的实施例请参见违规日志处理方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的违规日志处理方法可相互对应参照。
本实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述违规日志处理方法的步骤。
由于电子设备部分的实施例与违规日志处理方法部分的实施例相互对应，因此电子设备部分的实施例请参见违规日志处理方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的违规日志处理方法可相互对应参照。
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述违规日志处理方法的步骤。
由于计算机可读存储介质部分的实施例与违规日志处理方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见违规日志处理方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种违规日志处理方法、违规日志处理装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种违规日志处理方法，其特征在于，包括：
从通信组件中提取违规日志集，并将所述违规日志集存储在第一缓存中；
对所述第一缓存中的所述违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个所述违规日志信息存储在对应的第二缓存中；
根据所述第二缓存的违规日志信息确定对应的消息处理线程；
对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理；
其中，对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理之后，包括：
记录各个所述消息处理线程的处理信息；若各个所述处理信息达到预设条件，则获取更新消息处理线程；当各个所述消息处理线程处理完成后，对新的违规日志集进行新的水平切分处理，以便利用所述更新消息处理线程并发对所述新的违规日志集对应的违规日志进行处理；
其中，当所述预设条件为消息处理线程的压力极限阈值时，则所述更新消息处理线程是在原有的消息处理线程的基础上增加新的消息处理线程而得到的消息处理线程；当所述预设条件是消息处理线程的空闲极限阈值时，则所述更新消息处理线程是在原有的消息处理线程的基础上减少对应的消息处理线程而得到的消息处理线程。
2.根据权利要求1所述的违规日志处理方法，其特征在于，对所述第一缓存中的所述违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个所述违规日志信息存储在对应的第二缓存中，包括：
根据各个主机信息将所述违规日志集进行水平切分处理，得到各个所述违规日志信息，其中，所述主机信息是所述违规日志集中的违规日志对应的主机信息；
分别将各个所述违规日志信息存储在对应的所述第二缓存中。
3.根据权利要求1所述的违规日志处理方法，其特征在于，对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理，包括：
利用并发容器对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理。
4.根据权利要求3所述的违规日志处理方法，其特征在于，利用并发容器对各个所述消息处理线程进行管理，包括：
判断ConcurrentHashMap中是否存在未处理的违规日志信息；
若是，则确定所述未处理的违规日志信息的key；
将所述未处理的违规日志信息放入与所述key对应的阻塞队列。
5.一种违规日志处理装置，其特征在于，包括：
第一缓存模块，用于从通信组件中提取违规日志集，并将所述违规日志集存储在第一缓存中；
第二缓存模块，用于对所述第一缓存中的所述违规日志集进行水平切分处理，得到各个违规日志信息，分别将各个所述违规日志信息存储在对应的第二缓存中；
确定模块，用于根据所述第二缓存的违规日志信息确定对应的消息处理线程；
第一处理模块，用于对各个所述消息处理线程进行管理，以便并发对所述第二缓存的违规日志信息进行处理；
记录模块，用于记录各个所述消息处理线程的处理信息；
更新消息处理线程获取模块，用于若各个所述处理信息均达到预设条件，则获取更新消息处理线程；
第二处理模块，用于当各个所述消息处理线程处理完成后，对新的违规日志集进行新的水平切分处理，以便利用所述更新消息处理线程并发对所述新的违规日志集对应的违规日志进行处理；
其中，当所述预设条件为消息处理线程的压力极限阈值时，则所述更新消息处理线程是在原有的消息处理线程的基础上增加新的消息处理线程而得到的消息处理线程；当所述预设条件是消息处理线程的空闲极限阈值时，则所述更新消息处理线程是在原有的消息处理线程的基础上减少对应的消息处理线程而得到的消息处理线程。
6.根据权利要求5所述的违规日志处理装置，其特征在于，所述第二缓存模块包括：
切分单元，用于根据各个主机信息将所述违规日志集进行水平切分处理，得到各个所述违规日志信息，其中，所述主机信息是所述违规日志集中的违规日志对应的主机信息；
第二缓存单元，用于分别将各个所述违规日志信息存储在对应的所述第二缓存中。
7.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述违规日志处理方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述违规日志处理方法的步骤。
CN201910548518.1A 2019-06-24 2019-06-24 一种违规日志处理方法、装置和计算机可读存储介质 Active CN110377571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910548518.1A CN110377571B (zh) 2019-06-24 2019-06-24 一种违规日志处理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910548518.1A CN110377571B (zh) 2019-06-24 2019-06-24 一种违规日志处理方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110377571A CN110377571A (zh) 2019-10-25
CN110377571B true CN110377571B (zh) 2021-10-22

Family

ID=68249162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910548518.1A Active CN110377571B (zh) 2019-06-24 2019-06-24 一种违规日志处理方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110377571B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866602A (zh) * 2015-06-01 2015-08-26 走遍世界（北京）信息技术有限公司 队列处理方法及装置
CN108965587A (zh) * 2018-06-26 2018-12-07 恒生电子股份有限公司 一种消息提醒方法、装置以及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510263B2 (en) * 2009-06-15 2013-08-13 Verisign, Inc. Method and system for auditing transaction data from database operations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866602A (zh) * 2015-06-01 2015-08-26 走遍世界（北京）信息技术有限公司 队列处理方法及装置
CN108965587A (zh) * 2018-06-26 2018-12-07 恒生电子股份有限公司 一种消息提醒方法、装置以及设备

Also Published As

Publication number Publication date
CN110377571A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN102769549B (zh) 网络安全监控的方法和装置
CN105677477B (zh) 一种优化应用程序资源的方法、装置及电子设备
US9405589B2 (en) System and method of optimization of in-memory data grid placement
CN109471843B (zh) 一种元数据缓存方法、系统及相关装置
CN103473142A (zh) 一种云计算操作系统下的虚拟机迁移方法及装置
CN113783845B (zh) 确定云服务器上实例风险等级的方法、装置、电子设备及存储介质
CN109558244A (zh) 垃圾信息回收方法、装置、设备及计算机可读存储介质
CN103020521A (zh) 木马扫描方法及系统
US20210182132A1 (en) Method, device and computer program product for error management
CN103916387A (zh) 一种防护ddos攻击的方法及系统
CN109471989A (zh) 一种页面请求处理方法及相关装置
CN104063283B (zh) 一种资源管理器的资源调度方法
CN110377571B (zh) 一种违规日志处理方法、装置和计算机可读存储介质
CN109656939B (zh) 一种缓存更新方法、装置、设备和存储介质
CN105162765B (zh) 一种基于断尾求生的云数据安全实现方法
CN108734033B (zh) 一种实现系统间安全交互的方法和装置
US20230086991A1 (en) Method, electronic device and computer program product for flushing metadata
CN106294375B (zh) 一种数据请求实时处理方法和装置
CN103019865A (zh) 虚拟机监控方法和系统
US8886675B2 (en) Method and system for managing data clusters
EP3641260A1 (en) Method and device for improving data storage security
CN115174502A (zh) 一种api网关的流量控制方法、装置、设备及介质
KR102284264B1 (ko) 클라우드 시스템 및 그 제어방법
CN114691781A (zh) 一种数据同步方法、系统、装置、设备及介质
KR101518111B1 (ko) 안티-멀웨어 시스템 및 상기 시스템에서의 데이터 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant