CN105471635B - 一种系统日志的处理方法、装置和系统 - Google Patents

一种系统日志的处理方法、装置和系统 Download PDF

Info

Publication number
CN105471635B
CN105471635B CN201510796402.1A CN201510796402A CN105471635B CN 105471635 B CN105471635 B CN 105471635B CN 201510796402 A CN201510796402 A CN 201510796402A CN 105471635 B CN105471635 B CN 105471635B
Authority
CN
China
Prior art keywords
log
client
system log
preset
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510796402.1A
Other languages
English (en)
Other versions
CN105471635A (zh
Inventor
孙柏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201510796402.1A priority Critical patent/CN105471635B/zh
Publication of CN105471635A publication Critical patent/CN105471635A/zh
Application granted granted Critical
Publication of CN105471635B publication Critical patent/CN105471635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种系统日志的处理方法、装置和系统，方法应用于日志处理服务器中，所述日志处理服务器与至少两个客户端通讯，不同客户端所部署的业务系统不同；该方法包括：控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；接收所述至少两个客户端收集的所述系统日志；按照预设的分析策略对所述系统日志进行分析；生成分析结果；由此可见，在本发明中，通过控制客户端采用统一的日志规范来收集系统日志，实现了对不同业务系统的系统日志的统一处理。

Description

一种系统日志的处理方法、装置和系统
技术领域
本发明涉及通信技术领域，更具体的说是涉及一种系统日志的处理方法、装置和系统。
背景技术
目前，越来越多的业务交易通过业务系统来实现，随之业务系统的类型和功能也越来越丰富，相应的，业务系统所生成的系统日志的数据量也越来越大，因此，如何针对业务系统所生成的大量系统日志进行处理成为一个问题。
在现有技术中，不同的业务系统仅能够对本身生成的系统日志进行处理，并没有一种针对不同业务系统的系统日志的统一处理方法，这是由于不同业务系统的类型不同，开发人员不同，使得不同业务系统间的系统日志存在差异，造成了统一处理上的困难。
因此，如何实现对不同业务系统的系统日志的统一处理成为本领域亟待解决的技术难题。
发明内容
有鉴于此，本发明提供一种系统日志的处理方法、装置和系统，以实现对不同业务系统的系统日志的统一处理。
为实现上述目的，本发明提供如下技术方案：
一种系统日志的处理方法，应用于日志处理服务器中，所述日志处理服务器与至少两个客户端通讯，不同客户端所部署的业务系统不同；
该方法包括：
控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
接收所述至少两个客户端收集的所述系统日志；
按照预设的分析策略对所述系统日志进行分析；
生成分析结果。
优选的，所述控制所述客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，包括：
将预设的日志规范信息分发到与所述日志服务器相连的客户端；
定时与所述客户端进行通信，将携带有日志收集参数的控制指令发送给所述客户端，以使得所述客户端按照所述日志规范信息收集与所述日志收集参数对应的系统日志；
其中，所述日志收集参数包括日志路径和/或日志时间。
优选的，所述按照预设的分析策略多所述系统日志进行分析，包括：
按照所述分析策略对属于同一业务系统的系统日志进行分析；
和/或，按照所述分析策略对属于不同业务系统的系统日志进行分析。
优选的，所述按照所述分析策略对属于不同业务系统的系统日志进行分析，包括：
确定不同业务系统间包含相同关键信息的系统日志；
对所述包含相同关键信息的系统日志进行分析。
优选的，所述生成分析结果之后，还包括：
提取所述分析结果中满足第一预设条件的目标信息；
将所述目标信息发送给与所述目标信息所属业务系统对应的目标地址。
优选的，所述接收所述客户端收集的系统日志之后，还包括：
当检测到第一用户采用第一用户标识登录到所述日志处理服务器时，确定所述第一用户标识的访问权限；
接收到第一查询指令时，输出在所述访问权限下的与所述第一查询指令对应的系统日志。
一种系统日志的处理装置，应用于日志处理服务器中，所述日志处理服务器与至少两个客户端通讯，不同客户端所部署的业务系统不同；
该装置包括：
第一控制模块，用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
第一接收模块，用于接收所述至少两个客户端收集的所述系统日志；
第一分析模块，用于按照预设的分析策略对所述系统日志进行分析；
第一生成模块，用于生成分析结果。
优选的，所述第一控制模块，包括：
第一分发单元，用于将预设的日志规范信息分发到与所述日志服务器相连的客户端；
第一发送单元，用于定时与所述客户端进行通信，将携带有日志收集参数的控制指令发送给所述客户端，以使得所述客户端按照所述日志规范信息收集与所述日志收集参数对应的系统日志；
其中，所述日志收集参数包括日志路径和/或日志时间。
优选的，所述第一分析模块，包括：
第一分析单元，用于按照所述分析策略对属于同一业务系统的系统日志进行分析；
和/或，第二分析单元，用于按照所述分析策略对属于不同业务系统的系统日志进行分析。
优选的，所述第二分析单元具体用于确定不同业务系统间包含相同关键信息的系统日志；对所述包含相同关键信息的系统日志进行分析。
优选的，还包括：
第一提取模块，用于提取所述分析结果中满足第一预设条件的目标信息；
第一发送模块，用于将所述目标信息发送给与所述目标信息所属业务系统对应的目标地址。
优选的，还包括：
检测确定模块，用于当检测到第一用户采用第一用户标识登录到所述日志处理服务器时，确定所述第一用户标识的访问权限；
接收输出模块，用于接收到第一查询指令时，输出在所述访问权限下的与所述第一查询指令对应的系统日志。
一种系统日志的处理系统，包括：
至少两个客户端，不同客户端所部署的业务系统不同；
与所述至少两个客户端通讯的日志处理服务器，其中，所述日志处理服务器用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，接收所述至少两个客户端收集的所述系统日志，按照预设的分析策略对所述系统日志进行分析；生成分析结果。
经由上述的技术方案可知，与现有技术相比，本发明公开了一种系统日志的处理方法，该方法应用于日志处理服务器中，日志处理服务器与至少两个客户端相连，不同客户端所具有的业务系统不同，具体的，通过控制客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，并接收所述客户端所收集的系统日志，以按照预设的分析策略对所述系统日志进行分析，从而生成分析分析结果，由此可见，在本发明中，通过控制客户端采用统一的日志规范来收集系统日志，实现了对不同业务系统的系统日志的统一处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例一公开的一种系统日志的处理方法的流程示意图；
图2为本发明实施例二公开的一种系统日志的处理方法的流程示意图；
图3为本发明实施例三公开的一种系统日志的处理方法的流程示意图；
图4为本发明实施例四公开的一种系统日志的处理装置的结构示意图；
图5为本发明实施例五公开的一种系统日志的处理装置的结构示意图；
图6为本发明实施例六公开的一种系统日志的处理装置的结构示意图；
图7为本发明实施例七公开的一种系统日志的处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开了一种系统日志的处理方法，该方法应用于日志处理服务器中，该日志处理服务器与至少两个客户端通讯，其中，日志处理服务器可以具有与每一客户端通讯的数据通讯模块，以便实现与每一客户端的通讯。
每一客户端部署一业务系统，不同客户端所部署的业务系统不同。
例如，以业务系统为银行系统为例，日志处理服务器与两个客户端相连，一个客户端部署的为网银跨行支付系统，另一客户端部署的为二代支付系统。
作为一种部署方式，业务系统可以部署于基于JAVA开发的客户端上。
下面结合附图，对本申请实施方案进行详细描述。
本发明实施例一公开了一种系统日志的处理方法，如图1所示，该方法包括以下步骤：
步骤101：控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
具体的，在日志处理服务器中，可以预先制定系统日志的统一规范，以便能够统一处理不同客户端所收集的系统日志。
例如，作为一种具体的日志规范可以如下所示：
1、系统日志命名方式为：主机名_时间戳(YYYYMMDDHHMM)_系统名_应用描述.log；
2、系统日志编码方式为：utf-8；
3、系统日志输出方式为：单条日志信息结束后回车换行。
在具体实现时，可以将具体的日志规范信息分发到与日志服务器相连的每一客户端，以使得客户端能够按照所述日志规范来收集相关系统日志。
在本发明中，日志处理服务器可以定时与客户端进行通信，以使得客户端定时收集系统日志。
具体的，获取所述客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，可以包括以下步骤：
首先，将预设的日志规范分发到与所述日志服务器相连的客户端；
其次，定时与所述客户端进行通信，将携带有日志收集参数的控制指令发送给所述客户端，以使得所述客户端按照所述日志规范信息收集与所述日志收集参数对应的系统日志。
具体的，可以预先在日志处理服务器上设定日志收集时间，以定时与客户端进行通信，以控制客户端收集系统日志，如设定预设时间长度，以每隔预设时间长度与客户端进行通信，使得客户端开始收集系统日志，或者，设定时间点，以当到达所述时间点时，与客户端进行通信，使得客户端开始收集系统日志。
日志收集参数至少包括日志路径和/或日志时间，客户端收集在所述日志路径下的系统日志，和/或，收集具有所述日志时间的系统日志。
当然，日志收集参数还可以包括其他参数，具体可以根据实际情况预先设定，本发明不做限定。
步骤102：接收所述至少两个客户端收集的系统日志；
客户端将其收集的系统日志发送给日志处理服务器。
步骤103：按照预设的分析策略对所述系统日志进行分析；
在具体分析过程中，由于所接收的系统日志至少包括两种业务系统的系统日志，因此，按照预设的分析策略对所述系统日志进行分析，可以包括以下内容：
按照所述分析策略对属于同一业务系统的系统日志进行分析；
和/或，按照所述分析策略对属于不同业务系统的系统日志进行分析。
需说明的是，在按照分析策略对属于不同业务系统的系统日志进行分析时，针对的是在业务处理上具有关联性的不同业务系统所生成的系统日志的分析，具体的，作为一种方式，按照所述分析策略对属于不同业务系统的系统日志进行分析可以包括以下步骤：
首先，确定不同业务系统间包括相同关键信息的系统日志；
其次，对所述包含相同关键信息的系统日志进行分析。
也就是说，在这种实现方式下，是通过确定不同业务系统是否包含相同关键信息的系统日志来确定不同不同业务系统在业务处理上是否具有关联性。
关键信息可以包括：用户账号、户名、流水号等信息。
例如，以用户使用某一用户账号办理某一业务而言，在后台处理中，存在两个不同业务系统协同处理的情况，如该业务的第一部分由第一业务系统处理，而该业务的第二部分由第二业务系统处理，那么，第一业务系统和第二业务系统均具有包含所述用户账号的系统日志。
其中，分析策略为预先设定在日志处理服务器中的一种策略，用于实现对系统日志的分析，在本发明中，可以根据实际情况设定分析策略，本发明不做具体限定。
为了便于理解，以一具体分析策略对系统日志的分析进行简单说明，具体的：
按照预设的分析策略对所述系统日志进行分析，可以采用如下步骤：
1、利用句子拆分方将系统日志拆分为句子；
2、利用词组拆分方法将所述句子拆分为词组；
3、计算每个词组的TF*IDF向量；
其中，TF为词频，用于表征一个词组在系统日志中出现的次数；IDF为逆文档频率，IDF＝log(文档总数/(包含该词组的文档数+1))值；一个TF*IDF向量代表一个句子。
4、根据TFIDF向量计算余弦相似性，对TF*IDF向量进行K-Means聚类，从而将相似的系统日志信息归结在一起。
步骤104：生成分析结果。
该分析结果可以供用户查看，具体的，该分析结果可以以系统日志汇总表的形式展现，该系统日志汇总表可以包括以下信息中的一种或多种：系统名、主机名、日志名、关键字、关键字出现的频度、与关键字相关的系统日志、时间戳。
基于上述分析策略，当将相似的系统日志信息归集到一起后，可以根据从聚类结果中提取出现频率较高的关键字，从而将该关键字信息作为分析结果的摘要，以帮助用户在大量的系统日志中快速定位自己想要的信息。
在本实施例中，日志处理服务器与至少两个客户端相连，不同客户端所具有的业务系统不同，具体的，通过控制客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，并接收所述客户端所收集的系统日志，以按照预设的分析策略对所述系统日志进行分析，从而生成分析分析结果，由此可见，在本发明中，通过控制客户端采用统一的日志规范来收集系统日志，实现了对不同业务系统的系统日志的统一处理。
本发明实施例二公开了一种系统日志的处理方法，如图2所示，该方法包括以下步骤：
步骤201：控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
步骤202：接收所述至少两个客户端收集的所述系统日志；
步骤203：按照预设的分析策略对所述系统日志进行分析；
步骤204：生成分析结果；
步骤205：提取所述分析结果中满足第一预设条件的目标信息；
其中，第一预设条件可以根据实际情况预先设定，本发明不做限定。作为一种方式，第一预设条件可以为确定分析结果中的关键词为截止到当前第一次出现的关键词，那么，可以提取所述分析结果中截止到当前第一次出现的关键词为目标信息。作为另一种方式，第一预设条件可以为确定分析结果中同一类别下所包含的句子超过预设数目，那么，可以从分析结果中提取出该类别下的句子作为目标信息。
步骤206：将所述目标信息发送给与所述目标信息所属业务系统对应的目标地址。
在本发明中，可以预先设定有与不同业务系统对应的目标地址，当确定了目标信息后，先确定所述目标信息所属业务系统，从而将该目标信息发送给与该业务系统对应的目标地址，进而使得该目标地址所属用户可以基于接收到的目标信息管理相应的业务系统。
在本实施例中，日志处理服务器与至少两个客户端相连，不同客户端所具有的业务系统不同，具体的，通过控制客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，并接收所述客户端所收集的系统日志，以按照预设的分析策略对所述系统日志进行分析，从而生成分析分析结果，由此可见，在本发明中，通过控制客户端采用统一的日志规范来收集系统日志，实现了对不同业务系统的系统日志的统一处理；
此外，由于能够通过日志处理器服务器实现对不同业务系统的系统体质的统一处理，因此，使得不同的业务系统无需单独处理系统日志，在一定程度上节约了由于针对每一业务系统实现单独处理所耗费的人力、物力。
本发明实施例三公开了一种系统日志的处理方法，如图3所示，该方法包括以下步骤：
步骤301：控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
步骤302：接收所述至少两个客户端收集的所述系统日志；
步骤303：按照预设的分析策略对所述系统日志进行分析；
步骤304：生成分析结果；
步骤305：当检测到第一用户采用第一用户标识登录到所述日志处理服务器时，确定所述第一用户标识的访问权限；
需说明的是，本发明并不对步骤305在哪一步之后执行进行限定，如果用户想要针对分析结果来进行相关系统日志的查看，那么，步骤305位于步骤304之后，但是，如果用户只是想针对客户端收集的系统日志进行相关系统日志的查看，则步骤305只要位于步骤302之后即可。
具体的，日志处理服务器可以提供标准的http服务，以便用户能够通过输入用户标识的方式，或输入用户标识和密码的方式登录到日志处理服务器的处理平台上。
当检测到第一用户采用第一用户标识登录到日志处理服务器上时，可以确定第一用户标识的访问权限，即第一用户只能访问该访问权限下的系统日志。
步骤306：接收到第一查询指令时，输出在所述访问权限下的与所述第一查询指令对应的系统日志。
例如，第一查询指令为按照日期从近到远的顺序输出包含用户输入的某一关键字的系统日志，那么，日志处理服务器则可以查找包含用户所输入的关键字的系统日志，并按照日期从近到远的顺序依次输出查找到系统日志。
当然，日志处理服务器还可以按照主机名、系统名称的排序方式输出相关的系统日志。
本发明还公开了一种系统日志的处理装置，该装置应用于日志处理服务器中，该日志处理服务器与至少两个客户端通讯。
其中，日志处理服务器可以具有与每一客户端通讯的数据通讯模块，以便实现与每一客户端的通讯。
每一客户端部署一业务系统，不同客户端所部署的业务系统不同。
本发明实施例四公开了一种系统日志的处理装置，如图4所示，该装置包括：第一控制模块401、第一接收模块402、第一分析模块403、以及第一生成模块404，其中：
第一控制模块401，用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
其中，第一控制模块，可以包括：第一分发单元和第一发送单元；具体的：
第一分发单元，用于将预设的日志规范信息分发到与所述日志服务器相连的客户端；
第一发送单元，用于定时与所述客户端进行通信，将携带有日志收集参数的控制指令发送给所述客户端，以使得所述客户端按照所述日志规范信息收集与所述日志收集参数对应的系统日志；
其中，所述日志收集参数包括日志路径和/或日志时间。
第一接收模块402，用于接收所述至少两个客户端收集的所述系统日志；
第一分析模块403，用于按照预设的分析策略对所述系统日志进行分析；
其中，第一分析模块，可以包括：第一分析单元，和/或，第二分析单元；具体的：
第一分析单元，用于按照所述分析策略对属于同一业务系统的系统日志进行分析；
第二分析单元，用于按照所述分析策略对属于不同业务系统的系统日志进行分析。
其中，第二分析单元具体可以用于确定不同业务系统间包含相同关键信息的系统日志；对所述包含相同关键信息的系统日志进行分析。
为了便于理解，以第一分析模块采用一具体分析策略对系统日志的分析进行简单说明，具体的：
第一分析模块按照预设的分析策略对所述系统日志进行分析，可以采用如下步骤：
1、利用句子拆分方将系统日志拆分为句子；
2、利用词组拆分方法将所述句子拆分为词组；
3、计算每个词组的TF*IDF向量；
其中，TF为词频，用于表征一个词组在系统日志中出现的次数；IDF为逆文档频率，IDF＝log(文档总数/(包含该词组的文档数+1))值；一个TF*IDF向量代表一个句子。
4、根据TFIDF向量计算余弦相似性，对TF*IDF向量进行K-Means聚类，从而将相似的系统日志信息归结在一起。
第一生成模块404，用于生成分析结果。
该分析结果可以供用户查看，具体的，该分析结果可以以系统日志汇总表的形式展现，该系统日志汇总表可以包括以下信息中的一种或多种：系统名、主机名、日志名、关键字、关键字出现的频度、与关键字相关的系统日志、时间戳。
基于上述分析策略，当将相似的系统日志信息归集到一起后，可以根据从聚类结果中提取出现频率较高的关键字，从而将该关键字信息作为分析结果的摘要，以帮助用户在大量的系统日志中快速定位自己想要的信息。
在本实施例中，日志处理服务器与至少两个客户端相连，不同客户端所具有的业务系统不同，具体的，通过控制客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，并接收所述客户端所收集的系统日志，以按照预设的分析策略对所述系统日志进行分析，从而生成分析分析结果，由此可见，在本发明中，通过控制客户端采用统一的日志规范来收集系统日志，实现了对不同业务系统的系统日志的统一处理。
本发明实施例五公开了一种系统日志的处理装置，如图5所示，该装置包括：第一控制模块501、第一接收模块502、第一分析模块503、第一生成模块504、第一提取模块505以及第一发送模块506；其中：
第一控制模块501，用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
第一接收模块502，用于接收所述至少两个客户端收集的所述系统日志；
第一分析模块503，用于按照预设的分析策略对所述系统日志进行分析；
第一生成模块504，用于生成分析结果；
第一提取模块505，用于提取所述分析结果中满足第一预设条件的目标信息；
第一发送模块506，用于将所述目标信息发送给与所述目标信息所属业务系统对应的目标地址。
在本发明中，可以预先设定有与不同业务系统对应的目标地址，当确定了目标信息后，先确定所述目标信息所属业务系统，从而将该目标信息发送给与该业务系统对应的目标地址，进而使得该目标地址所属用户可以基于接收到的目标信息管理相应的业务系统。
在本实施例中，日志处理服务器与至少两个客户端相连，不同客户端所具有的业务系统不同，具体的，通过控制客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，并接收所述客户端所收集的系统日志，以按照预设的分析策略对所述系统日志进行分析，从而生成分析分析结果，由此可见，在本发明中，通过控制客户端采用统一的日志规范来收集系统日志，实现了对不同业务系统的系统日志的统一处理；
此外，由于能够通过日志处理器服务器实现对不同业务系统的系统体质的统一处理，因此，使得不同的业务系统无需单独处理系统日志，在一定程度上节约了由于针对每一业务系统实现单独处理所耗费的人力、物力。
本发明实施例六公开了一种系统日志的处理装置，如图6所示，该装置包括：第一控制模块601、第一接收模块602、第一分析模块603、第一生成模块604、检测确定模块605以及接收输出模块606；其中：
第一控制模块601，用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；
第一接收模块602，用于接收所述至少两个客户端收集的所述系统日志；
第一分析模块603，用于按照预设的分析策略对所述系统日志进行分析；
第一生成模块604，用于生成分析结果；
检测确定模块605，用于当检测到第一用户采用第一用户标识登录到所述日志处理服务器时，确定所述第一用户标识的访问权限；
接收输出模块606，用于接收到第一查询指令时，输出在所述访问权限下的与所述第一查询指令对应的系统日志。
本发明实施例七还公开了一种系统日志的处理系统，如图7所示，包括：日志处理服务器100、客户端2001～200N，其中，N大于等于2。其中，每一客户端部署一业务系统，不同客户端所部署的业务系统不同。
日志处理服务器100分别与客户端2001～200N进行通讯，具体的，日志处理服务器100用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，接收所述至少两个客户端收集的所述系统日志，按照预设的分析策略对所述系统日志进行分析；生成分析结果。
其中，日志处理服务器的其他实现方式可参照上述方法实施例，在此不再详细说明。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种系统日志的处理方法，其特征在于，应用于日志处理服务器中，所述日志处理服务器与至少两个客户端通讯，不同客户端所部署的业务系统不同，所述业务系统用于处理业务交易；
该方法包括：
控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；其中，所述控制所述客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，包括：将预设的日志规范信息分发到与所述日志服务器相连的客户端；定时与所述客户端进行通信，将携带有日志收集参数的控制指令发送给所述客户端，以使得所述客户端按照所述日志规范信息收集与所述日志收集参数对应的系统日志；其中，所述日志收集参数包括日志路径和/或日志时间；
接收所述至少两个客户端收集的所述系统日志；
按照预设的分析策略对所述系统日志进行分析；
生成分析结果。
2.根据权利要求1所述的方法，其特征在于，所述按照预设的分析策略多所述系统日志进行分析，包括：
按照所述分析策略对属于同一业务系统的系统日志进行分析；
和/或，按照所述分析策略对属于不同业务系统的系统日志进行分析。
3.根据权利要求2所述的方法，其特征在于，所述按照所述分析策略对属于不同业务系统的系统日志进行分析，包括：
确定不同业务系统间包含相同关键信息的系统日志；
对所述包含相同关键信息的系统日志进行分析。
4.根据权利要求1所述的方法，其特征在于，所述生成分析结果之后，还包括：
提取所述分析结果中满足第一预设条件的目标信息；
将所述目标信息发送给与所述目标信息所属业务系统对应的目标地址。
5.根据权利要求1所述的方法，其特征在于，所述接收所述客户端收集的系统日志之后，还包括：
当检测到第一用户采用第一用户标识登录到所述日志处理服务器时，确定所述第一用户标识的访问权限；
接收到第一查询指令时，输出在所述访问权限下的与所述第一查询指令对应的系统日志。
6.一种系统日志的处理装置，其特征在于，应用于日志处理服务器中，所述日志处理服务器与至少两个客户端通讯，不同客户端所部署的业务系统不同，所述业务系统用于处理业务交易；
该装置包括：
第一控制模块，用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志；所述第一控制模块，包括：第一分发单元，用于将预设的日志规范信息分发到与所述日志服务器相连的客户端；第一发送单元，用于定时与所述客户端进行通信，将携带有日志收集参数的控制指令发送给所述客户端，以使得所述客户端按照所述日志规范信息收集与所述日志收集参数对应的系统日志；其中，所述日志收集参数包括日志路径和/或日志时间；
第一接收模块，用于接收所述至少两个客户端收集的所述系统日志；
第一分析模块，用于按照预设的分析策略对所述系统日志进行分析；
第一生成模块，用于生成分析结果。
7.根据权利要求6所述的装置，其特征在于，所述第一分析模块，包括：
第一分析单元，用于按照所述分析策略对属于同一业务系统的系统日志进行分析；
和/或，第二分析单元，用于按照所述分析策略对属于不同业务系统的系统日志进行分析。
8.根据权利要求7所述的装置，其特征在于，所述第二分析单元具体用于确定不同业务系统间包含相同关键信息的系统日志；对所述包含相同关键信息的系统日志进行分析。
9.根据权利要求6所述的装置，其特征在于，还包括：
第一提取模块，用于提取所述分析结果中满足第一预设条件的目标信息；
第一发送模块，用于将所述目标信息发送给与所述目标信息所属业务系统对应的目标地址。
10.根据权利要求6所述的装置，其特征在于，还包括：
检测确定模块，用于当检测到第一用户采用第一用户标识登录到所述日志处理服务器时，确定所述第一用户标识的访问权限；
接收输出模块，用于接收到第一查询指令时，输出在所述访问权限下的与所述第一查询指令对应的系统日志。
11.一种系统日志的处理系统，其特征在于，包括：
至少两个客户端，不同客户端所部署的业务系统不同，所述业务系统用于处理业务交易；
与所述至少两个客户端通讯的日志处理服务器，其中，所述日志处理服务器用于控制所述至少两个客户端按照统一的日志规范，收集与预设的日志收集参数对应的系统日志，接收所述至少两个客户端收集的所述系统日志，按照预设的分析策略对所述系统日志进行分析；生成分析结果；其中，所述日志处理服务器具体用于将预设的日志规范信息分发到与所述日志服务器相连的客户端；定时与所述客户端进行通信，将携带有日志收集参数的控制指令发送给所述客户端，以使得所述客户端按照所述日志规范信息收集与所述日志收集参数对应的系统日志；其中，所述日志收集参数包括日志路径和/或日志时间。
CN201510796402.1A 2015-11-18 2015-11-18 一种系统日志的处理方法、装置和系统 Active CN105471635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510796402.1A CN105471635B (zh) 2015-11-18 2015-11-18 一种系统日志的处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510796402.1A CN105471635B (zh) 2015-11-18 2015-11-18 一种系统日志的处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN105471635A CN105471635A (zh) 2016-04-06
CN105471635B true CN105471635B (zh) 2019-05-31

Family

ID=55608949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510796402.1A Active CN105471635B (zh) 2015-11-18 2015-11-18 一种系统日志的处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN105471635B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209466A (zh) * 2016-07-21 2016-12-07 柳州龙辉科技有限公司 一种系统日志处理方法
CN106411582A (zh) * 2016-09-20 2017-02-15 上海爱数信息技术股份有限公司 服务器的系统日志的收集方法、系统及服务器
CN106372859A (zh) * 2016-09-20 2017-02-01 中国银联股份有限公司 定时任务控制分析方法及系统、主控服务器
CN106657408A (zh) * 2017-02-24 2017-05-10 深圳市中博睿存信息技术有限公司 一种跨平台日志收集处理框架
CN106817262A (zh) * 2017-03-01 2017-06-09 郑州云海信息技术有限公司 一种日志分析装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257399A (zh) * 2007-12-29 2008-09-03 中国移动通信集团四川有限公司 业务系统统一安全平台
CN103412893A (zh) * 2013-07-24 2013-11-27 广东电子工业研究院有限公司 一种日志收集系统及其收集方法
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN103856354A (zh) * 2014-03-07 2014-06-11 浪潮电子信息产业股份有限公司 一种集群存储系统日志统一管理实现方法
CN104391781A (zh) * 2014-10-24 2015-03-04 苏州阔地网络科技有限公司 一种日志信息的处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257399A (zh) * 2007-12-29 2008-09-03 中国移动通信集团四川有限公司 业务系统统一安全平台
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN103412893A (zh) * 2013-07-24 2013-11-27 广东电子工业研究院有限公司 一种日志收集系统及其收集方法
CN103856354A (zh) * 2014-03-07 2014-06-11 浪潮电子信息产业股份有限公司 一种集群存储系统日志统一管理实现方法
CN104391781A (zh) * 2014-10-24 2015-03-04 苏州阔地网络科技有限公司 一种日志信息的处理方法及系统

Also Published As

Publication number Publication date
CN105471635A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105471635B (zh) 一种系统日志的处理方法、装置和系统
CN109040252B (zh) 文件传输方法、系统、计算机设备和存储介质
Mizutani Incremental mining of system log format
US9591007B2 (en) Detection of beaconing behavior in network traffic
CN101605074B (zh) 基于网络通讯行为特征监测木马的方法与系统
CN110855676B (zh) 网络攻击的处理方法、装置及存储介质
CN106941493B (zh) 一种网络安全态势感知结果输出方法及装置
KR20170060280A (ko) 탐지 규칙 자동 생성 장치 및 방법
CN103701783B (zh) 一种预处理单元、由其构成的数据处理系统以及处理方法
CN101635718A (zh) 网络爬虫系统及其获取资源的方法和网络资源抓取装置
CN103618652A (zh) 一种业务数据的审计和深度分析系统及其方法
CN106104498B (zh) 信息处理系统、数据处理控制方法、程序和记录介质
CN106411650B (zh) 一种分布式安全保密检查方法
JP2006302170A (ja) ログ管理方法及び装置
CN106104550A (zh) 网站信息提取装置、系统、网站信息提取方法以及网站信息提取程序
CN109189749A (zh) 文件同步方法及终端设备
US10775751B2 (en) Automatic generation of regular expression based on log line data
US20180316702A1 (en) Detecting and mitigating leaked cloud authorization keys
CN106034113A (zh) 数据处理方法及装置
US20190104139A1 (en) Generation of malware traffic signatures using natural language processing by a neural network
CN105550179A (zh) 一种网页收藏方法和浏览器插件
EP3151124A1 (en) On-board information system and information processing method therefor
CN110362993A (zh) 恶意进程识别方法、终端、服务器、系统及存储介质
CN105184559B (zh) 一种支付系统及方法
CN110633120A (zh) 组态软件控件处理方法、装置、服务器、用户终端及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant