CN107870842B - 一种日志管理方法及系统 - Google Patents

一种日志管理方法及系统 Download PDF

Info

Publication number
CN107870842B
CN107870842B CN201610859020.3A CN201610859020A CN107870842B CN 107870842 B CN107870842 B CN 107870842B CN 201610859020 A CN201610859020 A CN 201610859020A CN 107870842 B CN107870842 B CN 107870842B
Authority
CN
China
Prior art keywords
log
application
rule
filing
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610859020.3A
Other languages
English (en)
Other versions
CN107870842A (zh
Inventor
宋发贤
李渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201610859020.3A priority Critical patent/CN107870842B/zh
Publication of CN107870842A publication Critical patent/CN107870842A/zh
Application granted granted Critical
Publication of CN107870842B publication Critical patent/CN107870842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种日志管理方法及系统,该方法包括:管理服务器向选定的应用服务器发送定时归档任务,每一所述定时归档任务与一个所述应用服务器一一对应;所述应用服务器根据所述定时归档任务中的归档规则选定应用的日志文件;所述应用服务器将选定的应用的日志文件打包以形成日志文件包;所述应用服务器将所述日志文件包发送给日志服务器;所述日志服务器存储接收的所述日志文件包。本发明实施例还公开了一种系统。本发明实施例能够将分散在多个应用服务器上的日志文件统一收集并归档存储在日志服务器上,从而实现对不同应用服务器上的日志文件进行统一、高效管理。

Description

一种日志管理方法及系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种日志管理方法及系统。
背景技术
随着应用服务器的大规模使用如少则十几台多则上百台,运行在应用服务器上的应用将产生大量的日志文件,目前这些应用的日志文件仍分散在各自的应用服务器上,从而致使日志文件的管理面临了极大的挑战。
发明内容
本发明实施例提供一种日志管理方法及系统,能够实现对不同应用服务器上日志文件进行统一、高效管理。
第一方面,本发明实施例提供了一种日志管理方法,该方法包括:管理服务器向选定的应用服务器发送定时归档任务,每一所述定时归档任务与一个所述应用服务器一一对应;所述应用服务器根据所述定时归档任务中的归档规则选定应用的日志文件;所述应用服务器将选定的应用的日志文件打包以形成日志文件包;所述应用服务器将所述日志文件包发送给日志服务器;所述日志服务器存储接收的所述日志文件包。
另一方面,本发明实施例提供了一种系统,该系统包括:所述系统包括管理服务器、应用服务器、以及日志服务器;所述管理服务器包括第一发送单元,所述第一发送单元用于向选定的应用服务器发送定时归档任务,每一所述定时归档任务与一个所述应用服务器一一对应;所述应用服务器包括选定单元、打包单元、及第二发送单元,其中:所述选定单元用于根据所述定时归档任务中的归档规则选定应用的日志文件;所述打包单元用于将选定的应用的日志文件打包以形成日志文件包;所述第二发送单元用于将所述日志文件包发送给日志服务器;所述日志服务器包括存储单元,所述存储单元用于存储接收的所述日志文件包。
本发明实施例通过管理服务器向选定的应用服务器发送定时归档任务,应用服务器根据该定时归档任务中的归档规则选定应用的日志文件,并将选定的应用的日志文件打包以形成日志文件包,然后将日志文件包发送给日志服务器,并由日志服务器存储接收的该日志文件。本发明实施例藉由管理服务器向多个应用服务器发送定时归档任务,以使每一个应用服务器将各自的日志文件发送给日志服务器进行存储,从而将分散在多个应用服务器上的日志文件统一收集并归档存储在日志服务器上,从而实现对不同应用服务器上的日志文件进行统一、高效管理。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种日志管理方法的示意流程图;
图2是图1中步骤S102的子流程示意图;
图3是本发明另一实施例提供的一种日志管理方法的示意流程图;
图4是本发明实施例提供的一种系统的示意性框图;
图5是图4中选定单元的示意性框图;
图6是本发明另一实施例提供的一种系统的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
参见图1,是本发明实施例提供的一种日志管理方法的示意流程图。该系统包括管理服务器、应用服务器、以及日志服务器,且管理服务器、应用服务器、以及日志服务器中的任意两者之间均可进行通讯连接。如图所示,该日志管理方法包括步骤S101~S105。
S101,管理服务器向选定的应用服务器发送定时归档任务,每一所述定时归档任务与一个所述应用服务器一一对应。
具体地,在本发明实施例中,管理服务器作为前端设备与用户进行交互。该定时归档任务是由管理服务器根据用户输入的归档规则而生成的。该定时归档任务可包括预设归档时间及归档规则。该预设归档时间优选为由用户设置的时间,如可将预设归档时间设置为凌晨1点,即管理服务器在每天的凌晨1点时将向应用服务器发送该定时归档任务。可以理解地,预设归档时间也可以由管理服务器跟随当前日期而自行更新设置。
该归档规则优选为是用户在管理服务器的交互界面上进行设置的,且该定时归档任务与应用服务器一一对应,即每一个应用服务器对应有自己的定时归档任务,且不同应用服务器的定时归档任务可以不同。该归档规则可包括待归档应用的名称、是否需要标注主机名、归档目录、日志目录、预设文件格式、归档方式、搜索条件、及预设时间间隔。其中,该待归档应用的名称用于标识在应用服务器上的需要被归档的应用,且该应用与名称一一对应,如应用的名称可使用数字编号进行标记,以便识别不同应用服务器上运行的同一应用以及区分在同一应用服务器上的不同应用,此处可设置多个应用的名称以表明有多个应用需要被归档。该主机名用于将来自不同应用服务器的同一应用进行区分,如在多个应用服务器上同时安装了同一个应用,这时就需要该应用通过主机名进行区分。该归档目录为在应用服务器上将应用对应的日志文件进行打包处理后统一放置的路径。由于每一个应用运行时均会产生日志文件,而不同应用的日志文件均统一放置在该日志目录下,从而便于查找不同应用对应的日志文件。预设文件格式为从某一个应用的日志文件中选择指定格式的日志文件进行归档,预设时间间隔为预设归档时间如凌晨1点与该日志文件生成时间之间的时间差,通过预设文件格式和预设时间间隔实现该应用对应的多个日志文件的筛选和过滤。在本发明实施例中,日志归档方式分为集合归档和单独归档两种方式。搜索条件分为深度搜索和非深度搜索,深度搜索用于标明在某一个应用对应的当前目录中的所有子目录中进行搜索并选择日志文件,非深度搜索用于标明在某一个应用对应的当前的目录中搜索并选择日志文件。
需要说明的是,每一定时归档任务与一个应用服务器一一对应,管理服务器可通过向多个应用服务器发送与之相对应的定时归档任务,从而提高日志归档效率。
S102,所述应用服务器根据所述定时归档任务中的归档规则选定应用的日志文件。
具体地,该定时归档任务中的归档规则在上述步骤S101中已经阐述,此处不再赘述。当管理服务器向选定的应用服务器发送定时归档任务之后,应用服务器根据该归档规则选定该应用对应的日志文件。
参照图2,是步骤S102的子流程示意图。如图所示,步骤S102包括步骤S201~S205。
S201,判断所述归档规则是否为集合归档规则或单独归档规则。
具体地,在本发明实施例中,由于日志归档方式分为集合归档和单独归档两种方式,且集合归档方式对应集合归档规则,单独归档方式对应单独归档规则。因此,在应用服务器接收到来自管理服务器的定时归档任务后需要确认该定时归档任务中的归档规则为集合归档规则或单独归档规则,从而便于应用服务器根据确定的归档方式进行对应的处理。
需要说明的是,由于用户通过管理服务器使用指令设置了对应的归档方式,因此可通过提取该指令中归档方式中设置的内容即可判断采取的归档方式,从而确定与该归档方式对应的归档规则。
S202,若所述归档规则为集合归档规则,根据日志目录中的所有子目录确定多个待归档的应用,每一个所述子目录与所述应用一一对应。
具体地,集合归档是指一次归档操作中包含同一应用服务器上的多个应用对应的日志文件,即每次对多个应用对应的日志文件进行归档处理。当用户想要在应用服务器同时将多个应用对应的日志文件进行归档时,可在管理服务器上设置归档规则时进行设置。由于应用服务器中每一个应用运行时产生的日志文件均放置在该日志目录下,且对应每一个应用对应一个子目录。因此,可根据日志目录下对应的子目录来确定该待归档的应用。
S203,根据所述集合归档规则中的第一搜索条件在所述应用所对应的子目录下搜索出符合第一预设条件的日志文件。
具体地,该第一搜索条件用于标识搜索方式,且第一搜索条件可设置深度搜索或非深度搜索中的任一种,当第一搜素条件设置为深度搜索时,则表明在每一个应用对应的子目录中进行多级搜索,即从当前子目录一直搜索到该子目录中所包含的所有的从属目录。当第一搜素条件设置为非深度搜索时,则表明在每一个应用对应的子目录中进行一级搜索,即从当前子目录中进行搜索。在本发明实施例中,第一预设条件包括预设文件格式和预设时间间隔,由于在步骤S101中已经阐述,故此处不再赘述。通过集合归档规则中的第一搜索条件在多个应用各自所对应的子目录下搜索出符合第一预设条件的日志文件,从而实现在同一应用服务器中同时查找多个不同应用对应的日志文件功能,且能够提高日志归档效率。
S204,若所述归档规则为单独归档规则,根据日志目录中的唯一子目录确定待归档的应用,所述子目录与所述应用一一对应。
具体地,单独归档是指在一次归档操作中包含一个应用服务器上的一个应用对应的日志文件,即每次对一个应用对应的日志文件进行归档处理。当用户想要在应用服务器将一个应用对应的日志文件进行归档时,可在管理服务器上设置归档规则时进行设置。由于应用服务器中每一个应用运行时产生的日志文件均放置在该日志目录下,且对应每一个应用对应一个子目录。因此,若归档规则为单独归档规则,可根据日志目录中的唯一子目录确定待归档的应用。
S205,根据所述单独归档规则中的第二搜索条件在所述应用所对应的子目录下搜索出符合第二预设条件的日志文件。
具体地,在本发明实施例中,第二搜索条件与第一搜索条件相同,第二预设条件与第一预设条件相同,故此处不在赘述。
S103,所述应用服务器将选定的应用的日志文件打包以形成日志文件包。
具体地,为了将应用服务器中选定的应用对应的日志文件快送传送到日志服务器,在本发明实施例中,将选定的应用的日志文件打包以形成日志文件包,一方面能够加快从应用服务器到日志服务器的传送速度,节约日志归档时间,另一方面,在日志服务器上进行储存时也能够节约磁盘空间。可以理解地,可将该日志文件打包成如.ZIP或.RAR格式的日志文件包。
S104,所述应用服务器将所述日志文件包发送给日志服务器。
具体地,将步骤S103打包完成之后的日志文件,以日志文件包的形式发送给日志服务器。在一些实施方式中,为了减少应用服务器的磁盘空间压力,在该日志文件包发送成功之后,可设置将该日志文件包进行清除。
S105,所述日志服务器存储接收的所述日志文件包。
具体地,在步骤S104应用服务器将所述日志文件包发送给日志服务器之后,该日志服务器将存储接收的该日志文件包。其中,存储的规则可以是每一个日志文件包的来源即按照不同的应用服务器进行对应的存储,当然也可以按照不同的应用进行储存即将来源于不同应用服务器上的同一应用对应的日志文件进行对应存储,还可以如按照接收的日志文件包的时间进行存储或者按照不同日志文件包的命名的优选顺序进行存储,此处不作限定。
本发明实施例通过管理服务器向选定的应用服务器发送定时归档任务,应用服务器根据该定时归档任务中的归档规则选定应用的日志文件,并将选定的应用的日志文件打包以形成日志文件包,然后将日志文件包发送给日志服务器,并由日志服务器存储接收的该日志文件包。本发明实施例藉由管理服务器向多个应用服务器发送定时归档任务,以使每一个应用服务器将各自的日志文件发送给日志服务器进行存储,从而将分散在多个应用服务器上的日志文件统一收集并归档存储在日志服务器上,从而实现对不同应用服务器上的日志文件进行统一、高效管理。
参见图3,是本发明另一实施例提供的一种日志管理方法的示意流程图。如图所示,该系统包括步骤S301~S308。
S301,管理服务器向选定的应用服务器发送定时归档任务,每一所述定时归档任务与一个所述应用服务器一一对应。
S302,所述应用服务器根据所述定时归档任务中的归档规则选定应用的日志文件。
S303,所述应用服务器将选定的应用的日志文件打包以形成日志文件包。
S304,所述应用服务器将所述日志文件包发送给日志服务器。
S305,所述日志服务器存储接收的所述日志文件包。
步骤S303~S305同上,此处不再赘述。
S306,所述日志管理器解析所述日志文件包以得到所述应用的日志文件。
具体地,在本发明实施例中,为了便于用户提取日志服务器中接收的应用的日志文件,需要将接收的日志文件进行解析以得到应用的多个日志文件。
S307,所述日志管理器根据所述应用的日志文件的产生时间将预设数量的日志文件推送给所述管理服务器。
具体地,在本发明实施例中,应用的日志文件是伴随应用在应用服务器上的运行而产生的,这些日志文件可配置标识名称、产生时间、及日志类型等,其中标识名称是日志文件的名称或标识码,产生时间是根据应用在应用服务器上的运行状况而生成的,且应用服务器会自动记录该日志文件的产生时间;日志类型可以包括如警报日志及普通日志,警报日志可以是根据预设规则需要进行用户提醒的日志文件,即当应用服务器中出现警报日志后,可以通过发出报警声或者反馈给管理服务器以提醒用户查看该警报日志。该警报日志可以是与运行安全、故障等相关的日志文件。优选地,在本发明实施例中,根据应用的日志文件的产生时间来选择预设数量的日志文件并将选定的日志文件推送给管理服务器。其中,预设数量为在日志服务器上预先设置的选定的日志文件的数量,如可以是10个或7个等。优选为根据产生时间距离当前时间最近的日志文件开始选取预设数量的日志文件进行推送。
S308,所述管理服务器显示推送的所述日志文件。
具体地,在本发明实施例中,在步骤S307日志管理器根据应用的日志文件的产生时间将预设数量的日志文件推送给管理服务器之后,管理服务器在交互界面上显示推送的日志文件,以便于用户查看最新的日志文件。需要说明的是,当用户想要查看的日志文件不在管理服务器的显示界面上时,可以通过管理服务器上的搜索框来搜索某个应用的标识来查看该应用的日志文件。
本发明实施例通过管理服务器向选定的应用服务器发送定时归档任务,应用服务器根据该定时归档任务中的归档规则选定应用的日志文件,并将选定的应用的日志文件打包以形成日志文件包,然后将日志文件包发送给日志服务器,并由日志服务器存储接收的该日志文件包,日志服务器通过将解压日志文件包,并根据日志文件的产生时间从中选取预设数量的日志文件并推送给管理服务器,该管理服务器显示接收的日志文件。本发明实施例藉由管理服务器向多个应用服务器发送定时归档任务,以使每一个应用服务器将各自的日志文件发送给日志服务器进行存储,从而将分散在多个应用服务器上的日志文件统一收集并归档存储在日志服务器上,且通过日志服务器将预设数量的日志文件推送到管理服务器以使管理服务器显示该推送的日志文件,从而便于用户查看最近的日志文件,以及实现对不同应用服务器上的日志文件进行统一、高效管理。
参照图4,是本发明实施例提供的一种系统的示意框图。如图所示的本实施例中的系统40包括管理服务器41、应用服务器42、及日志服务器43,其中:
管理服务器41包括第一发送单元410,该第一发送单元410用于向选定的应用服务器42发送定时归档任务,每一所述定时归档任务与一个所述应用服务器42一一对应。
管理服务器41作为前端设备与用户进行交互。该定时归档任务是由管理服务器41根据用户输入的归档规则之后生成的。该定时归档任务可包括预设归档时间及归档规则。该预设归档时间优选为由用户设置的时间,如可将预设归档时间设置为凌晨1点,即管理服务器在每天的凌晨1点时将向应用服务器发送该定时归档任务。可以理解地,预设归档时间也可以由管理服务器41跟随当前日期而自行更新设置。该归档规则优选为是用户在管理服务器41的交互界面上进行设置的,且该定时归档任务与应用服务器42一一对应,即每一个应用服务器42对应有自己的定时归档任务,且不同应用服务器42的定时归档任务可以不同。
进一步地,管理服务器41还包括生成单元411,该生成单元411用于根据接收的用户输入的规则设置生成所述归档规则。
应用服务器42包括选定单元420、打包单元421、及第二发送单元422,其中:
选定单元420用于根据所述定时归档任务中的归档规则选定应用的日志文件。
打包单元421元用于将选定的应用的日志文件打包以形成日志文件包。
第二发送单元422用于将所述日志文件包发送给日志服务器。
进一步地,参照图5,是选定单元的示意性框图。如图所示,该选定单元420包括判断单元4200、确定单元4201、及搜索单元4202,其中:
判断单元4200用于判断所述归档规则是否为集合归档规则或单独归档规则。具体地,在本发明实施例中,由于日志归档方式分为集合归档和单独归档两种方式,且集合归档方式对应集合归档规则,单独归档方式对应单独归档规则,因此,在应用服务器42接收到来自管理服务器41的定时归档任务后需要确认该定时归档任务中的归档规则为集合归档规则或单独归档规则,从而便于应用服务器42根据确定的归档方式进行对应的处理。
需要说明的是,由于用户通过管理服务器41使用指令设置了对应的归档方式,因此可通过提取该指令中归档方式中设置的内容即可判断采取的归档方式,从而确定与该归档方式对应的归档规则。
确定单元4201用于若所述归档规则为集合归档规则,根据日志目录中的所有子目录确定多个待归档的应用,每一个所述子目录与所述应用一一对应。具体地,集合归档是指一次归档操作中包含同一应用服务器42上的多个应用对应的日志文件,即每次对多个应用对应的日志文件进行归档处理。当用户想要在应用服务器42同时将多个应用对应的日志文件进行归档时,可在管理服务器41上设置归档规则时进行设置。由于应用服务器42中每一个应用运行时产生的日志文件均放置在该日志目录下,且对应每一个应用对应一个子目录。因此,可根据日志目录下对应的子目录来确定该待归档的应用。
搜索单元4202用于根据所述集合归档规则中的第一搜索条件在所述应用所对应的子目录下搜索出符合第一预设条件的日志文件。
具体地,该第一搜索条件用于标识搜索方式,且第一搜索条件可设置深度搜索或非深度搜索中的任一种。当第一搜素条件设置为深度搜索时,则表明在每一个应用对应的子目录中进行多级搜索,即从当前子目录一直搜索到该子目录中所包含的所有的从属目录。当第一搜素条件设置为非深度搜索时,则表明在每一个应用对应的子目录中进行一级搜索,即从当前子目录中进行搜索。在本发明实施例中,第一预设条件包括预设文件格式和预设时间间隔。通过集合归档规则中的第一搜索条件在多个应用各自所对应的子目录下搜索出符合第一预设条件的日志文件,从而实现在同一应用服务器42中同时查找多个不同应用对应的日志文件功能,且能够提高日志归档效率
确定单元4201还用于若所述归档规则为单独归档规则,根据日志目录中的唯一子目录确定待归档的应用,所述子目录与所述应用一一对应。具体地,单独归档是指在一次归档操作中包含一个应用服务器42上的一个应用对应的日志文件,即每次对一个应用对应的日志文件进行归档处理。当用户想要在应用服务器42将一个应用对应的日志文件进行归档时,可在管理服务器41上设置归档规则时进行设置。由于应用服务器42中每一个应用运行时产生的日志文件均放置在该日志目录下,且对应每一个应用对应一个子目录。因此,若归档规则为单独归档规则,可根据日志目录中的唯一子目录确定待归档的应用。
搜索单元4202还用于根据所述单独归档规则中的第二搜索条件在所述应用所对应的子目录下搜索出符合第二预设条件的日志文件。
日志服务器43包括存储单元430,该存储单元430用于存储接收的所述日志文件包。
本发明实施例通过管理服务器41向选定的应用服务器42发送定时归档任务,应用服务器42根据该定时归档任务中的归档规则选定应用的日志文件,并将选定的应用的日志文件打包以形成日志文件包,然后将日志文件包发送给日志服务器43,并由日志服务器43存储接收的该日志文件包。本发明实施例藉由管理服务器向多个应用服务器发送定时归档任务,以使每一个应用服务器将各自的日志文件发送给日志服务器进行存储,从而将分散在多个应用服务器上的日志文件统一收集并归档存储在日志服务器上,从而实现对不同应用服务器上的日志文件进行统一、高效管理。
参照图6,是本发明另一实施例提供的一种系统的示意框图。如图所示的本实施例中的系统50包括管理服务器51、应用服务器52、及日志服务器53,其中:
管理服务器51包括第一发送单元510,第一发送单元510用于向选定的应用服务器52发送定时归档任务,每一所述定时归档任务与一个所述应用服务器52一一对应。
应用服务器52包括选定单元520、打包单元521、及第二发送单元522,其中:
选定单元520用于根据所述定时归档任务中的归档规则选定应用的日志文件。
打包单元521用于将选定的应用的日志文件打包以形成日志文件包。
第二发送单元522用于将所述日志文件包发送给日志服务器。
日志服务器53包括存储单元531,存储单元531用于存储接收的所述日志文件包。
进一步地,日志服务器53还包括解析单元531、及推送单元532,其中:
解析单元531用于解析所述日志文件包以得到所述应用的日志文件。
推送单元532用于根据所述应用的日志文件的产生时间将预设数量的日志文件推送给所述管理服务器。
管理服务器51还包括显示单元511,所述显示单元511用于显示推送的所述日志文件。
本发明实施例通过管理服务器51向选定的应用服务器52发送定时归档任务,应用服务器52根据该定时归档任务中的归档规则选定应用的日志文件,并将选定的应用的日志文件打包以形成日志文件包,然后将日志文件包发送给日志服务器53,并由日志服务器53存储接收的该日志文件包,日志服务器53通过将解压日志文件包,并根据日志文件的产生时间从中选取预设数量的日志文件并推送给管理服务器51,该管理服务器51显示接收的日志文件。本发明实施例藉由管理服务器向多个应用服务器发送定时归档任务,以使每一个应用服务器将各自的日志文件发送给日志服务器进行存储,从而将分散在多个应用服务器上的日志文件统一收集并归档存储在日志服务器上,且通过日志服务器将预设数量的日志文件推送到管理服务器以使管理服务器显示该推送的日志文件,从而便于用户查看最近的日志文件,以及实现对不同应用服务器上的日志文件进行统一、高效管理。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的服务器和单元的具体工作过程,可以参考前述系统实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的服务器和系统,可以通过其它的方式实现。例如,以上所描述的装置设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置设备或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
本发明实施例系统中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例服务器中的单元可以根据实际需要进行合并、划分和删减。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上为发明的优选实施例,而非对发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进,凡在权利要求范围内所做的等同变化或修饰,均应落入发明的包含范围之内。

Claims (10)

1.一种日志管理方法,其特征在于,包括:
管理服务器向选定的应用服务器发送定时归档任务,每一所述定时归档任务与一个所述应用服务器一一对应;
所述应用服务器根据所述定时归档任务中的归档规则选定应用的日志文件,其中,所述归档规则包括待归档应用的名称、是否需要标注主机名、归档目录、日志目录、预设文件格式、归档方式、搜索条件及预设时间间隔;
所述应用服务器将选定的应用的日志文件打包以形成日志文件包;
所述应用服务器将所述日志文件包发送给日志服务器;
所述日志服务器存储接收的所述日志文件包,其中,存储的规则为将来源于不同应用服务器上的同一应用对应的日志文件进行对应存储。
2.如权利要求1所述的方法,其特征在于,所述归档规则是由管理服务器根据接收的用户输入的规则设置后而形成的。
3.如权利要求1所述的方法,其特征在于,所述归档规则分为集合归档规则和单独归档规则,所述应用服务器根据所述定时归档任务中的归档规则选定应用的日志文件包括:
判断所述归档规则是否为集合归档规则或单独归档规则;
若所述归档规则为集合归档规则,根据日志目录中的所有子目录确定多个待归档的应用,每一个所述子目录与所述应用一一对应;
根据所述集合归档规则中的第一搜索条件在所述应用所对应的子目录下搜索出符合第一预设条件的日志文件;
若所述归档规则为单独归档规则,根据日志目录中的唯一子目录确定待归档的应用,所述子目录与所述应用一一对应;
根据所述单独归档规则中的第二搜索条件在所述应用所对应的子目录下搜索出符合第二预设条件的日志文件。
4.如权利要求3所述的方法,其特征在于,所述第一搜索条件和所述第二搜索条件均为深度搜索或非深度搜索中的任一种,所述第一预设条件和所述第二预设条件均包括预设文件格式和预设时间间隔。
5.如权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
日志管理器解析所述日志文件包以得到所述应用的日志文件;
所述日志管理器根据所述应用的日志文件的产生时间将预设数量的日志文件推送给所述管理服务器;
所述管理服务器显示推送的所述日志文件。
6.一种日志管理系统,其特征在于,所述系统包括管理服务器、应用服务器、以及日志服务器;
所述管理服务器包括第一发送单元,所述第一发送单元用于向选定的应用服务器发送定时归档任务,每一所述定时归档任务与一个所述应用服务器一一对应;
所述应用服务器包括选定单元、打包单元及第二发送单元,其中:
所述选定单元用于根据所述定时归档任务中的归档规则选定应用的日志文件,其中,所述归档规则包括待归档应用的名称、是否需要标注主机名、归档目录、日志目录、预设文件格式、归档方式、搜索条件及预设时间间隔;
所述打包单元用于将选定的应用的日志文件打包以形成日志文件包;
所述第二发送单元用于将所述日志文件包发送给日志服务器;
所述日志服务器包括存储单元,所述存储单元用于存储接收的所述日志文件包,其中,存储的规则为将来源于不同应用服务器上的同一应用对应的日志文件进行对应存储。
7.如权利要求6所述的系统,其特征在于,所述管理服务器还包括生成单元,所述生成单元用于根据接收的用户输入的规则设置生成所述归档规则。
8.如权利要求6所述的系统,其特征在于,所述归档规则分为集合归档规则和单独归档规则,所述选定单元包括判断单元、确定单元及搜索单元,其中:
所述判断单元用于判断所述归档规则是否为集合归档规则或单独归档规则;
所述确定单元用于若所述归档规则为集合归档规则,根据日志目录中的所有子目录确定多个待归档的应用,每一个所述子目录与所述应用一一对应;
所述搜索单元用于根据所述集合归档规则中的第一搜索条件在所述应用所对应的子目录下搜索出符合第一预设条件的日志文件;
所述确定单元还用于若所述归档规则为单独归档规则,根据日志目录中的唯一子目录确定待归档的应用,所述子目录与所述应用一一对应;
所述搜索单元还用于根据所述单独归档规则中的第二搜索条件在所述应用所对应的子目录下搜索出符合第二预设条件的日志文件。
9.如权利要求8所述的系统,其特征在于,所述第一搜索条件和所述第二搜索条件均为深度搜索或非深度搜索中的任一种,以及将所述第一预设条件和所述第二预设条件均包括预设文件格式和预设时间间隔。
10.如权利要求6-9任一项所述的系统,其特征在于,所述日志服务器还包括解析单元及推送单元,其中:
所述解析单元用于解析所述日志文件包以得到所述应用的日志文件;
所述推送单元用于根据所述应用的日志文件的产生时间将预设数量的日志文件推送给所述管理服务器;
所述管理服务器还包括显示单元,所述显示单元用于显示推送的所述日志文件。
CN201610859020.3A 2016-09-28 2016-09-28 一种日志管理方法及系统 Active CN107870842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610859020.3A CN107870842B (zh) 2016-09-28 2016-09-28 一种日志管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610859020.3A CN107870842B (zh) 2016-09-28 2016-09-28 一种日志管理方法及系统

Publications (2)

Publication Number Publication Date
CN107870842A CN107870842A (zh) 2018-04-03
CN107870842B true CN107870842B (zh) 2021-05-04

Family

ID=61761298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610859020.3A Active CN107870842B (zh) 2016-09-28 2016-09-28 一种日志管理方法及系统

Country Status (1)

Country Link
CN (1) CN107870842B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377481B (zh) * 2019-06-19 2022-06-28 深圳壹账通智能科技有限公司 日志管理方法、装置、设备及存储介质
CN110995836A (zh) * 2019-11-29 2020-04-10 安徽江淮汽车集团股份有限公司 基于车联网平台的日志管理方法、设备、存储介质及装置
CN111444155B (zh) * 2020-04-15 2024-02-02 中国银行股份有限公司 日志文本的处理方法、装置、电子设备及计算机存储介质
CN112015746B (zh) * 2020-08-27 2022-04-29 北京字节跳动网络技术有限公司 数据实时处理方法、装置、介质和电子设备
CN113420003A (zh) * 2021-06-30 2021-09-21 中国航空油料有限责任公司 一种数据交互日志的处理方法、装置、设备及介质
CN113722018A (zh) * 2021-09-16 2021-11-30 中国银行股份有限公司 Jboss缓存清理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044482A (zh) * 2004-10-25 2007-09-26 国际商业机器公司 基于实体的可配置数据归档管理系统和方法
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN103973486A (zh) * 2014-04-29 2014-08-06 上海上讯信息技术股份有限公司 一种基于b/s结构的日志管理系统
CN104978438A (zh) * 2015-07-23 2015-10-14 上海斐讯数据通信技术有限公司 基于日志的实时分析方法及系统
WO2015183316A1 (en) * 2014-05-30 2015-12-03 Hewlett-Packard Development Company, L. P. Partially sorted log archive
CN105656706A (zh) * 2014-11-14 2016-06-08 北京通达无限科技有限公司 业务数据的处理方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780726B (zh) * 2011-05-13 2016-12-07 国网山东省电力公司蒙阴县供电公司 一种基于web平台的日志分析方法及系统
CN102279891A (zh) * 2011-09-02 2011-12-14 深圳中兴网信科技有限公司 一种并行搜索it日志的检索方法、装置及系统
CN103532754B (zh) * 2013-10-12 2016-08-17 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
JP6446285B2 (ja) * 2015-02-16 2018-12-26 株式会社日立システムズ マルチベンダサーバ機器のリモートログ収集システムおよび方法
CN105577431A (zh) * 2015-12-11 2016-05-11 青岛云成互动网络有限公司 一种基于互联网应用的用户信息识别分类方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044482A (zh) * 2004-10-25 2007-09-26 国际商业机器公司 基于实体的可配置数据归档管理系统和方法
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN103973486A (zh) * 2014-04-29 2014-08-06 上海上讯信息技术股份有限公司 一种基于b/s结构的日志管理系统
WO2015183316A1 (en) * 2014-05-30 2015-12-03 Hewlett-Packard Development Company, L. P. Partially sorted log archive
CN105656706A (zh) * 2014-11-14 2016-06-08 北京通达无限科技有限公司 业务数据的处理方法及设备
CN104978438A (zh) * 2015-07-23 2015-10-14 上海斐讯数据通信技术有限公司 基于日志的实时分析方法及系统

Also Published As

Publication number Publication date
CN107870842A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107870842B (zh) 一种日志管理方法及系统
CN111046011B (zh) 日志收集方法、系统、装置、电子设备及可读存储介质
CN103078945B (zh) 对浏览器崩溃数据进行处理的方法与系统
CN107870849B (zh) 测试日志的处理方法和装置
CN103917960A (zh) 存储装置和副本数据检测方法
CN103593613A (zh) 用于计算机病毒检测的方法、终端、服务器和系统
CN105306300A (zh) 网络集群实时监控方法和系统
CN105144155A (zh) 可视地表示多源数据的查询
JP2006260056A (ja) 統合運用管理サーバ、統合的な運用管理のためのメッセージの抽出方法、及び、プログラム
CN111106965A (zh) 用于复杂系统的日志智能分析方法、工具、设备及介质
CN113032252A (zh) 埋点数据的收集方法、装置、客户端设备和存储介质
CN112069049A (zh) 数据监控管理方法、装置、服务器及可读存储介质
CN108090186A (zh) 一种大数据平台上的电力数据去重方法
CN112714118B (zh) 网络流量检测方法和装置
CN104539449B (zh) 一种故障信息处理方法与相关装置
CN111177566B (zh) 一种信息处理方法、装置、电子设备及存储介质
CN113312321A (zh) 一种业务量的异常监测方法及相关设备
CN112486911A (zh) 机器人运行数据收集管理方法、装置、存储介质及终端
CN108959657B (zh) 一种数据变更处理方法及装置
CN110971291A (zh) 一种增加关键信息的无人机数据通信方法、装置及系统
CN107977440B (zh) 一种解析数据文件的方法、装置和系统
JP2012208565A (ja) ログ管理方法、ログ管理装置、及びプログラム
CN114640567A (zh) Apache日志的分析方法及装置
CN104281503A (zh) 一种数据备份方法以及相关系统
CN113094088A (zh) 数据库配置信息采集方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant