CN109309579A - 日志记录处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种日志记录处理方法、装置、计算机设备和存储介质。所述方法包括：获取终端进行网络访问的日志记录；将所述日志记录写入多个日志文件，每个所述日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同；并行从所述多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息；将所述日志信息按相应的预设信息类别对应存储至日志数据库；对所述日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找；当查找到所述报警关键词时，触发相应的报警信息。采用本方法能够提高网络访问异常的处理效率。

Description

日志记录处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及互联网技术领域，特别是涉及一种日志记录处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网的发展，网络安全问题已日益成为人们关注的焦点。为保护用户的网络访问安全，人们常常会记录用户进行网络访问时的日志记录，并进行日志记录处理。传统的日志记录处理方式常常是在系统程序中置于写日志模块，当用户访问某个功能或页面时，程序会在日志文件中记录用户进行网络访问时的日志记录，比如IP(InternetProtocol，网络之间互连的协议)地址，网络访问时间，使用的客户端以及网络访问的具体操作等。当有异常状况发生时，再通过调用对应时间段的日志文件，以分析异常发生的地点及原因等。

但基于传统的日志记录处理，往往是在网络访问异常发生后，再从大量的日志记录中查找网络访问异常所对应的日志记录，分析原因以便解决问题，导致网络访问异常的处理效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高网络访问异常的处理效率的日志记录处理方法、装置、计算机设备和存储介质。

一种日志记录处理方法，所述方法包括：

获取终端进行网络访问的日志记录；

将所述日志记录写入多个日志文件，每个所述日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同；

并行从所述多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息；

将所述日志信息与相应的预设信息类别对应存储至日志数据库；

对所述日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找；

当查找到所述报警关键词时，触发相应的报警信息。

一种日志记录处理装置，所述装置包括：

获取模块，用于获取终端进行网络访问的日志记录；

写入模块，用于将所述日志记录写入多个日志文件，每个所述日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同；

提取模块，用于并行从所述多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息；

存储模块，用于将所述日志信息与相应的预设信息类别对应存储至日志数据库；

查找模块，用于对所述日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找；

报警模块，用于当查找到所述报警关键词时，触发相应的报警信息。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述日志记录处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述日志记录处理方法的步骤。

上述日志记录处理方法、装置、计算机设备和存储介质，通过将日志记录写入多个日志文件，再按预设信息类别，从多个日志文件中并行提取与预设信息类别相应的日志信息。这样将日志记录写入多个日志文件，并行处理多个日志文件中的日志记录，可大大提高对日志记录的处理效率，特别是在有大量的日志记录的情况下，效率提高的更明显。再将提取的日志信息按相应的预设信息类别对应存储至日志数据库中，可直接访问日志数据库以查找或分析日志信息，当在日志数据库中与指定的预设信息类别对应的日志信息中查找到报警关键词时，触发相应的报警信息，能直接快速的对网络访问异常发出警报，运维人员可根据报警信息，以及日志数据库中已整理好的日志信息进行快速的异常处理，极大的提高了网络访问异常的处理效率。

附图说明

图1为一个实施例中日志记录处理方法的应用场景图；

图2为一个实施例中日志记录处理方法的流程示意图；

图3为一个实施例中异常网络地址发现的步骤的流程示意图；

图4为一个实施例中异常网络地址段发现的步骤的流程示意图；

图5为一个实施例中展示日志记录的步骤的流程示意图；

图6为另一个实施例中日志记录处理方法的流程示意图；

图7为一个实施例中日志记录处理装置的结构框图；

图8为另一个实施例中日志记录处理装置的结构框图；

图9为又一个实施例中日志记录处理装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的日志记录处理方法，可以应用于如图1所示的应用环境中。其中，终端110与服务器120通过网络进行通信。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种日志记录处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202，获取终端进行网络访问的日志记录。

其中，日志记录是终端在进行网络访问时，服务器记录的网络访问信息。日志记录具体可以包括：终端进行网络访问时所使用的客户端、终端的网络地址，网络访问的时间，网络访问的具体操作等。具体地，终端在访问某个页面或应用程序时，服务器记录终端的网络访问信息，生成日志记录。

S204，将日志记录写入多个日志文件，每个日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同。

其中，日志文件是日志记录的集合，用于记录操作事件的记录文件或文件集合，具有处理历史数据和诊断问题等重要作用。具体地，服务器可将自身记录的终端进行网络访问时的日志记录写入多个日志文件中，每个日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同。

在一个实施例中，服务器可预先设置日志文件的生成周期，在每个周期内，服务器将当前周期内记录的日志记录写入当前打开的日志文件中。在下个周期内，则将下个周期内记录的日志记录写入新的日志文件中。

在一个实施例中，服务器可将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，不同周期所对应的日志文件不同。再根据每个周期内的网络访问量调整相应的下一周期的时长。也就是说，下一周期的时长可以随当前周期内的网络访问量动态变化。其中，网络访问量是终端进行网络访问的次数，一条日志记录对应一次网络访问。

举例说明，当当前周期内的网络访问量较小时，服务器可设置将日志记录写入日志文件的下一周期为一小时，也就是下次周期的时长为一小时，服务器将后续的一小时内生成的日志记录写入同一个日志文件。当当前周期内的网络访问量较大时，服务器可设置将日志记录写入日志文件的下一周期为十分钟，也就是下次周期的时长为十分钟，服务器将后续的十分钟内生成的日志记录写入同一个日志文件。

在一个实施例中，服务器可预先设置一个日志文件所能写入的日志记录的日志记录量，比如一个日志文件中最多能写入2000条日志记录。服务器可将当前的日志记录写入打开的日志文件，当日志文件中写入的日志记录量达到预设的日志记录量时，比如2000条，则新建日志文件并打开。后续的日志记录则写入新打开的日志文件。同样地，每当一个日志文件中写入的日志记录的数量达到了预设的日志记录量时，服务器则新建日志文件并打开。

S206，并行从多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息。

其中，日志记录中可包含多个不同信息类别的日志信息，比如一条日志记录中可包含地址类别、时间类别、操作类别、状态类别等的日志信息。具体地，服务器可预先设置访问日志文件的频率，根据预设频率定期并行从多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息。

S208，将日志信息按相应的预设信息类别对应存储至日志数据库。

具体地，服务器可将提取的日志信息按相应的预设信息类别对应存储至日志数据库中。存储日志信息的频率可以和提取日志信息的频率同步或者不同步。这样按预设信息类别对应在日志数据库中存储日志信息可实现对日志信息的初步整理，以便后续可按预设信息类别快速处理日志信息。

S210，对日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找。

其中，指定的预设信息类别是预先确定的满足一定条件的预设信息类别，比如状态类别。报警关键词是触发报警信息的关键词，比如“error”、“交易失败”或“跳转失败”等。

在一个实施例中，服务器可预先设置报警关键词，并通过遍历日志数据库中与指定的预设信息类别对应的日志信息的方式，查找报警关键词。比如，服务器可遍历日志数据库中的与状态类别对应的日志信息，查找日志信息中是否存在报警关键词。在一个实施例中，服务器还可通过实时监测存入日志数据库中的与指定的预设信息类别对应的日志信息，来进行报警关键词查找。

S212，当查找到报警关键词时，触发相应的报警信息。

其中，报警信息是触发报警的信息，报警信息具体可以是数字、字母和符号等字符中的至少一种。具体地，服务器在日志数据库中的与指定的预设信息类别对应的日志信息中查找到报警关键词时，则触发相应的报警信息。

在一个实施例中，服务器触发报警信息后，可将报警信息转发至报警设备。报警设备根据相应的报警信息触发相应的报警。其中，报警的方式具体可以是通过声音报警、颜色变化报警等被动报警方式，也可以是将报警信息通过邮件或手机短信的方式发送给监测设备等主动报警方式。其中，监测设备比如网站运维人员的手机或电脑等。

上述日志记录处理方法，通过将日志记录写入多个日志文件，再按预设信息类别，从多个日志文件中并行提取与预设信息类别相应的日志信息。这样将日志记录写入多个日志文件，并行处理多个日志文件中的日志记录，可大大提高对日志记录的处理效率，特别是在有大量的日志记录的情况下，效率提高的更明显。再将提取的日志信息按相应的预设信息类别对应存储至日志数据库中，可直接访问日志数据库以查找或分析日志信息，当在日志数据库中与指定的预设信息类别对应的日志信息中查找到报警关键词时，触发相应的报警信息，能直接快速的对网络访问异常发出警报，运维人员可根据报警信息，以及日志数据库中已整理好的日志信息进行快速的异常处理，极大的提高了网络访问异常的处理效率。

在一个实施例中，将日志记录写入多个日志文件的步骤具体包括：将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，且不同周期所对应的日志文件不同；根据每个周期内的网络访问量调整相应的下一周期的时长。

具体地，服务器可依实际的网络访问量动态调整将日志记录写入日志文件的周期的时长。服务器可将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，且不同周期所对应的日志文件不同。并且根据每个周期内的网络访问量调整相应的下一周期的时长。比如，当当前周期内的网络访问量较小时，服务器可将下一周期的时长调大；当当前周期内的网络访问量较大时，服务器可将下一周期的时长调小，避免了写入不同周期所对应的日志文件中的日志记录量的差异过大。

上述实施例中，通过将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，根据每个周期内的网络访问量调整相应的下一周期的时长，可依当前周期内的实际网络访问量动态调整将日志记录写入日志文件的下一周期的时长。这样可以避免写入不同周期所对应的日志文件中的日志记录量的差异过大，实现了动态的平衡，便于后续对多个日志文件进行并行处理。

在一个实施例中，将日志记录写入多个日志文件的步骤具体包括：将当前的日志记录写入打开的日志文件；当日志文件中写入的日志记录量达到预设的日志记录量时，关闭日志文件；创建新的日志文件并打开，返回将当前的日志记录写入打开的日志文件的步骤。

具体地，服务器可预先设置一个日志文件中能写入的日志记录的日志记录量。服务器可将当前的日志记录写入打开的日志文件，当日志文件中写入的日志记录量达到预设的日志记录量时，关闭日志文件。服务器再创建新的日志文件并打开。后续的日志记录则写入新打开的日志文件。如此循环，以将日志记录写入多个日志文件。

上述实施例中，通过将当前的日志记录写入打开的日志文件，当日志文件中写入的日志记录量达到预设的日志记录量时，关闭打开的日志文件。再创建新的日志文件并打开，将当前的日志记录写入打开的日志文件。如此循环，以将日志记录写入多个日志文件，可保证日志文件的大小，以方便后续对多个日志文件进行并行处理。

在一个实施例中，该日志记录处理方法还包括网络访问量异常报警的步骤，该步骤具体包括：根据日志数据库中存储的日志信息，统计预设时间段内的网络访问量；当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息。

具体地，服务器可根据历史网络访问量设置预设网络访问量。比如根据历史网络访问量，计算历史日均网络访问量为1000，则可设置预设网络访问量为2000。服务器可根据日志数据库中存储的日志信息，统计预设时间段内某一预设信息类别对应的日志信息的数量作为该时间段的网络访问量。当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息。

上述实施例中，通过根据日志数据库中存储的日志信息，统计预设时间段内的网络访问量，当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息，可以在异常发生前根据网络访问量提前预警，便于发现恶意的网络访问，比如爬虫访问或服务器被恶意攻击等。

在一个实施例中，日志信息包括网络地址，该日志记录处理方法还包括异常网络地址发现的步骤，该步骤具体包括：

S302，获取日志数据库中存储的网络地址。

具体地，日志信息包括网络地址，服务器可获取预设时间段内存储至日志数据库中的网络地址。服务器也可获取所有存储至日志数据库中的网络地址。

S304，统计对应相同网络地址的网络访问量。

具体地，服务器在获取网络地址后，可确定获取的所有网络地址中的相同的网络地址。分别统计相同的网络地址出现的次数，该相同的网络地址出现的次数就是对应相同网络地址的网络访问量。

S306，将获取的网络地址按照相应统计的网络访问量降序排名。

具体地，服务器在统计对应相同网络地址的网络访问量后，可按网络访问量的大小，将获取的网络地址按照相应统计的网络访问量降序排名。

S308，筛选排名名次小于或等于第一预设数量的网络地址。

具体地，服务器可预先设置第一预设数量，设置的第一预设数量用来获取排名靠前的网络地址。服务器可筛选排名名次小于或等于第一预设数量的网络地址，筛选出的网络地址就是相应的网络访问量最多的前几名，具有较大的可能性属于异常的网络地址。

S310，将筛选出的网络地址发送至监测设备。

其中，监测设备是监测网络访问异常的设备，在本实施例中，监测设备具体可以是网站运维人员的手机或电脑等。具体地，服务器可将筛选出的网络地址通过网络或USB(Universal Serial Bus，通用串行总线)接口等通信方式发送至监测设备，具体可以通过邮件或手机短信的方式发送至监测设备，以便提前做好网络防护工作。

上述实施例中，通过统计对应相同网络地址的网络访问量，将获取的网络地址按照相应统计的网络访问量进行降序排名，将筛选的排名名次小于或等于第一预设数量的网络地址发送至监测设备，可以快速发现潜在的异常网络地址，并及时反馈，这样能在异常发生前提前预警，便于发现恶意的网络访问。

在一个实施例中，日志信息包括网络地址，该日志记录处理方法还包括异常网络地址段发现的步骤，该步骤具体包括：

S402，获取日志数据库中存储的网络地址。

具体地，日志信息包括网络地址，服务器可获取预设时间段内存储至日志数据库中的网络地址。服务器也可获取所有存储至日志数据库中的网络地址。

S404，统计属于相同网络地址段的网络地址所对应的网络访问总量。

其中，网络地址段也叫网段，是一个计算机网络中使用同一物理层设备(传输介质，中继器和集线器等)能够直接通讯的一部分。例如，从192.168.0.1到192.168.255.255这之间就是一个网段。

具体地，服务器在获取网络地址后，可确定获取的网络地址所属的网络地址段。分别统计相同的网络地址段中的网络地址累计出现的次数，属于相同的网络地址段中的网络地址累计出现的次数就是对应属于相同网络地址段的网络地址的网络访问总量。

S406，将不同的网络地址段按照相应统计的网络访问总量降序排名。

具体地，服务器在统计对应属于相同网络地址段的网络地址的网络访问总量后，可按网络访问总量的大小，将网络地址段按照相应统计的网络访问总量降序排名。

在一个实施例中，每个网络地址段都有相应的网络标识，用来唯一标识该网络地址段。网络标识可以是数字、字符、字母或者汉字中的至少一种。服务器可按属于相同网络地址段的网络地址所对应的网络访问总量的大小，对相应的网络地址段的网络标识进行降序排名。

S408，选择排名名次小于或等于第二预设数量的网络地址段。

具体地，服务器可预先设置第二预设数量，设置的第二预设数量用来获取排名靠前的网络地址段。服务器可选择排名名次小于或等于第二预设数量的网络地址段，选择的网络地址断就是相应的网络访问总量最多的前几名，具有较大的可能性属于异常的网络地址段。

S410，将选择的网络地址段发送至监测设备，和/或，将选择的网络地址段所对应的取自日志数据库的网络地址发送至监测设备。

在一个实施例中，服务器可确定选择的网络地址段相对应的网络标识，将确定的网络标识通过网络或USB接口等通信方式发送至监测设备，具体可以通过邮件或手机短信的方式发送至监测设备，以便提前做好网络防护工作。

在一个实施例中，服务器可确定选择的网络地址段所对应的取自日志数据库的网络地址，并通过网络或USB接口等通信方式将确定的网络地址发送至监测设备，具体可以通过邮件或手机短信的方式发送至监测设备，以便提前做好网络防护工作。

在一个实施例中，服务器可确定选择的网络地址段所对应的取自日志数据库的网络地址，并通过网络或USB接口等通信方式将选择的网络地址段相对应的网络标识和确定的网络地址一起发送至监测设备，具体可以通过邮件或手机短信的方式发送至监测设备，以便提前做好网络防护工作。

上述实施例中，通过统计属于相同网络地址段的网络地址所对应的网络访问总量，将不同的网络地址段按照相应统计的网络访问总量进行降序排名，选择排名名次小于或等于第二预设数量的网络地址段，将选择的网络地址段和/或选择的网络地址段所对应的取自日志数据库的网络地址发送至监测设备，可以快速发现潜在的异常网络地址段，并迅速定位异常网络地址段所对应的异常网络地址。这样能在异常发生前提前预警，便于发现恶意的网络访问。

在一个实施例中，该日志记录处理方法还包括展示日志记录的步骤，该步骤具体包括：

S502，提供日志记录展示页面。

其中，日志记录展示页面是用于展示日志记录的页面。具体地，服务器可接收日志记录展示指令，根据接收的日志记录展示指令提供日志记录展示页面。

S504，获取在日志记录展示页面中触发的日志记录展示指令。

具体地，服务器可以接收作用于日志记录展示页面中的触发操作，由触发操作触发日志记录展示指令。

S506，根据日志记录展示指令，从日志数据库中选定日志信息。

具体地，日志记录展示指令中携带有信息类别等信息，服务器可根据日志记录展示指令中携带的预设信息类别，确定相应的日志信息。

在一个实施例中，日志记录展示页面中提供查询操作，日志记录展示指令为查询展示指令。服务器可根据查询展示指令中携带的信息，从日志数据库中选定日志信息。其中，查询展示指令中携带的信息比如时间、日志信息的信息类别、查询条件等。

举例说明，当查询条件是日志信息中存在报警关键词时触发相应的报警信息的所有相关的日志记录时，服务器可查询所有触发相应的报警信息的日志信息，再根据日志信息确定相应的日志记录。服务器还可进一步根据查询展示指令中携带时间信息确定该段时间内的触发相应的报警信息的日志信息。

S508，分析选定的日志信息，得到分析结果；分析结果用于在日志记录展示页面中展示。

具体地，服务器选定日志信息后，可根据日志信息确定相应的日志记录。分析日志记录，得到分析结果。比如可分析日志信息确定触发相应报警信息的网络地址，进而确定对应的网络接口或网络路径等。还可通过分析日志信息确定触发相应报警信息的操作记录，进而确定对应的网络事件，以便工作人员能快速定位并解决问题。服务器得到分析结果后，将分析结果展示在日志记录展示页面中，便于直观的了解分析结果。其中，展示方式具体可以是以数据报表、图表或图形等形式。

在一个实施例中，服务器将整理的日志信息存入日志数据库后，显示设备可通过与服务器对应的API(Application Programming Interface，系统编程接口)接口调用日志数据库中的日志信息，并按照预先设置好的规则进行展示。其中，API是一些预先定义的函数，目的是提供系统基于某软件(或硬件)的访问一组例程的能力，而又无需访问软件的源码，或理解软件的内部工作机制的细节。

上述实施例中，通过日志记录展示指令，获取需展示的日志信息，分析日志信息得到分析结果。再将分析结果展示在日志记录展示页面中。这样通过展示分析结果可以直观地了解日志信息的分析结果，便于发现变化趋势和隐藏的网络访问异常等。

如图6所示，在一个具体的实施例中，日志记录处理方法包括以下步骤：

S602，获取终端进行网络访问的日志记录。

S604，将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，且不同周期所对应的日志文件不同。

S606，根据每个周期内的网络访问量调整相应的下一周期的时长。

S608，并行从多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息。

S610，将日志信息按相应的预设信息类别对应存储至日志数据库。

S612，对日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找。

S614，当查找到报警关键词时，触发相应的报警信息。

S616，根据日志数据库中存储的日志信息，统计预设时间段内的网络访问量。

S618，当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息。

S620，获取日志数据库中存储的网络地址。

S622，统计对应相同网络地址的网络访问量。

S624，将获取的网络地址按照相应统计的网络访问量降序排名。

S626，筛选排名名次小于或等于第一预设数量的网络地址。

S628，将筛选出的网络地址发送至监测设备。

S630，统计属于相同网络地址段的网络地址所对应的网络访问总量。

S632，将不同的网络地址段按照相应统计的网络访问总量降序排名。

S634，选择排名名次小于或等于第二预设数量的网络地址段。

S636，将选择的网络地址段发送至监测设备，和/或，将选择的网络地址段所对应的取自日志数据库的网络地址发送至监测设备。

S638，提供日志记录展示页面。

S640，获取在日志记录展示页面中触发的日志记录展示指令。

S642，根据日志记录展示指令，从日志数据库中选定日志信息。

S644，分析选定的日志信息，得到分析结果；分析结果用于在日志记录展示页面中展示。

上述日志记录处理方法，通过将日志记录写入多个日志文件，再按预设信息类别，从多个日志文件中并行提取与预设信息类别相应的日志信息。这样将日志记录写入多个日志文件，并行处理多个日志文件中的日志记录，可大大提高对日志记录的处理效率，特别是在有大量的日志记录的情况下，效率提高的更明显。再将提取的日志信息按相应的预设信息类别对应存储至日志数据库中，可直接访问日志数据库以查找或分析日志信息，当在日志数据库中与指定的预设信息类别对应的日志信息中查找到报警关键词时，触发相应的报警信息，能直接快速的对网络访问异常发出警报，运维人员可根据报警信息，以及日志数据库中已整理好的日志信息进行快速的异常处理，极大的提高了网络访问异常的处理效率。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种日志记录处理装置700，包括：获取模块701、写入模块702、提取模块703、存储模块704、查找模块705和报警模块706，其中：

获取模块701，用于获取终端进行网络访问的日志记录。

写入模块702，用于将日志记录写入多个日志文件，每个日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同。

提取模块703，用于并行从多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息。

存储模块704，用于将日志信息按相应的预设信息类别对应存储至日志数据库。

查找模块705，用于对日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找。

报警模块706，用于当查找到报警关键词时，触发相应的报警信息。

上述日志记录处理装置，通过将日志记录写入多个日志文件，再按预设信息类别，从多个日志文件中并行提取与预设信息类别相应的日志信息。这样将日志记录写入多个日志文件，并行处理多个日志文件中的日志记录，可大大提高对日志记录的处理效率，特别是在有大量的日志记录的情况下，效率提高的更明显。再将提取的日志信息按相应的预设信息类别对应存储至日志数据库中，可直接访问日志数据库以查找或分析日志信息，当在日志数据库中与指定的预设信息类别对应的日志信息中查找到报警关键词时，触发相应的报警信息，能直接快速的对网络访问异常发出警报，运维人员可根据报警信息，以及日志数据库中已整理好的日志信息进行快速的异常处理，极大的提高了网络访问异常的处理效率。

在一个实施例中，写入模块702还用于将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，且不同周期所对应的日志文件不同；根据每个周期内的网络访问量调整相应的下一周期的时长。

上述实施例中，通过将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，根据每个周期内的网络访问量调整相应的下一周期的时长，可依当前周期内的实际网络访问量动态调整将日志记录写入日志文件的下一周期的时长。这样可以避免写入不同周期所对应的日志文件中的日志记录量的差异过大，实现了动态的平衡，便于后续对多个日志文件进行并行处理。

在一个实施例中，写入模块702还用于将当前的日志记录写入打开的日志文件；当日志文件中写入的日志记录量达到预设的日志记录量时，关闭日志文件；创建新的日志文件并打开，返回将当前的日志记录写入打开的日志文件的步骤。

上述实施例中，通过将当前的日志记录写入打开的日志文件，当日志文件中写入的日志记录量达到预设的日志记录量时，关闭打开的日志文件。再创建新的日志文件并打开，将当前的日志记录写入打开的日志文件。如此循环，以将日志记录写入多个日志文件，可保证日志文件的大小，以方便后续对多个日志文件进行并行处理。

在一个实施例中，日志记录处理装置700还包括统计模块707，统计模块707用于根据日志数据库中存储的日志信息，统计预设时间段内的网络访问量。报警模块706还用于当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息。

上述实施例中，通过根据日志数据库中存储的日志信息，统计预设时间段内的网络访问量，当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息，可以在异常发生前根据网络访问量提前预警，便于发现恶意的网络访问，比如爬虫访问或服务器被恶意攻击等。

如图8所示，在一个实施例中，日志信息包括网络地址，日志记录处理装置700还包括排名模块708、筛选模块709和发送模块710。

获取模块701还用于获取日志数据库中存储的网络地址。

统计模块707还用于统计对应相同网络地址的网络访问量。

排名模块708，用于将获取的网络地址按照相应统计的网络访问量降序排名。

筛选模块709，用于筛选排名名次小于或等于第一预设数量的网络地址。

发送模块710，用于将筛选出的网络地址发送至监测设备。

上述实施例中，通过统计对应相同网络地址的网络访问量，将获取的网络地址按照相应统计的网络访问量进行降序排名，将筛选的排名名次小于或等于第一预设数量的网络地址发送至监测设备，可以快速发现潜在的异常网络地址，并及时反馈，这样能在异常发生前提前预警，便于发现恶意的网络访问。

在一个实施例中，获取模块701还用于获取日志数据库中存储的网络地址。统计模块707还用于统计属于相同网络地址段的网络地址所对应的网络访问总量。排名模块708还用于将不同的网络地址段按照相应统计的网络访问总量降序排名。筛选模块709还用于选择排名名次小于或等于第二预设数量的网络地址段。发送模块710还用于将选择的网络地址段发送至监测设备，和/或，将选择的网络地址段所对应的取自日志数据库的网络地址发送至监测设备。

上述实施例中，通过统计属于相同网络地址段的网络地址所对应的网络访问总量，将不同的网络地址段按照相应统计的网络访问总量进行降序排名，选择排名名次小于或等于第二预设数量的网络地址段，将选择的网络地址段和/或选择的网络地址段所对应的取自日志数据库的网络地址发送至监测设备，可以快速发现潜在的异常网络地址段，并迅速定位异常网络地址段所对应的异常网络地址。这样能在异常发生前提前预警，便于发现恶意的网络访问。

如图9所示，在一个实施例中，日志记录处理装置700还包括提供模块711、和分析模块712。

提供模块711，用于提供日志记录展示页面。

获取模块701还用于获取在日志记录展示页面中触发的日志记录展示指令。

筛选模块709还用于根据日志记录展示指令，从日志数据库中选定日志信息。

分析模块712，用于分析选定的日志信息，得到分析结果；分析结果用于在日志记录展示页面中展示。

上述实施例中，通过日志记录展示指令，获取需展示的日志信息，分析日志信息得到分析结果。再将分析结果展示在日志记录展示页面中。这样通过展示分析结果可以直观地了解日志信息的分析结果，便于发现变化趋势和隐藏的网络访问异常等。

关于日志记录处理装置的具体限定可以参见上文中对于日志记录处理方法的限定，在此不再赘述。上述日志记录处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和日志数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的日志数据库用于存储日志信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志记录处理方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取终端进行网络访问的日志记录；将日志记录写入多个日志文件，每个日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同；并行从多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息；将日志信息按相应的预设信息类别对应存储至日志数据库；对日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找；当查找到报警关键词时，触发相应的报警信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，且不同周期所对应的日志文件不同；根据每个周期内的网络访问量调整相应的下一周期的时长。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将当前的日志记录写入打开的日志文件；当日志文件中写入的日志记录量达到预设的日志记录量时，关闭日志文件；创建新的日志文件并打开，返回将当前的日志记录写入打开的日志文件的步骤。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据日志数据库中存储的日志信息，统计预设时间段内的网络访问量；当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取日志数据库中存储的网络地址；统计对应相同网络地址的网络访问量；将获取的网络地址按照相应统计的网络访问量降序排名；筛选排名名次小于或等于第一预设数量的网络地址；将筛选出的网络地址发送至监测设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取日志数据库中存储的网络地址；统计属于相同网络地址段的网络地址所对应的网络访问总量；将不同的网络地址段按照相应统计的网络访问总量降序排名；选择排名名次小于或等于第二预设数量的网络地址段；将选择的网络地址段发送至监测设备，和/或，将选择的网络地址段所对应的取自日志数据库的网络地址发送至监测设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：提供日志记录展示页面；获取在日志记录展示页面中触发的日志记录展示指令；根据日志记录展示指令，从日志数据库中选定日志信息；分析选定的日志信息，得到分析结果；分析结果用于在日志记录展示页面中展示。

上述计算机设备，通过将日志记录写入多个日志文件，再按预设信息类别，从多个日志文件中并行提取与预设信息类别相应的日志信息。这样将日志记录写入多个日志文件，并行处理多个日志文件中的日志记录，可大大提高对日志记录的处理效率，特别是在有大量的日志记录的情况下，效率提高的更明显。再将提取的日志信息按相应的预设信息类别对应存储至日志数据库中，可直接访问日志数据库以查找或分析日志信息，当在日志数据库中与指定的预设信息类别对应的日志信息中查找到报警关键词时，触发相应的报警信息，能直接快速的对网络访问异常发出警报，运维人员可根据报警信息，以及日志数据库中已整理好的日志信息进行快速的异常处理，极大的提高了网络访问异常的处理效率。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取终端进行网络访问的日志记录；将日志记录写入多个日志文件，每个日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同；并行从多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息；将日志信息按相应的预设信息类别对应存储至日志数据库；对日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找；当查找到报警关键词时，触发相应的报警信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，且不同周期所对应的日志文件不同；根据每个周期内的网络访问量调整相应的下一周期的时长。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将当前的日志记录写入打开的日志文件；当日志文件中写入的日志记录量达到预设的日志记录量时，关闭日志文件；创建新的日志文件并打开，返回将当前的日志记录写入打开的日志文件的步骤。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据日志数据库中存储的日志信息，统计预设时间段内的网络访问量；当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取日志数据库中存储的网络地址；统计对应相同网络地址的网络访问量；将获取的网络地址按照相应统计的网络访问量降序排名；筛选排名名次小于或等于第一预设数量的网络地址；将筛选出的网络地址发送至监测设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取日志数据库中存储的网络地址；统计属于相同网络地址段的网络地址所对应的网络访问总量；将不同的网络地址段按照相应统计的网络访问总量降序排名；选择排名名次小于或等于第二预设数量的网络地址段；将选择的网络地址段发送至监测设备，和/或，将选择的网络地址段所对应的取自日志数据库的网络地址发送至监测设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：提供日志记录展示页面；获取在日志记录展示页面中触发的日志记录展示指令；根据日志记录展示指令，从日志数据库中选定日志信息；分析选定的日志信息，得到分析结果；分析结果用于在日志记录展示页面中展示。

上述计算机可读存储介质，通过将日志记录写入多个日志文件，再按预设信息类别，从多个日志文件中并行提取与预设信息类别相应的日志信息。这样将日志记录写入多个日志文件，并行处理多个日志文件中的日志记录，可大大提高对日志记录的处理效率，特别是在有大量的日志记录的情况下，效率提高的更明显。再将提取的日志信息按相应的预设信息类别对应存储至日志数据库中，可直接访问日志数据库以查找或分析日志信息，当在日志数据库中与指定的预设信息类别对应的日志信息中查找到报警关键词时，触发相应的报警信息，能直接快速的对网络访问异常发出警报，运维人员可根据报警信息，以及日志数据库中已整理好的日志信息进行快速的异常处理，极大的提高了网络访问异常的处理效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种日志记录处理方法，所述方法包括：

获取终端进行网络访问的日志记录；

将所述日志记录写入多个日志文件，每个所述日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同；

并行从所述多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息；

将所述日志信息按相应的预设信息类别对应存储至日志数据库；

对所述日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找；

当查找到所述报警关键词时，触发相应的报警信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述日志记录写入多个日志文件，包括：

将每个周期内所产生的多个日志记录写入相应周期所对应的日志文件，且不同周期所对应的日志文件不同；

根据每个周期内的网络访问量调整相应的下一周期的时长。

3.根据权利要求1所述的方法，其特征在于，所述将所述日志记录写入多个日志文件，包括：

将当前的日志记录写入打开的日志文件；

当所述日志文件中写入的日志记录量达到预设的日志记录量时，关闭所述日志文件；

创建新的日志文件并打开，返回所述将当前的日志记录写入打开的日志文件的步骤。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述日志数据库中存储的日志信息，统计预设时间段内的网络访问量；

当统计的网络访问量大于或等于预设网络访问量时，触发相应的报警信息。

5.根据权利要求1所述的方法，其特征在于，所述日志信息包括网络地址；所述方法还包括：

获取所述日志数据库中存储的网络地址；

统计对应相同网络地址的网络访问量；

将获取的网络地址按照相应统计的网络访问量降序排名；

筛选排名名次小于或等于第一预设数量的网络地址；

将筛选出的网络地址发送至监测设备。

6.根据权利要求1所述的方法，其特征在于，所述日志信息包括网络地址；所述方法还包括：

获取所述日志数据库中存储的网络地址；

统计属于相同网络地址段的网络地址所对应的网络访问总量；

将不同的网络地址段按照相应统计的网络访问总量降序排名；

选择排名名次小于或等于第二预设数量的网络地址段；

将选择的网络地址段发送至监测设备，和/或，将选择的网络地址段所对应的取自所述日志数据库的网络地址发送至监测设备。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

提供日志记录展示页面；

获取在所述日志记录展示页面中触发的日志记录展示指令；

根据所述日志记录展示指令，从所述日志数据库中选定日志信息；

分析选定的所述日志信息，得到分析结果；所述分析结果用于在所述日志记录展示页面中展示。

8.一种日志记录处理装置，其特征在于，所述装置包括：

获取模块，用于获取终端进行网络访问的日志记录；

写入模块，用于将所述日志记录写入多个日志文件，每个所述日志文件写入有多个日志记录，且不同日志文件的日志记录对应的日志记录生成时间段不同；

提取模块，用于并行从所述多个日志文件的日志记录中，提取对应于不同的预设信息类别的日志信息；

存储模块，用于将所述日志信息按相应的预设信息类别对应存储至日志数据库；

查找模块，用于对所述日志数据库中与指定的预设信息类别对应的日志信息进行报警关键词查找；

报警模块，用于当查找到所述报警关键词时，触发相应的报警信息。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。