CN106649058B - 一种日志处理方法及装置 - Google Patents

Abstract

本发明公开了一种日志处理方法及装置，涉及计算机技术领域，解决了现有的日志分析无法根据日志记录的行为信息对操作进行主动修正的问题。本发明主要的技术方案为：获取记录有失败操作信息的操作日志；根据所述操作日志提取执行失败的操作；根据预设条件，执行所述操作。本发明主要用于利用网站日志进行网站的运维管理。

Description

一种日志处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志处理方法及装置。

背景技术

网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件，确切的讲，应该是服务器日志。网站日志最大的意义是记录网站运营中比如空间的运营情况，被访问请求的记录。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功。在互联网高速发展的时代，网站的运行维护已经日趋自动化，但是对于网站中产生的日志文件，目前还没有针对性的分析功能软件。而实际上，网站日志中所包含的信息如果通过有针对性的提取和处理，能够获得非常具有价值的信息，特别是作为搜索引擎推广管理系统，因为每个操作都直接影响用户投放的广告效果，所以它所对应的日志将显得格外重要。

目前的网站日志分析系统多数是对日志信息进行提取统计，为网站管理人员提供分析的数据基础，而这样的数据分析与统计功能主要是对网站服务器的一种行为记录，是一种被动的行为分析，而无法做到根据日志所记录的行为信息，对有问题的操作进行主动的修正。

发明内容

有鉴于此，本发明提供一种日志处理方法及装置，主要目的在于根据网站日志中记录的操作失败日志，进行重试操作，以提高网站运行维护的自动化程度，提高网站对操作执行的成功率。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供了一种日志处理方法，该方法包括：

获取记录有失败操作信息的操作日志；

根据所述操作日志提取执行失败的操作；

根据预设条件，执行所述操作。

另一方面，本发明还提供了一种日志处理装置，该装置包括：

获取单元，用于获取记录有失败操作信息的操作日志；

提取单元，用于根据所述获取单元获取的操作日志提取执行失败的操作；

执行单元，用于根据预设条件，执行所述提取单元提取的操作。

依据上述本发明所提出的日志处理方法及装置，是通过对网站日志加以分类，并获取其中属于操作类的日志，判断并提取操作日志中的操作失败的日志。将所对应的操作根据预先设置的策略进行重新执行。相比于现有的日志分析软件，本方法不仅可以对日志进行常规的统计与分析，更重要的在于能够对一些曾经操作失败的网站指令进行自动的识别与获取，并将这些操作根据需要进行重新执行。该功能对于有操作时效性与准确性要求的网站尤其要用，该功能的实现使得网站的管理员不再需要时刻关注着网站的操作日志或者是日志分析软件中的报警信息。大幅提高了网站运行维护的自动化程度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种日志处理方法的流程图；

图2示出了本发明实施例提出的另一种日志处理方法的流程图；

图3示出了本发明实施例提出的一种日志处理装置的组成框图；

图4示出了本发明实施例提出的另一种日志处理装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种日志处理方法，如图1所示，该方法应用于网站日志的日常管理中，具体步骤包括：

101、获取记录有失败操作信息的操作日志。

基础的网站日志是衡量整个网站优化过程中最为常见的方式工具之一，同时借助于网站日志，网站管理员可以更为方便、高效的查看网站整体的运营情况。而网站本身就是属于一种智能的数据库，记录着网站每一天的访问与统计数据。它们被形成一种格式，存储在网站空间的FTP当中，通过查看这些数据报表，就会对整个网站数据排名、收录有更好的排名展示。通常情况下，在获取网站日志的过程中，都会用到最为常见的FTP上传、下载工具。此外在其他分析统计方法当中，更需要通过多重的基础数据来得到网站日志的IP地址、访问返回值、以及访客性质等多方面来进行综合的判定，更为高效的利用网站日志，达到最好的展示效果。本发明实施例是对网站日志进行分类，通过在记录前对日志标记标签来将日志进行分类统计，具体的分类方式可以包括：登录日志、操作日志、查询日志、警告日志和错误日志等。

通过分类统计日志，就可以很方便的通过标签记录获取到操作日志。该日志中记录有网站操作相关信息。根据这些信息加以判断日志中所记录的网站操作是否成功。将其中记录有操作失败信息的操作日志提取出来。

在现有的日志分析软件中，大多都具有日志报警功能，而这些报警的日志中大多数都为操作失败的操作日志。与本发明实施例的区别在于这些报警日志并没有根据日志内容进行分类。而本发明实施例在应用到具体的网站日志分析中时，同样可以将这些操作失败的日志进行报警处理，并且在报警的同时，能够将报警的日志内容加以细化分类，让管理员对报警的内容读取更加清晰、一目了然。

102、根据操作日志提取执行失败的操作。

将101中获取到的操作日志进行解析，读取其中的操作指令，以及执行该指令所需的指令参数。将得到的操作指令与指令参数进行提取，并将其发送至网站服务器的指令执行单元中。对于网站服务器对操作指令的确认，可以是根据日志中所携带的标签进行具体的识别，这就需要在对日志分类时，对日志进行多维度的标签标记，将网站操作中的每一个环节和操作执行步骤进行详细的划分，并对各个步骤加以标签进行区分，以保证网站中的每一个操作在生成日志后，都能够通过对标签的组合加以识别、区分。如此，通过对日志中的标签进行判断就可以确定出具体的网站操作。而对于本发明实施例中的操作识别方式，还可以通过现有的实现方式进行确认，对此本实施例不做具体限定。

103、根据预设条件，执行该操作。

在确定了需要重新执行的操作后，网站服务器会将该操作根据预设的执行条件先进行判断，在符合条件后在执行该操作。最基础的条件判断就是确定执行操作的范围，即是否为所有的失败操作都需要进行再次执行。除了将操作的种类范围进行限定，其他的限制条件还可以包括：执行操作的间隔时间、执行操作的次数等。根据网站中不同操作的需要，这些限制条件可以组合成不同的限制策略以供选择。

结合上述的实现方式可以看出，本发明实施例所采用的日志处理方法，是通过对网站日志加以分类，并获取其中属于操作类的日志，判断并提取操作日志中的操作失败的日志。将所对应的操作根据预先设置的策略进行重新执行。相比于现有的日志分析软件，本方法不仅可以对日志进行常规的统计与分析，更重要的在于能够对一些曾经操作失败的网站指令进行自动的识别与获取，并将这些操作根据需要进行重新执行。该功能对于有操作时效性与准确性要求的网站尤其要用，该功能的实现使得网站的管理员不再需要时刻关注着网站的操作日志或者是日志分析软件中的报警信息。大幅提高了网站运行维护的自动化程度。

为了更加详细地说明本发明提出的一种日志处理方法，本发明实施例以具体网站服务器中的日志处理进行具体说明，如图2所示，该方法的具体步骤包括：

201、对网站日志进行分类。

对于本实施例中的网站日志，在生成时会对其中的每一个特征进行标签标记，即日志中的每个特征都有与之对应的标记标签，例如，日期、时间、服务器名称、网站名称、网站IP、获取方法、文件的URL、服务器端口、用户名、访问者(蜘蛛)ip、协议版本、用户代理，即用户所用的浏览器等，在具体到操作日志中的具体标签内容还包括有操作的名称、执行结果、执行参数等等。经过标记的日志，每一条都会标记有众多的标签，系统能够根据分类的需要，选择不同的标签对日志进行类别的划分。本实施例对于标记标签的细化程度不做具体限定，应根据不同网站的内容以及想要达到的分类结果进行必要的标签标记。由于标签本身具有一定的存储空间，日志中携带的标签越多，该日志所占用的存储空间也就越大，而在读取过程中所需要处理步骤就越多，对于服务器的配置要求也就越高，因此，并不是标签标记的越细越全的日志为越好。

在此步骤中，主要是要筛选出属于操作日志的一类，将含有网站操作的日志进行提取。

202、获取记录有失败操作信息的操作日志。

根据201中已经分类好的操作日志，再将这些日志根据日志中记录的执行结果分为执行成功和执行失败两类，并获取这些记录有失败操作信息的操作日志。当然也能够根据标记的标签进行直接地区分并获取。

203、根据操作日志提取执行失败的操作。

根据日志中所记录的操作行为，系统能够将该操作以及操作的具体参数从日志中提取出来。在本实施例中，由于日志在生成时标记有详细的标签说明，因此，通过具体的标签，也可以获得该日志对应的具体操作以及操作的具体参数。例如，网站管理员修改了网站中一件商品的价格信息，由5元改为4元。而在执行过程中，由于系统或网络原因并没有修改成功。由此操作，会生成一条网站操作日志。而在该日志生成的过程中，系统将为该操作日志标记上各种不同的标签，比如，商品页面的标签，调价操作的标签，降价1元的标签等。根据这些标签，系统在确定该日志中的操作没有执行成功的时候，将能够根据这些标签还原该操作。并且在系统许可的情况下，能够执行该操作。

204、根据预设条件，执行该操作。

在获取到执行失败的操作后，系统将根据预设的条件再次执行该操作。预设的条件主要是由用户管理员根据具体操作是否需要进行重复执行而设置的条件。由于一个网站操作在大多数情况下是具有时效性的，例如上述降价的例子，很多时候是网站在某一个固定的时间段内进行行为，而过了该时间段后，再进行该行为的操作将变的没有意义或是起到相反的效果。因此，在设置预设条件时，主要需要考虑的条件包括时间段，即该操作的有效执行区间，操作执行的时间间隔和执行次数。其中，设置执行的时间间隔的目的在于避免系统反复多次的执行同一操作而造成的资源浪费，在有些时候操作没有执行成功的原因可能只是当前的网络状况不佳，而这一状态可能会持续一段时间，而如果在该时间段内重复的执行该操作，无疑结果都不会成功，并且占用系统的处理资源，因此，将重复执行操作之间设置一定的时间间隔是非常有必要的。此外，对于设置执行次数主要是考虑到有一些的操作冲突的操作，再进行重复操作的情况下就不可能操作成功，例如，上述的降价例子原价是5元而操作是降价10元，类似这种的操作就不能实现。因此，设置固定的执行次数可以避免系统进入死循环，从而占用系统的处理资源。

205、判断操作的执行结果是否成功，若不成功则根据预设条件重复执行该操作。

在对失败操作进行重复执行后，本发明实施例还能够根据操作执行的结果，对执行不成功的操作继续重复执行。根据204中所执行的操作，由于在执行后系统同样会根据执行的结果生成一条日志记录，而如果该操作执行的结果仍然失败，则根据上述的步骤可以形成循环操作，与本步骤所起到的作用是一致的。而本步骤的设置，从效果上看是主要是为了提高操作执行的效率，从而提高网站运行维护中的操作准确性。

进一步的，作为对上述方法的实现，本发明实施例提供了一种日志处理装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置设置在网站服务器中，如图3所示，该装置包括：

获取单元31，用于获取记录有失败操作信息的操作日志；

提取单元32，用于根据所述获取单元31获取的操作日志提取执行失败的操作；

执行单元33，用于根据预设条件，执行所述提取单元32提取的操作。

进一步的，如图4所示，所述获取单元31包括：

分类模块311，用于对日志进行分类，得到操作日志，所述操作日志为记录有操作信息的日志；

判断模块312，用于根据所述分类模块311分出的操作日志中的信息，判断所述操作日志中记录的操作是否执行成功；

获取模块313，用于获取所述判断模块312判断的记录有失败操作信息的操作日志。

进一步的，如图4所示，所述执行单元33包括：

设置模块331，用于设置所述操作的执行条件；

执行模块332，用于根据所述设置模块331设置的执行条件执行所述操作。

进一步的，如图4所示，所述装置还包括：

判断单元34，用于判断所述执行单元33执行的操作的执行结果是否成功；

所述执行单元33还用于，当所述判断单元34判断所述操作的执行结果为不成功时，根据所述预设条件重复执行所述操作。

进一步的，所述执行单元中的设置模块331设置所述操作的执行条件包括：执行操作的时间间隔和执行次数。

综上所述，本发明实施例所采用的日志处理方法及装置，是通过对网站日志中的标记标签加以分类，并获取其中含有操作行为的日志，判断并提取操作日志中记录操作失败的日志。将所对应的操作根据预先设置的策略进行重新执行。相比于现有的日志分析软件，本方法不仅可以对日志进行常规的统计与分析，更重要的在于能够对一些曾经操作失败的网站指令进行自动的识别与获取，并将这些操作根据需要进行重新执行。该功能对于有操作时效性与准确性要求的网站尤其要用，该功能的实现使得网站的管理员不再需要时刻关注着网站的操作日志或者是日志分析软件中的报警信息。大幅提高了网站运行维护的自动化程度。

所述日志处理装置包括处理器和存储器，上述获取单元、提取单元和执行单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数并根据网站日志中记录的操作失败日志，进行重试操作，以提高网站运行维护的自动化程度，提高网站对操作执行的成功率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取记录有失败操作信息的操作日志；根据所述操作日志提取执行失败的操作；根据预设条件，执行所述操作。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种日志处理方法，其特征在于，所述方法包括：

获取记录有失败操作信息的操作日志；

根据所述操作日志提取执行失败的操作，具体步骤包括：解析所述操作日志，读取所述操作日志包含的操作指令以及执行所述操作指令所需的指令参数，其中，所述操作指令是通过识别所述操作日志中携带的标签而得到的，所述标签用于在对日志进行分类时对日志进行多维度的标记，以使得在对每个操作生成日志之后通过识别标签得到具体操作对应的操作指令；

根据预设条件，执行所述操作，所述预设条件为根据不同的操作需求生成的处理策略，而所述操作为与所述处理策略对应的操作。

2.根据权利要求1所述的方法，其特征在于，所述获取记录有失败操作信息的操作日志包括：

对日志进行分类，得到操作日志，所述操作日志为记录有操作信息的日志；

根据所述操作日志中的信息，判断所述操作日志中记录的操作是否执行成功；

获取记录有失败操作信息的操作日志。

3.根据权利要求1所述的方法，其特征在于，所述根据预设条件，执行所述操作包括：

设置所述操作的执行条件；

根据所述执行条件执行所述操作。

4.根据权利要求1所述的方法，其特征在于，在所述根据预设条件，执行所述操作之后，所述方法还包括：

判断所述操作的执行结果是否成功；

若不成功，则根据所述预设条件重复执行所述操作。

5.根据权利要求3所述的方法，其特征在于，所述设置所述操作的执行条件包括：执行操作的时间间隔和执行次数。

6.一种日志处理装置，其特征在于，所述装置包括：

获取单元，用于获取记录有失败操作信息的操作日志；

提取单元，用于根据所述获取单元获取的操作日志提取执行失败的操作，具体步骤包括：解析所述操作日志，读取所述操作日志包含的操作指令以及执行所述操作指令所需的指令参数，其中，所述操作指令是通过识别所述操作日志中携带的标签而得到的，所述标签用于在对日志进行分类时对日志进行多维度的标记，以使得在对每个操作生成日志之后通过识别标签得到具体操作对应的操作指令；

执行单元，用于根据预设条件，执行所述提取单元提取的操作，所述预设条件为根据不同的操作需求生成的处理策略，而所述操作为与所述处理策略对应的操作。

7.根据权利要求6所述的装置，其特征在于，所述获取单元包括：

分类模块，用于对日志进行分类，得到操作日志，所述操作日志为记录有操作信息的日志；

判断模块，用于根据所述分类模块分出的操作日志中的信息，判断所述操作日志中记录的操作是否执行成功；

获取模块，用于获取所述判断模块判断的记录有失败操作信息的操作日志。

8.根据权利要求6所述的装置，其特征在于，所述执行单元包括：

设置模块，用于设置所述操作的执行条件；

执行模块，用于根据所述设置模块设置的执行条件执行所述操作。

9.根据权利要求6所述的装置，其特征在于，在所述根据预设条件，执行所述操作之后，所述装置还包括：

判断单元，用于判断所述执行单元执行的操作的执行结果是否成功；

所述执行单元还用于，当所述判断单元判断所述操作的执行结果为不成功时，根据所述预设条件重复执行所述操作。

10.根据权利要求8所述的装置，其特征在于，所述设置模块设置所述操作的执行条件包括：执行操作的时间间隔和执行次数。

11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求5中任意一项所述的日志处理方法。

12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求5中任意一项所述的日志处理方法。

Images