CN102937931A - 一种日志数据传输的方法和系统 - Google Patents

Abstract

本发明公开了一种日志数据传输的方法和系统，其中所述日志数据传输涉及将应用服务器产生的日志数据传送至日志服务器的过程，所述日志服务器中包括日志数据库，或者，所述日志服务器与日志数据库相连，所述方法包括：日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中；从所述应用服务器中删除所述已写入日志数据库的日志数据，本发明能降低数据丢失的风险及减少存储的冗余。

Description

一种日志数据传输的方法和系统

技术领域

本发明涉及日志处理的技术领域，具体涉及一种日志数据传输的方法和系统。

背景技术

日志（log）用来储存和记录系统运行情况和用户使用情况的详细信息，这些信息是查看系统运行状态和排查问题的主要依据。例如，某个软件中应用程序出现崩溃情况，那么可以从程序事件日志中找到相应的记录，从而帮助相关技术人员分析并解决问题。

以线上系统日志信息为例，日志信息可以用来对线上业务运行过程的记录和运行程序的监控，通过分析记录的日志信息可以为出现和可能出现的错误进行提示、警告，还可以统计业务信息，为业务逻辑改进和应用程序升级提供可靠的依据。

参考图1所示的一种现有技术中基于C语言程序生成的日志记录系统的结构示意图，现有的日志记录系统具体可以包括应用服务器11和日志服务器12，其中，所述应用服务器11中包括多个应用程序111，以及LIB库（一种基于Linux平台的静态库或者动态库）112形式挂接在各个应用程序模块上的日志采集模块，以及，与所述日志采集模块相连的日志客户端113；所述日志服务器12与DB 13相连。

在这种现有的日志记录系统中，通常会针对每个应用程序模块111配置一个日志采集模块112，在应用程序模块111中调用日志采集模块112的接口，通过参数传递方式将日志级别、日志记录时间、日志内容、日志流水号、应用程序名等日志信息，传入日志采集模块112，日志采集模块112将采集到的日志信息写入LIB库112中的消息队列。日志客户端113读取消息队列中的日志信息通过网络通信发给远端的日志服务器12。日志服务器将收到的信息插入到数据库（DB）13中。

在上述日志传输的过程中，应用服务器上各应用程序模块111产生的日志信息通过LIB库发送给日志客户端113，所述日志客户端保存所收到的日志，再根据配置的日志服务器IP地址和相关端口号，将所收到的日志发送给日志服务器。日志服务器接收所述日志，将所接收到的日志统一保存到DB中。

这种方案一旦应用服务器11发生宕机，未及时发送出去的日志就会丢失，在日志服务器12处理完日志之前，是无法查看到当前发生的日志；另外，这种方案将在应用服务器上和日志服务器上分别建立一套数据库，存储两套日志，造成了存储的冗余。

因此，本领域技术人员需要迫切解决的问题是：提供一种日志数据传输的方法及系统，能降低数据丢失的风险及减少存储的冗余。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志数据传输的方法和相应的一种日志数据传输的系统。

依据本发明的一个方面，提供了一种日志数据传输的方法，所述日志数据传输涉及将应用服务器产生的日志数据传送至日志服务器的过程，所述日志服务器中包括日志数据库，或者，所述日志服务器与日志数据库相连，所述方法包括：

日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中；

从所述应用服务器中删除所述已写入日志数据库的日志数据。

可选地，所述日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中的步骤包括：

子步骤S1、日志服务器定时从所述应用服务器抓取日志数据；

子步骤S2、根据所述抓取的日志数据生成新日志文件；

子步骤S3、判断所述日志服务器中是否存在旧日志文件；若是，则执行子步骤S5，若否，则执行子步骤S4；

子步骤S4、创建一个空文件作为旧日志文件，转子步骤S5；

子步骤S5、将所述新日志文件与旧日志文件进行比较，生成增量日志文件；

子步骤S6、将所述增量日志文件写入日志数据库中。

可选地，所述子步骤S5进一步包括：

子步骤S11、将所述新日志文件与旧日志文件进行比较，提取新增内容生成新比较文件；

子步骤S12、采用所述新比较文件替换在先的旧比较文件；

子步骤S13、去除所述新比较文件中的冗余数据后，生成新的增量日志文件；

子步骤S14、采用所述新增量日志文件替换在先的旧增量日志文件。

可选地，所述日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中的步骤还包括：

子步骤S7、采用所述新日志文件替换旧日志文件。

可选地，所述子步骤S1为，日志服务器定时从所述应用服务器抓取当天的全量日志数据。

可选地，所述日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中的步骤还包括：

子步骤S8、若在将所述增量日志文件写入日志数据库中发生错误，则将写入的日志数据进行回滚。

根据本发明的另一方面，提供了一种日志数据传输的系统，包括：

应用服务器和日志服务器，所述应用服务器与日志服务器相连，所述日志服务器与日志数据库相连；

所述日志服务器还包括：

日志采集模块，适于定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中；

日志删除模块，适于删除应用服务器中已写入日志数据库的日志数据。

可选地，所述日志采集模块包括：

日志数据抓取子模块，适于定时从所述应用服务器抓取日志数据；

日志文件生成子模块，适于根据所述抓取的日志数据生成新日志文件；

判断子模块，适于判断所述日志服务器中是否存在旧日志文件；若否，则调用创建子模块，若是，则调用比较子模块；

创建子模块，适于创建一个空文件作为旧日志文件；

比较子模块，适于将所述新日志文件与旧日志文件进行比较，生成增量日志文件；

记录子模块，适于将所述增量日志文件写入日志数据库中。

可选地，所述比较子模块进一步包括：

提取单元，适于提取所述新日志文件与旧日志文件比较生成的新增内容新比较文件；

第一替换单元，适于将所述新比较文件替换在先的旧比较文件；

冗余数据删除单元，适于去除所述新比较文件中的冗余数据后，生成新的增量日志文件；

第二替换单元，适于将所述新增量日志文件替换在先的旧增量日志文件。

可选地，所述日志采集模块还包括：

第三替换子模块，适于将新日志文件替换旧日志文件。

可选地，所述日志采集模块还包括：

回滚子模块，适于所述增量日志文件写入日志数据库中发生错误时，将写入的日志数据进行回滚。

根据本发明的日志数据传输方法及系统，可以由日志服务器定时从应用服务器主动抓取当天全量的日志数据，抓取日志数据进行集中后则将应用服务器上已写入日志数据库的日志数据进行删除；由此解决了现有技术在服务器宕机时未及时发送出去的日志数据会丢失的问题，取得了降低数据丢失的风险和存储的冗余的有益效果。

由于日志数据库可以位于日志服务器中，也可以单独设置，与日志服务器相连，日志数据库可以按照需求控制内存空间的容量，定期清理不再需要的日志数据，日志服务器抓取日志数据进行集中后则将应用服务器上已写入日志数据库的日志数据删除，降低了存储的冗余。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的现有技术的日志传输系统的结构示意图；

图2示出了根据本发明一个实施例的一种日志数据传输方法实施例的流程图；

图3示出了根据本发明一个实施例的一种日志数据传输系统实施例的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明的实施例的核心构思之一在于，通过改变现有日志服务端获取日志数据的方式，从应用服务器主动推送变为日志服务器定时从应用服务器抓取当天全量的日志数据，抓取再之后进行集中，集中完成后将应用服务器上已写入日志数据库的日志数据删除。

参照图2，示出了本发明一种日志数据的传输方法实施例的流程图，具体可以包括以下步骤：

步骤201、日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中；

步骤202、所述应用服务器中删除所述已写入日志数据库的日志数据。

本发明涉及两个部分，应用服务器和日志服务器。

应用服务器可以是多台平行分布的，前端可以设置负载均衡器进行数据分发，日志服务器是处于后端进行汇总分析的服务器，可以是一台，也可以是多台，可以根据实际处理能力来部署。在本发明中，应用服务器不使用日志数据库进行记录，因为应用服务器需要更快的完成应用服务，并记录下应用服务过程中的原始日志数据，至于日志分析，更多是依靠后端日志服务器的处理。日志服务器的主要工作是收集前端的原始日志数据，进行处理和加工后加以展示，以便于运维人员迅速定位问题使用。例如，在发生紧急情况时，通过在后端日志服务器的日志数据分析，就可以定位到应用服务器上所发生的问题。日志服务器中日志数据库可以位于日志服务器中，也可以单独设置，与日志服务器相连。

在本发明中，日志数据库还可以按照需求控制内存空间的容量，定期清理不再需要的日志数据。应用服务器记录下原始日志数据，日志服务器收集到日志服务器上，再根据查询和分析的需求，设计出可以支持多个索引查询的多维的表结构，对这些日志数据进行深度加工，存入日志数据库，就可以很好的支持展示的需求。

在具体实现中，日志服务器定时从所述应用服务器抓取日志数据，然后根据所述抓取的日志数据生成新日志文件，再将所述新日志文件与旧日志文件进行比较，生成增量日志文件，然后将所述增量日志文件写入日志数据库中，最后从所述应用服务器中删除所述已写入日志数据库的日志数据。

在本发明的一种优选实施例中，所述步骤201具体可以包括以下子步骤：

子步骤S101，日志服务器定时从所述应用服务器抓取日志数据；

子步骤S102，根据所述抓取的日志数据生成新日志文件；

子步骤S103，判断所述日志服务器中是否存在旧日志文件；若是，则执行子步骤S105，若否，则执行子步骤S104；

子步骤S104，创建一个空文件作为旧日志文件，转子步骤S105；

子步骤S105，将所述新日志文件与旧日志文件进行比较，生成增量日志文件；

子步骤S106，将所述增量日志文件写入日志数据库中。

在具体实现中，所述日志服务器定时从所述应用服务器抓取日志数据的方式可以由本领域技术人员根据需求进行选择，例如，可以采用在应用服务器和日志服务器之间建立SSH（安全外壳协议）互信机制，使用CRONTAB命令（用于设置周期性被执行的指令）和RSYNC（数据镜像备份工具）进行定时同步，和/或，编写网络传输程序，通过网络将日志同步到日志服务器上等方式，本发明对此不作限制。

本发明通过改变现有日志服务器获取日志数据的方式，从应用服务器的日志客户端主动推送变为日志服务器定时从应用服务器抓取当天全量的日志数据，抓取再之后进行集中，集中完成后将应用服务器上已写入日志数据库的日志数据删除。

由于日志数据库可以位于日志服务器中，也可以单独设置，与日志服务器相连，日志数据库可以按照需求控制内存空间的容量，定期清理不再需要的日志数据，日志服务器抓取日志数据进行集中后则将应用服务器上已写入日志数据库的日志数据删除，降低了存储的冗余；日志服务器定时从应用服务器主动抓取当天全量的日志数据，解决了现有技术在服务器宕机时未及时发送出去的日志数据会丢失的问题，降低数据丢失的风险。

在本发明的另一种优选实施例中，所述步骤201具体可以包括以下子步骤：

子步骤S201，日志服务器定时从所述应用服务器抓取日志数据；

子步骤S202，根据所述抓取的日志数据生成新日志文件；

子步骤S203，判断所述日志服务器中是否存在旧日志文件；若是，则执行子步骤S205，若否，则执行子步骤S204；

子步骤S204，创建一个空文件作为旧日志文件，转子步骤S205；

子步骤S205，将所述新日志文件与旧日志文件进行比较，提取新增内容生成新比较文件；

子步骤S206、采用所述新比较文件替换在先的旧比较文件；

子步骤S207、去除所述新比较文件中的冗余数据后，生成新的增量日志文件；

子步骤S208、采用所述新增量日志文件替换在先的旧增量日志文件。

子步骤S209，将所述增量日志文件写入日志数据库中。

子步骤S210、采用所述新日志文件替换旧日志文件。

子步骤S211、若在将所述新增量日志文件写入日志数据库中发生错误，则将写入的日志数据进行回滚。

在具体的实现中，所述新日志文件与旧日志文件比较，可以采用LINUX操作系统的DIFF命令进行比较。

作为本发明实施例的一种示例，所述日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中步骤包括：

1）日志服务器定时从所述应用服务器抓取日志数据；

2）根据所述抓取的日志数据生成新日志文件*.new；

3）判断所述日志服务器中是否存在旧日志文件*.old；若是，则执行5），若否，则执行4）；

4）创建一个空文件作为旧日志文件*.old，转5）；

5）将所述新日志文件*.new与旧日志文件*.old进行比较，提取新增内容生成新比较文件*.temp；

6）采用所述新比较文件*.temp替换在先的旧比较文件*.temp；

7）去除所述新比较文件*.temp中的冗余数据后，生成新的增量日志文件*.final；

8）采用所述新增量日志文件*.final替换在先的旧增量日志文件*.final；

9）将所述增量日志文件*.final写入日志数据库中；

10）采用所述新日志文件*.new替换旧日志文件*.old；

11）若在将所述新增量日志文件*.final写入日志数据库中发生错误，则将写入的日志数据进行回滚。

为使本领域技术人员更好地理解本发明，以下通过一个具体示例更好地阐述本发明实施例的处理过程：

1、设定每半个小时日志服务器从应用服务器上抓取日志文件到日志服务器上，例如今天是2012年8月31日，日志服务器便会每半个小时抓取今天的全量日志数据，例如GatewayServer_INFO_log.20120831。

2、日志服务器抓取到日志数据后，对日志数据进行重命名，命名为以new结尾的文件，例如GatewayServer_INFO_log.20120831.new，表示这个文件是新日志文件。

3、判断日志服务器中是否存有GatewayServer-_INFO_log.20120831.old文件，若是，则执行5，若否，则执行4。

4、日志服务器创建一个空的旧文件，命名为GatewayServer-_INFO_log.20120831.old文件，转5。

5、使用diff命令将所述GatewayServer_INFO_log.20120831.new文件与GatewayServer_INFO_log.20120831.old文件进行对比；，提取新增内容生成新比较文件GatewayServer_INFO_log.20120831.temp文件。

6、采用所述新比较文件GatewayServer_INFO_log.20120831.temp替换在先的旧比较文件GatewayServer_INFO_log.20120831.temp。

7、使用sed命令删除由diff命令产生的相应解释信息，生成增量文件GatewayServer_INFO_log.20120831.final文件。

8、采用所述新增量日志文件GatewayServer_INFO_log.20120831.final替换在先的旧增量日志文件GatewayServer_INFO_log.20120831.final。

9、对增量文件GatewayServer_INFO_log.20120831.final文件进行格式化并导入数据库，例如，该文件的一行内容为[20518][1190676800][0AA0000FE33C52012083100155221307]20120830 00:22:08.063 INFOUpdate TransLog Success，对应的是进程号、线程号、流水号、时间戳、级别、分隔符、内容、7列内容，但是系统指令例如AWK（文本处理工具）等会认为上述内容为8列，因为系统对于以上内容只能根据空格来判断列数，但是在时间列的日期和时间之间存在一个空格，会认为它是两列，需要对这两列进行合并处理，形成一列。然后以出去分割符的6列内容为数据库的表字段，生成SQL（结构化查询语言），插入日志数据库，每读一行，处理一次，直到读完全部文件。

10、采用新的日志文件GatewayServer_INFO_log.20120831.new替换旧的日志文件GatewayServer_INFO_log.20120831.old。

11、若在将所述增量日志文件写入日志数据库中发生错误，则将写入的日志数据进行回滚。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参照图3，示出了本发明一种日志数据传输系统实施例的结构框图，具体可以包括以下模块：

应用服务器401和日志服务器402，所述应用服务器与日志服务器相连，所述日志服务器与日志数据库403相连；在本发明实施例中，所述日志服务器还可以包括以下模块：

日志采集模块404，适于日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中；

日志删除模块405，适于删除应用服务器中已写入日志数据库的日志数据。

在具体实现中，应用服务器401生成日志数据后，由日志服务器的日志采集模块404定时从所述应用服务器401抓取日志数据，然后根据所述抓取的日志数据生成新日志文件，再将所述新日志文件与旧日志文件进行比较，生成增量日志文件，然后将所述增量日志文件写入日志数据库中，最后日志删除模块405从所述应用服务器401中删除所述已写入日志数据库403的日志数据。

在本发明的一种优选实施例中，所述模块404具体可以包括以下子模块：

日志数据抓取子模块，适于日志服务器定时从所述应用服务器抓取日志数据；

日志文件生成子模块，适于根据所述抓取的日志数据生成新日志文件；

判断子模块，适于判断所述日志服务器中是否存在旧日志文件；

创建子模块，适于创建一个空文件作为旧日志文件；

比较子模块，适于将所述新日志文件与旧日志文件进行比较；

本发明的一种优选实施例中，所述比较子模块还可以包括以下单元：

提取模块单元，适于提取所述新日志文件与旧日志文件比较生成的新增内容新比较文件；

第一替换模块单元，适于将所述新比较文件替换在先的旧比较文件；

冗余数据删除模块单元，适于去除所述新比较文件中的冗余数据后，生成新的增量日志文件；

第二替换模块单元，适于将所述新增量日志文件替换在先的旧增量日志文件。

记录子模块；适于将所述增量日志文件写入日志数据库中；

日志删除子模块，适于删除应用服务器中已写入日志数据库的日志数据；

回滚子模块，适于所述增量日志文件写入日志数据库中发生错误时，将写入的日志数据进行回滚。

在具体实现中，应用服务器生成日志数据后，由日志服务器定时从所述应用服务器抓取日志数据，然后根据所述抓取的日志数据生成新日志文件，再将所述新日志文件与旧日志文件进行比较，生成增量日志文件，然后将所述增量日志文件写入日志数据库中，最后从所述应用服务器中删除所述已写入日志数据库的日志数据。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的日志数据传输设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (11)

1.一种日志数据传输的方法，其特征在于，所述日志数据传输涉及将应用服务器产生的日志数据传送至日志服务器的过程，所述日志服务器中包括日志数据库，或者，所述日志服务器与日志数据库相连，所述方法包括：

日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中；

从所述应用服务器中删除所述已写入日志数据库的日志数据。

2.如权利要求1所述的方法，其特征在于，所述日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中的步骤包括：

子步骤S1、日志服务器定时从所述应用服务器抓取日志数据；

子步骤S2、根据所述抓取的日志数据生成新日志文件；

子步骤S3、判断所述日志服务器中是否存在旧日志文件；若是，则执行子步骤S5，若否，则执行子步骤S4；

子步骤S4、创建一个空文件作为旧日志文件，转子步骤S5；

子步骤S5、将所述新日志文件与旧日志文件进行比较，生成增量日志文件；

子步骤S6、将所述增量日志文件写入日志数据库中。

3.如权利要求2所述的方法，其特征在于，所述子步骤S5进一步包括：

子步骤S 11、将所述新日志文件与旧日志文件进行比较，提取新增内容生成新比较文件；

子步骤S12、采用所述新比较文件替换在先的旧比较文件；

子步骤S13、去除所述新比较文件中的冗余数据后，生成新的增量日志文件；

子步骤S14、采用所述新增量日志文件替换在先的旧增量日志文件。

4.如权利要求2或3所述的方法，其特征在于，所述日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中的步骤还包括：

子步骤S7、采用所述新日志文件替换旧日志文件。

5.如权利要求2所述的方法，其特征在于，所述子步骤S1为，日志服务器定时从所述应用服务器抓取当天的全量日志数据。

6.如权利要求1或4所述的方法，其特征在于，所述日志服务器定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中的步骤还包括：

子步骤S8、若在将所述增量日志文件写入日志数据库中发生错误，则将写入的日志数据进行回滚。

7.一种日志数据传输的系统，其特征在于，包括：

应用服务器和日志服务器，所述应用服务器与日志服务器相连，所述日志服务器与日志数据库相连；

所述日志服务器还包括：

日志采集模块，适于定时从所述应用服务器抓取日志数据，并将所述日志数据写入日志数据库中；

日志删除模块，适于删除应用服务器中已写入日志数据库的日志数据。

8.如权利要求7所述的系统，其特征在于，所述日志采集模块包括：

日志数据抓取子模块，适于定时从所述应用服务器抓取日志数据；

日志文件生成子模块，适于根据所述抓取的日志数据生成新日志文件；

判断子模块，适于判断所述日志服务器中是否存在旧日志文件；若否，则调用创建子模块，若是，则调用比较子模块；

创建子模块，适于创建一个空文件作为旧日志文件；

比较子模块，适于将所述新日志文件与旧日志文件进行比较，生成增量日志文件；

记录子模块，适于将所述增量日志文件写入日志数据库中。

9.如权利要求7所述的系统，其特征在于，所述比较子模块进一步包括：

提取单元，适于提取所述新日志文件与旧日志文件比较生成的新增内容新比较文件；

第一替换单元，适于将所述新比较文件替换在先的旧比较文件；

冗余数据删除单元，适于去除所述新比较文件中的冗余数据后，生成新的增量日志文件；

第二替换单元，适于将所述新增量日志文件替换在先的旧增量日志文件。

10.如权利要求8或9所述的系统，其特征在于，所述日志采集模块还包括：

第三替换子模块，适于将新日志文件替换旧日志文件。

11.如权利要求7或10所述的系统，其特征在于，所述日志采集模块还包括：

回滚子模块，适于所述增量日志文件写入日志数据库中发生错误时，将写入的日志数据进行回滚。

Images