CN107979490A - 日志数据的记录方法及服务器集群 - Google Patents

Abstract

本发明公开了一种日志数据的记录方法及服务器集群，涉及数据处理技术领域，主要目的在于解决现有技术中，在执行日志写入磁盘过程中，由于会循环执行CPU的挂起、唤起操作，因此会降低系统记录日志的效率的问题，通过减少CPU的挂起、唤起次数来提高记录日志的效率。本发明的主要方案包括：获取数据发送方发送的待存储日志数据，并将所述待存储日志数据存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；若超过，则将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储。

Description

日志数据的记录方法及服务器集群

技术领域

本发明涉及数据处理技术领域，特别是涉及一种日志数据的记录方法及服务器集群。

背景技术

为了合理利用系统资源，更好地发挥各种资源的效益，使各种物理设备之间的时间性限制条件减少到最低限度，最大限度地提高系统的效率，因而开发了高并发软件系统。其中，高并发软件系统中日志是不可缺少的一部分，系统日志用于记录系统行为信息以及系统错误信息。

系统日志在记录系统行为信息或者系统错误信息时，是逐条记录的，在日志记录过程中，由于高并发软件系统是并发执行的，系统接收到日志写入请求时，系统会将处理其他进程的中央处理器(Central Processing Unit，CPU)挂起，切换输入/输出(Input/Output，I/O)操作，将一条日志写入到磁盘中，待日志成功写入到磁盘后，唤起CPU；在记录下一条日志时，重复同样的操作。

发明人在实现上述发明过程中，发现现有技术的系统日志中一条日志本身是轻量级的，但是，在实际应用过程中，系统的运行会产生大量日志，大量日志组成的系统日志，数量是重量级的。在将大量的日志写入磁盘时，由于会循环执行CPU的挂起、唤起操作，因此会降低系统记录日志的效率。

发明内容

有鉴于此，本发明提供的一种日志数据的记录方法及服务器集群，主要目的在于解决现有技术中，在执行日志写入磁盘过程中，由于会循环执行CPU的挂起、唤起操作，因此会降低系统记录日志的效率的问题，通过减少CPU的挂起、唤起次数来提高记录日志的效率。

依据本发明一个方面，本发明提供了一种日志数据的记录方法，包括：

获取数据发送方发送的待存储日志数据，并将所述待存储日志数据存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

若超过，则将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储。

可选的，将所述待存储日志数据存储于日志缓存服务中包括：

对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型；

将所述待存储日志数据记录到与所述数据类型对应的缓存模块中，所述日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

可选的，所述待存储日志数据包含至少两个字段：数据类型字段、数据内容字段；

所述对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型包括：

对所述待存储日志数据的报文进行解析，获取所述报文中的数据类型字段；

根据所述数据类型字段确定所述待存储日志数据的数据类型。

可选的，在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，所述方法还包括：

若确定所述缓存模块中所述待存储日志数据的数据量未超过预设存储阈值，则根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性；

将所述缓存日志中的所有待存储日志数据写入到日志系统中包括：

若确定所述缓存模块中所述待存储日志数据的数据量超过预设存储阈值，则将所述缓存模块中分类后的待存储日志数据写入所述日志系统中。

可选的，所述方法还包括：

若所述缓存模块中的所有待存储日志数据均写入到所述日志系统中，则清空所述缓存模块中的所有待存储日志数据。

可选的，在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，所述方法还包括：

根据所述数据类型，在所述日志缓存服务中构建多个缓存模块。

依据本发明另一个方面，本发明提供了一种服务器集群，包括：

处理器，被配置为获取数据发送方发送的待存储日志数据，将所述收发器接收到的所述待存储日志存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

当所述日志缓存服务中待存储日志数据的数据量超过所述预设存储阈值时，将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储；

存储器，被配置为存储所述处理器的可执行指令；

总线，被配置为耦接所述处理器及所述存储器。

可选的，所述处理器还被配置为：

对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型；

将所述待存储日志数据记录到与所述数据类型对应的缓存模块中，所述日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

可选的，所述待存储日志数据包含至少两个字段：数据类型字段、数据内容字段；

所述处理器还被配置为：

对所述待存储日志数据的报文进行解析，获取所述报文中的数据类型字段；

根据所述数据类型字段确定所述待存储日志数据的数据类型。

可选的，所述处理器还被配置为：

在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，当确定所述待存储日志数据的数据量未超过预设存储阈值时，根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性；

当所述待存储日志数据的数据量超过预设存储阈值时，将所述缓存模块中分类后的待存储日志数据写入所述日志系统中。

可选的，所述处理器还被配置为：

当所述缓存模块中的所有待存储日志数据均写入到所述日志系统中后，清空所述缓存模块中的所有待存储日志数据。

可选的，所述处理器还被配置为：

在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，根据所述数据类型，在所述日志缓存服务中构建多个缓存模块。

借由上述技术方案，本发明提供的日志数据的记录方法及服务器集群，数据接收端获取数据发送方发送的待存储日志数据，并将待存储日志数据存储于日志缓存服务中，日志缓存服务用于暂存待存储日志数据；监控日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；若超过，则将日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，日志系统通过非易失性存储器进行存储；现有技术相比，本发明通过增加日志缓存服务机制，减少待存储日志数据写入时，CPU的挂起、唤起次数，进而有效提高了待存储日志数据的写入效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的第一种日志数据的记录方法的流程图；

图2示出了本发明实施例提供的第二种日志数据的记录方法的流程图；

图3示出了本发明实施例提供的一种日志记录的架构示意图；

图4示出了本发明实施例提供的第三种日志数据的记录方法的流程图；

图5示出了本发明实施例提供的一种日志数据的记录装置的组成框图；

图6示出了本发明实施例提供的另一种日志数据的记录装置的组成框图；

图7示出了本发明实施例提供的一种服务器集群的实体架构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供的一种日志数据的记录方法，该方法应用于数据接收方，在实际应用中，数据接收方可以是服务器集群，也可以是具有数据处理能力的中继设备等，在后续实施例中会以数据接收方为服务器集群中的任一服务器为例进行说明，由于日志数据的数量级较大，为了能够对大数量级的数据进行处理，因此，通常采用分布式的方式对服务器集群布置，分布式部署方式下，各个服务器具有同样的数据处理功能，采用相同的数据处理方式。但是，应当明确的是，该种说明方式并非易在限定数据接收方仅能为服务器。如图1所示所述方法包括：

101、服务器获取数据发送方发送的待存储日志数据，并将所述待存储日志数据存储于日志缓存服务中。

本发明实施例中，待存储日志数据包含系统错误日志、用户访问行为日志等等。所述数据发送方包括但不局限于以下内容，例如：智能手机、电脑、智能电视、分布式服务器中的任意服务器等等，具体的，本发明实施例对日志数据的种类、数据发送方的类别不做限定。

为了解决现有技术中，在将待存储日志数据写入日志系统时，均需执行一次中央处理器(Central Processing Unit，CPU)的挂起、唤起操作，导致写入效率低的问题，本发明实施例中，提供一种缓存机制，减少CPU的挂起、唤起次数，进而提高写入效率。所述缓存机制为在服务器执行将待存储日志数据写入到日志系统之前，增加日志缓存服务，所述日志缓存服务用于暂存所述待存储日志数据。

102、服务器监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值。

有上述描述可知，日志缓存服务的作用的暂存待存储日志数据，其存储空间有限，对存储的待存储日志数据的数据量有一定的限制，该限制可通过待存储日志数据的数据量进行控制，也可通过待存储日志数据的具体条数进行控制。本发明实施例以通过待存储日志数据的数据量为例进行说明。

预设存储阈值为一个经验值，可根据日志缓存服务中存储器的硬件功能进行设置，也可以根据用户的实际需求进行设置。示例性的，本发明实施例以预设存储阈值为1G为例进行说明。服务器在将获取的待存储日志数据存储于日志缓存服务后，对日志缓存服务中待存储日志数据的数据量进行监控，若日志缓存服务中待存储日志数据的数据量未超过预设存储阈值，则继续像日志缓存服务中存储待存储日志数据，并继续进行监控，直到待存储日志的数据量超过预设存储阈值。上述示例中以预设存储阈值为1G为例进行的说明，在实际应用中，预设存储阈值也可以为500MB、2G等等，本发明实施例对预设存储阈值不作具体限定。

103、若超过，则服务器将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储。

呈由上述示例，预设存储阈值为1G，假设日志缓存服务中有10条待存储日志数据，每条数据的数据量为102.4Mb，现在技术中，若将10条待存储日志数据写入日志系统，则需求执行10次CPU的挂起、唤起操作。本发明实施例中，利用日志缓存服务，现将10条待存储日志数据进行暂存，当日志缓存服务中的数据量超过1G时，执行一次CPU的挂起，并执行将日志缓存服务中的所有待存储日志数据全部写入到日志系统中，便于后续对待存储日志数据进行分析。

本发明实施例提供的日志数据的记录方法及服务器集群，数据接收端获取数据发送方发送的待存储日志数据，并将待存储日志数据存储于日志缓存服务中，日志缓存服务用于暂存待存储日志数据；监控日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；若超过，则将日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，日志系统通过非易失性存储器进行存储；现有技术相比，本发明通过增加日志缓存服务机制，减少待存储日志数据写入时，CPU的挂起、唤起次数，进而有效提高了待存储日志数据的写入效率。

作为对上述实施例的细化及扩展，本发明实施例还提供一种日志数据的记录方法，如图2所示，所述方法包括：

201、服务器对数据发送方发送的待存储日志数据进行解析，确定所述待存储日志数据的数据类型。

如图3所示，图3示出了本发明实施例提供的一种日志记录的架构示意图，数据发送方将其产生的待存储日志数据发送至服务器，服务器基于日志服务中的数据解析单元进行分析，分析完成后，确定待存储日志数据在日志服务中的具体存储模块，待存储日志数据满足存储模块的转存条件时，在将待存储日志数据写入到日志系统中，完成日志记录。相比于现有技术而言，本发明实施例提供的方法增加了一个日志服务，该日志服务起到一个缓存的作用，能够减少日志写入日志系统时，系统CPU的挂起、唤起次数，进而提高了写入效率。

服务器获取待存储日志数据后，对存储日志数据中的报头进行解析，确定出待存储日志数据的数据类型，其目的在于，根据数据类型确定出该待存储日志数据的记录路径，以便于后续该日志进行分析。

202、服务器将所述待存储日志数据记录到与所述数据类型对应的缓存模块中。

在构建缓存模块时，根据日志数据的数据类型进行构建的，确保数据类型与缓存模块之间的映射关系，其目的在于实现海量日志数据的分类存储，示例性的，若待存储日志数据的数据类型为系统错误类型，那么，构建的缓存模块专门用于存储系统错误类型的日志，若待存储日志数据的数据类型为用户行为类型，那么，构建的缓存模块专门用于存储用户行为的日志。请继续参阅图3，日志服务中包含N个缓存模块，其中N为大于2的整数，具体的本发明实施例对缓存模块的类型不作限定。

为了便于日志服务便于根据数据类型确定待存储日志数据的存储路径，会将数据类型与缓存模块之间的映射关系进行记录，如表1所示，表1为映射关系表，当步骤201确定待存储日志的数据类型后，查询映射关系表，确定出具体的缓存模块后，将待存储日志数据记录到与所述数据类型对应的缓存模块中。示例性的，在数据分析后确定待存储日志数据的数据类型为数据类型1，查询映射关系表后，确定将待存储日志数据存储于缓存模块1中。应当说明的是，表1仅为便于理解给出的示例性说明，在实际应用过程中，不对映射关系表中的名称、数量做限制。

表1

数据类型	缓存模块
		数据类型1	缓存模块1
数据类型2	缓存模块2
		数据类型3	缓存模块3
……	……

203、若所述缓存模块中所述待存储日志数据的数据量超过预设存储阈值，则服务器将所述缓存模块中的所有待存储日志数据写入到日志系统中。

首先，根据经验设置预设存储阈值，在设置预设存储阈值时，不同的缓存摸可以设置相同的阈值，也可以设置不同的缓存模块有不同的阈值，例如，用户行为的数据类型的待存储日志数据的数据量比较大，因此，可以设置对应的缓存模块的预设存储阈值较大一些，用户支付信息数据类型的待存储日志数据的数据量较小，可以设置对应的缓存模块的预设存储阈值小一些，具体的本发明实施例对预设存储阈值的具体设置大小不做限定。

当所述缓存模块中所述待存储日志数据的数据量超过预设存储阈值，则服务器将所述缓存模块中的所有待存储日志数据写入到日志系统中，当所述缓存模块中所述待存储日志数据的数据量超过预设存储阈值时，服务器继续在所述缓存模块中存储待存储日志数据。

本发明实施例提供的日志数据的记录方法，数据接收端对数据发送方发送的待存储日志数据进行解析，确定待存储日志数据的数据类型，将该待存储日志数据记录到与数据类型对应的缓存模块中，该缓存模块与数据类型存在映射关系，当缓存模块中存储日志数据的数据量超过预设存储阈值后，将缓存模块中所有的待存储日志数据写入到日志系统中，与现有技术相比，本发明实施例通过增加缓存机制，减少待存储日志数据写入时，CPU的挂起、唤起次数，进而有效提高了待存储日志数据的写入效率。

作为对上述实施例的细化及扩展，本发明实施例还提供另一种日志数据的记录方法，如图4所示，所述方法包括：

301、服务器对数据发送方发送的待存储日志数据进行解析，确定所述待存储日志数据的数据类型。

在具体应用过程中，数据发送方在发送待存储日志时，以数据包的形式进行发送，数据包包含报头信息，在本发明实施例中，报头中包含至少一下三个字段，数据类型字段、日志ID字段、数据内容字段，还会包含一些源互联网协议地址(Internet ProtocolAddress，IP地址)、目的IP地址等信息。在数据分析单元对待存储日志数据进行解析时，对所述待存储日志数据的报文进行解析，获取所述报文中的数据类型字段，根据所述数据类型字段确定所述待存储日志数据的数据类型。有关数据类型的相关说明请参阅步骤101的详细描述，本发明实施例在此不再进行赘述。

其中，日志ID字段可以为数据发送方在生成待存储日志数据时，分配的字段，也可以是在数据发送方向服务器发送存储请求时，服务器分配的日志ID信息，具体不做限定。数据内容字段中，一般包含日志的具体内容，例如，假设，待存储日志数据为用户行为日志，数据内容字段中就包含用户登录账号的时间、设备信息、访问网站信息、跳转网站、访问某一网址的时间等等，若待存储日志数据为系统错误日志，一般包含的数据内容字段由用户身份信息、错误等级、错误原因、出错时间、错误位置等信息。其中，数据内容字段下的每一个数据都作为一种数据属性，如，错误等级为系统错误日志中数据内容字段的其中一个数据属性。

302、服务器将所述待存储日志数据记录到与所述数据类型对应的缓存模块中，日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

有关步骤302的描述，请参考步骤202的详细描述，本发明实施例在此不再进行一一赘述。

303、监控所述缓存模块中所述待存储日志数据的数据量是否超过预设存储阈值。

若确定所述待存储日志数据的数据量未超过预设存储阈值，则执行步骤304；若确定所述待存储日志数据的数据量超过预设存储阈值，则执行步骤305。

304、根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性。

在实际应用过程中，一个服务器接收的日志可能来源于多个不同的数据发送发，为了便于对日志进行统一管理，在将待存储日志数据正式写入日志系统之前，将数据进行分类整理，便于管理员查询、分析日志。

以待存储日志数据为系统错误日志为例进行说明，在进行分类时，可以根据错误等级这一数据属性对缓存模块中的所有待存储日志数据进行分类，将错误等级为低等级的待存储日志数据归为一类，将错误等级为中等级的待存储日志数据归为一类，将错误等级为高等级的待存储日志数据归为一类，分类完成后，还可以根据错误等级的优先级顺序进行整理，例如将错误等级高的数据排列在显示界面的前面，能够将错误等级高的日志明显直观的进行展示。

作为本发明实施例的另一种可实现方式，还可以根据用户身份信息对对缓存模块中的所有待存储日志数据进行分类，记录每个用户的系统错误次数、错误原因、错误等级等。

305、确定将所述待存储日志数据的数据量写入所述日志系统中，将所述缓存模块中的所有待存储日志数据写入到日志系统中。

306、若所述缓存模块中的所有待存储日志数据均写入到所述日志系统中，则清空所述缓存模块中的所有待存储日志数据。

由于缓存模块的存储空间是有限的，当确定缓存模块中的所有待存储日志数据均写入到日志系统后，将缓存模块中的所有待存储日志数据清除，便于缓存模块继续对后续的待存储日志数据进行暂存。

进一步的，作为对上述图1所示方法的实现，本发明另一实施例还提供了一种日志数据的记录装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

本发明实施例提供一种日志数据的记录装置，如图5所示，所述装置包括：

获取单元41，用于获取数据发送方发送的待存储日志数据；

存储单元42，用于将所述获取单元41获取的所述待存储日志数据存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控单元43，用于监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

写入单元44，用于当所述监控单元43监控到述日志缓存服务中待存储日志数据的数据量超过预设存储阈值时，将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储。

本发明实施例提供的日志数据的记录装置，数据接收端获取数据发送方发送的待存储日志数据，并将待存储日志数据存储于日志缓存服务中，日志缓存服务用于暂存待存储日志数据；监控日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；若超过，则将日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，日志系统通过非易失性存储器进行存储；现有技术相比，本发明通过增加日志缓存服务机制，减少待存储日志数据写入时，CPU的挂起、唤起次数，进而有效提高了待存储日志数据的写入效率。

进一步的，如图6所示，所述存储单元42包括：

处理模块421，用于对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型；

存储模块422，用于将所述待存储日志数据记录到与所述处理模块421确定的所述数据类型对应的缓存模块中，所述日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

进一步的，如图6所示，所述待存储日志数据包含至少两个字段：数据类型字段、数据内容字段；

所述处理模块421包括：

解析子模块4211，对所述待存储日志数据的报文进行解析；

获取子模块4212，用于在所述解析子模块对所述待存储日志数据的报文进行解析过程中，获取所述报文中的数据类型字段；

确定子模块4213，用于根据所述获取子模块4212获取的所述数据类型字段确定所述待存储日志数据的数据类型。

进一步的，如图6所示，所述装置还包括：

分类单元45，用于在所述写入单元44将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，确定所述缓存模块中所述待存储日志数据的数据量未超过预设存储阈值后，根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性；

所述写入单元44，还用于当确定所述缓存模块中所述待存储日志数据的数据量超过预设存储阈值时，将所述缓存模块中分类后的待存储日志数据写入所述日志系统中。

进一步的，如图6所示，所述装置还包括：

清空单元46，当所述缓存模块中的所有待存储日志数据均写入到所述日志系统中时，清空所述缓存模块中的所有待存储日志数据。

进一步的，如图6所示，所述装置还包括：

构建单元47，用于在所述写入单元44将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，根据所述数据类型，在所述日志缓存服务中构建多个缓存模块。

本发明实施例提供的日志数据的记录装置，数据接收端对数据发送方发送的待存储日志数据进行解析，确定待存储日志数据的数据类型，将该待存储日志数据记录到与数据类型对应的缓存模块中，该缓存模块与数据类型存在映射关系，当缓存模块中存储日志数据的数据量超过预设存储阈值后，将缓存模块中所有的待存储日志数据写入到日志系统中，与现有技术相比，本发明实施例通过增加缓存机制，减少待存储日志数据写入时，CPU的挂起、唤起次数，进而有效提高了待存储日志数据的写入效率。

本发明实施例还提供一种服务器集群，如图7所示，包括：

处理器51，被配置为获取数据发送方发送的待存储日志数据，将所述收发器接收到的所述待存储日志存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

当所述日志缓存服务中待存储日志数据的数据量超过所述预设存储阈值时，将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器52进行存储；

存储器52，被配置为存储所述处理器51的可执行指令；

总线53，被配置为耦接所述处理器51及所述存储器52。

进一步的，如图7所示，所述处理器51还被配置为：

对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型；

将所述待存储日志数据记录到与所述数据类型对应的缓存模块中，所述日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

进一步的，如图7所示，所述待存储日志数据包含至少两个字段：数据类型字段、数据内容字段；

所述处理器51还被配置为：

对所述待存储日志数据的报文进行解析，获取所述报文中的数据类型字段；

根据所述数据类型字段确定所述待存储日志数据的数据类型。

进一步的，如图7所示，所述处理器51还被配置为：

在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，当确定所述待存储日志数据的数据量未超过预设存储阈值时，根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性；

当所述待存储日志数据的数据量超过预设存储阈值时，将所述缓存模块中分类后的待存储日志数据写入所述日志系统中。

进一步的，如图7所示，所述处理器51还被配置为：

当所述缓存模块中的所有待存储日志数据均写入到所述日志系统中后，清空所述缓存模块中的所有待存储日志数据。

进一步的，如图7所示，所述处理器51还被配置为：

在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，根据所述数据类型，在所述日志缓存服务中构建多个缓存模块。

本发明实施例提供的服务器集群，服务器集群获取数据发送方发送的待存储日志数据，并将待存储日志数据存储于日志缓存服务中，日志缓存服务用于暂存待存储日志数据；监控日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；若超过，则将日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，日志系统通过非易失性存储器进行存储；现有技术相比，本发明实施例通过增加日志缓存服务机制，减少待存储日志数据写入时，CPU的挂起、唤起次数，进而有效提高了待存储日志数据的写入效率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的日志数据的记录方法及服务器集群中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种日志数据的记录方法，其特征在于，包括：

获取数据发送方发送的待存储日志数据，并将所述待存储日志数据存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

若超过，则将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储。

2.根据权利要求1所述的方法，其特征在于，将所述待存储日志数据存储于日志缓存服务中包括：

对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型；

将所述待存储日志数据记录到与所述数据类型对应的缓存模块中，所述日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

3.根据权利要求2所述的方法，其特征在于，所述待存储日志数据包含至少两个字段：数据类型字段、数据内容字段；

所述对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型包括：

对所述待存储日志数据的报文进行解析，获取所述报文中的数据类型字段；

根据所述数据类型字段确定所述待存储日志数据的数据类型。

4.根据权利要求3所述的方法，其特征在于，在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，所述方法还包括：

若确定所述缓存模块中所述待存储日志数据的数据量未超过预设存储阈值，则根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性；

将所述缓存日志中的所有待存储日志数据写入到日志系统中包括：

若确定所述缓存模块中所述待存储日志数据的数据量超过预设存储阈值，则将所述缓存模块中分类后的待存储日志数据写入所述日志系统中。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所述缓存模块中的所有待存储日志数据均写入到所述日志系统中，则清空所述缓存模块中的所有待存储日志数据。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，所述方法还包括：

根据所述数据类型，在所述日志缓存服务中构建多个缓存模块。

7.一种服务器集群，其特征在于，包括：

处理器，被配置为获取数据发送方发送的待存储日志数据，将所述收发器接收到的所述待存储日志存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

当所述日志缓存服务中待存储日志数据的数据量超过所述预设存储阈值时，将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储；

存储器，被配置为存储所述处理器的可执行指令；

总线，被配置为耦接所述处理器及所述存储器。

8.根据权利要求7所述的服务器集群，其特征在于，所述处理器还被配置为：

对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型；

将所述待存储日志数据记录到与所述数据类型对应的缓存模块中，所述日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

9.根据权利要求8所述的服务器集群，其特征在于，所述待存储日志数据包含至少两个字段：数据类型字段、数据内容字段；

所述处理器还被配置为：

对所述待存储日志数据的报文进行解析，获取所述报文中的数据类型字段；

根据所述数据类型字段确定所述待存储日志数据的数据类型。

10.根据权利要求9所述的服务器集群，其特征在于，所述处理器还被配置为：

在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，当确定所述待存储日志数据的数据量未超过预设存储阈值时，根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性；

当所述待存储日志数据的数据量超过预设存储阈值时，将所述缓存模块中分类后的待存储日志数据写入所述日志系统中。

11.根据权利要求10所述的服务器集群，其特征在于，所述处理器还被配置为：

当所述缓存模块中的所有待存储日志数据均写入到所述日志系统中后，清空所述缓存模块中的所有待存储日志数据。

12.根据权利要求7-11中任一项所述的服务器集群，其特征在于，所述处理器还被配置为：

在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，根据所述数据类型，在所述日志缓存服务中构建多个缓存模块。