CN110083509A - 一种日志数据的规整方法及装置 - Google Patents

Abstract

本申请实施例提供了一种日志数据的规整方法及装置，涉及数据处理技术领域，所述方法包括：当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在所述第一标识对应的目标日志消息；如果所述第一消息队列中存在所述目标日志消息，则创建第二消息队列；将所述第一消息队列中的全部日志消息迁移至所述第二消息队列，并将所述目标日志消息对应的所述第一标识修改为所述第二标识；获取数据库中存储的所述第二标识对应的目标规整策略，并根据所述目标规整策略对所述目标业务设备发送的日志消息进行规整处理。采用本申请可以避免日志规整的失败。

Description

一种日志数据的规整方法及装置

技术领域

本申请涉及数据处理技术领域，特别是涉及一种日志数据的规整方法及装置。

背景技术

大数据处理的基本流程可以分为数据采集、数据清洗、数据挖掘分析和数据展示四个阶段。在数据采集阶段，为了更好的为后续处理阶段提供支撑，服务器需要将不同设备发送的不同格式的日志数据进行规整处理，也即，将不同设备发送的不同格式的日志数据转换成相同格式的日志数据。例如，设备A发送的日志数据中时间字段为“time＝2019-1-123:00:00”，而设备B发送的日志数据中时间字段为“timestamp＝20180725083027”，服务器可以将设备A发送的日志数据中时间字段进行规整处理，规整后的时间字段为“timestamp＝20190101230000”。

在相关技术中，服务器对日志数据进行规整处理的过程为：服务器接收到某设备发送的携带有日志数据的日志消息后，可以确定该日志消息对应的第一标识。然后，服务器将该日志消息和第一标识写入至消息队列中。后续，当服务器需要对该日志数据进行规整处理时，可以在本地缓存的标识和规整策略的对应关系中，查询该第一标识对应的规整策略，然后根据该该规整策略对该日志数据进行规整处理。其中，服务器可以周期性的根据数据库中的数据，更新本地缓存的对应关系。

然而，当该设备发送的日志消息对应的标识变更(即该日志消息对应的标识由第一标识变更为第二标识)时，技术人员会更新数据库，即将数据库中的第一标识和该规整策略的对应关系，修改为第二标识和该规整策略的对应关系。这样，服务器更新本地缓存的标识和规整策略的对应关系后，将无法对第一标识的日志消息进行规整处理，导致日志规整失败。

发明内容

本申请实施例的目的在于提供一种日志数据的规整方法及装置，以避免日志规整的失败。具体技术方案如下：

第一方面，提供了一种日志数据的规整方法，所述方法包括：

当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在所述第一标识对应的目标日志消息；

如果所述第一消息队列中存在所述目标日志消息，则创建第二消息队列；

将所述第一消息队列中的全部日志消息迁移至所述第二消息队列，并将所述目标日志消息对应的所述第一标识修改为所述第二标识；

获取数据库中存储的所述第二标识对应的目标规整策略，并根据所述目标规整策略对所述目标业务设备发送的日志消息进行规整处理。

可选的，所述获取数据库中存储的所述第二标识对应的目标规整策略，包括：

删除本地缓存的标识和规整策略的第一对应关系；

获取数据库中存储的标识和规整策略的第二对应关系，并将所述第二对应关系存储至本地的缓存空间中，其中，所述数据库中存储的标识和规整策略的第二对应关系中包括所述第二标识和所述目标规整策略的对应关系。

可选的，所述获取数据库中存储的所述第二标识对应的目标规整策略，包括：

根据预设的惰性更新策略，获取数据库中存储的所述第二标识和所述目标规整策略的对应关系，并存储至本地的缓存空间中。

可选的，所述方法还包括：

在本地缓存的标识和规整策略的对应关系中，查询是否存在所述第一标识和所述目标规整策略的对应关系；

如果存在所述第一标识和所述目标规整策略的对应关系，则删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

可选的，所述方法还包括：

当检测到所述目标业务设备发送的日志消息的标识由所述第一标识变更为所述第二标识时，删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

第二方面，提供了一种日志数据的规整装置，所述装置包括：判断模块、创建模块、修改模块和处理模块；

所述判断模块，用于当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在所述第一标识对应的目标日志消息；

所述创建模块，用于在所述第一消息队列中存在所述目标日志消息时，创建第二消息队列；

所述修改模块，用于将所述第一消息队列中的全部日志消息迁移至所述第二消息队列，并将所述目标日志消息对应的所述第一标识修改为所述第二标识；

所述处理模块，用于获取数据库中存储的所述第二标识对应的目标规整策略，并根据所述目标规整策略对所述目标业务设备发送的日志消息进行规整处理。

可选的，所述处理模块，具体用于：

删除本地缓存的标识和规整策略的第一对应关系；

获取数据库中存储的标识和规整策略的第二对应关系，并将所述第二对应关系存储至本地的缓存空间中，其中，所述数据库中存储的标识和规整策略的第二对应关系中包括所述第二标识和所述目标规整策略的对应关系。

可选的，所述处理模块，具体用于：

根据预设的惰性更新策略，获取数据库中存储的所述第二标识和所述目标规整策略的对应关系，并存储至本地的缓存空间中。

可选的，所述装置还包括：查询模块和第一删除模块；

所述查询模块，用于在本地缓存的标识和规整策略的对应关系中，查询是否存在所述第一标识和所述目标规整策略的对应关系；

所述第一删除模块，用于在存在所述第一标识和所述目标规整策略的对应关系时，删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

可选的，所述装置还包括：第二删除模块；

所述第二删除模块，用于在检测到所述目标业务设备发送的日志消息的标识由所述第一标识变更为所述第二标识时，删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

第三方面，提供了一种服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

本申请实施例提供的一种日志数据的规整方法及装置中，当服务器检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在第一标识对应的目标日志消息。如果第一消息队列中存在目标日志消息，则创建第二消息队列，然后将第一消息队列中的全部日志消息迁移至第二消息队列，并将目标日志消息对应的第一标识修改为第二标识，进而获取数据库中存储的第二标识对应的目标规整策略，并根据目标规整策略对目标业务设备发送的日志消息进行规整处理。这样，由于将目标日志消息对应的第一标识修改为第二标识，服务器通过第二标识获取到目标规整策略后，可以对目标业务设备发送的全部日志消息进行规整处理，避免了日志规整失败的问题。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据采集系统的架构图；

图2为本申请实施例提供的一种日志数据的规整方法的流程图；

图3为本申请实施例提供的一种日志数据的规整方法示例的流程图；

图4为本申请实施例提供的一种日志数据的规整装置的结构示意图；

图5为本申请实施例提供的一种日志数据的规整装置的结构示意图；

图6为本申请实施例提供的一种日志数据的规整装置的结构示意图；

图7为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种日志数据的规整方法，该方法可以应用于服务器。具体的，该服务器可以为具有数据采集功能的服务器。图1为本申请实施例提供的一种数据采集系统的架构图。如图1所示，该数据采集系统包括服务器和多个业务设备。该服务器分别与多个业务设备连接，用于接收业务设备发送的日志消息，并对日志消息进行规整处理。该服务器可以与数据库连接，该数据库用于存储标识和规整策略的对应关系，并可以由技术人员进行维护和更新。该数据库可以设置于该服务器中，也可以设置于其他服务器中，本申请实施例不做限定。该服务器中还可以设置有消息队列(即buffer)和缓存空间。其中，缓存空间用于存储从数据库中获取到的标识和规整策略的对应关系，消息队列用于存储待处理的日志消息及其对应的标识。

下面将结合具体实施方式，对本申请实施例提供的一种日志数据的规整方法进行详细的说明，如图2所示，具体步骤如下：

步骤201，当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在第一标识对应的目标日志消息。

其中，日志消息的标识是用于唯一标识某设备发送的日志消息的标识，日志消息的标识可以是服务器按照预设的标识生成规则生成的。例如，日志消息对应的标识可以包括业务设备的互联网协议(英文：Internet Protocol，简称：IP)地址、日志消息的头部信息和日志消息的部分载荷信息。日志消息对应的标识还可以包括其他信息，本申请实施例不作限定。

本申请实施例中，当目标业务设备的配置发生变更时，该目标业务设备发送的日志消息对应的标识也会相应的发生变更。例如，当目标业务设备的IP地址发生变更时，目标业务设备发送的日志消息对应的标识也会发生变更。相应的，技术人员可以在数据库中，将第一标识和目标规整策略的对应关系，修改为第二标识和目标规整策略的对应关系。例如，该对应关系可以以数据对的形式进行存储，技术人员可以将数据库中当前存储的(第一标识，目标规整策略)，修改为(第二标识，目标规整策略)。同时，技术人员还可以通过其他设备(比如管理设备)向服务器发送标识变更通知，该标识变更通知用于指示目标业务设备发送的日志消息的标识由第一标识变更为第二标识。

服务器接收到该标识变更通知后，可以确定目标业务设备发送的日志消息的标识由第一标识变更为第二标识，此时，目标业务设备新生成的日志数据(日志消息)对应的标识为更改后的第二标识。然后，服务器可以在当前使用的消息队列(即第一消息队列)中查询是否存在暂未完成规整处理的第一标识对应的日志消息(即目标日志消息)。如果第一消息队列中存在目标日志消息，则执行步骤202。如果第一消息队列中不存在目标日志消息，则服务器无需创建第二消息队列，也无需进行标识的修改。

步骤202，如果第一消息队列中存在目标日志消息，则创建第二消息队列。

本申请实施例中，服务器确定第一消息队列中存在目标日志消息后，可以创建一个新的消息队列(即第二消息队列)，例如，根据写时复制(英文：Copy On Write，简称：COW)原理，服务器可以新建一个buffer。

步骤203，将第一消息队列中的全部日志消息迁移至第二消息队列，并将目标日志消息对应的第一标识修改为第二标识。

本申请实施例中，服务器创建第二消息队列后，可以中断对第一消息队列中日志消息的处理。然后，服务器可以逐一读取第一消息队列中的日志消息。其中，由于消息队列用于存储待处理的日志消息及其对应的标识，因此，在一种实现方式中，日志消息可以以数据对的形式进行存储，比如(标识A，日志消息A)。服务器在读取某一日志消息时，可以读取该日志消息的内容、以及该日志消息对应的标识，即该日志消息对应的数据对。然后，服务器将该数据对写入至第二消息队列中，这样，可以将第一消息队列中的全部日志消息迁移至第二消息队列中。其中，对于目标日志消息，服务器在读取目标日志消息对应的数据对后，可以先将目标日志消息对应的第一标识修改为第二标识，然后再将目标日志消息写入至第二消息队列中。

可选的，服务器完成日志消息的迁移后，可以删除第一消息队列，以释放缓存空间。

其中，由于服务器无法直接对当前使用的第一消息队列中的数据进行修改，因此，在第一消息队列中存在目标日志消息的情况下，服务器通过创建一个新的消息队列，在迁移目标日志消息的过程中修改目标日志消息对应的标识(即将第一标识修改为第二标识)，后续服务器删除了本地缓存的第一标识和目标规整策略的对应关系后，服务器仍然可以根据第二标识获取到正确的规整策略，对该目标日志消息进行规整处理。

可选的，在服务器将第一消息队列中的日志消息迁移至第二消息队列的过程中，如果存在某业务设备发送的日志消息(可称为第一日志消息)的标识也发生变更，则服务器可以中断迁移，创建第三消息队列。然后，服务器可以将第一消息队列和第二消息队列中的日志消息迁移至第三消息队列，并修改目标日志消息和第一日志消息的标识。

步骤204，获取数据库中存储的第二标识对应的目标规整策略，并根据目标规整策略对目标业务设备发送的日志消息进行规整处理。

本申请实施例中，服务器将目标日志消息对应的第一标识修改为第二标识之后，还可以从数据库中获取第二标识对应的目标规整策略，并根据目标规整策略对目标业务设备发送的日志消息进行规整处理。其中，服务器从数据库中获取第二标识对应的目标规整策略的方式可以是多种多样的，本申请实施例提供了两种可行的实施方式，具体如下。

方式一，服务器删除本地缓存的标识和规整策略的第一对应关系，并获取数据库中存储的标识和规整策略的第二对应关系，将第二对应关系存储至本地的缓存空间中，其中，数据库中存储的标识和规整策略的第二对应关系中包括第二标识和目标规整策略的对应关系。

本申请实施例中，服务器可以删除本地当前缓存的全部的标识和规整策略的对应关系(即第一对应关系)。在该情况下，服务器可以通过数据库重新获取标识和规整策略的对应关系，具体处理过程为：获取数据库中存储的全部的标识和规整策略的第二对应关系，并存储至本地的缓存空间中，其中，数据库中存储的标识和规整策略的第二对应关系中包括第二标识和目标规整策略的对应关系；然后，服务器可以根据目标规整策略对修改后的日志消息进行规整处理。

这样，当服务器处理目标业务设备发送的标识为第二标识的日志消息时，可以直接根据本地缓存的第二标识对应的目标规整策略对该日志消息进行规整处理，无需通过惰性更新策略从数据库中获取目标规整策略，从而提高了规整处理的效率。并且，由于更新后的缓存空间中，不存在第一标识和规整策略的对应关系，当服务器接收到其他业务设备发送的标识为第一标识的日志消息后，可以根据惰性更新策略，从数据库中获取第一标识对应的规整策略，从而避免了对其他业务设备发送的日志消息规则失败的问题。

方式二，服务器根据预设的惰性更新策略，获取数据库中存储的第二标识和目标规整策略的对应关系，并存储至本地的缓存空间中。

本申请实施例中，根据预设的惰性更新策略，服务器在对第二消息队列中第二标识对应的日志消息进行处理时，可以在本地缓存的标识和规整策略的对应关系中，查找第二标识对应的规整策略。由于第二标识为变更后的标识，本地缓存中不存在第二标识对应的规整策略，所以，服务器可以从数据库中获取第二标识和目标规整策略的对应关系，然后存储至本地的缓存空间中。例如，服务器可以获取数据库中存储的(第二标识，目标规整策略)，并将(第二标识，目标规整策略)添加至本地的缓存空间中。服务器可以根据目标规整策略，对第二标识对应的日志消息进行规整处理。这样，当服务器处理目标业务设备发送的标识为第二标识的日志消息时，可以根据获取到的第二标识对应的目标规整策略对目标日志消息进行规整处理，从而提高了规整处理的成功率。

可选的，对于方式二，服务器还可以删除本地缓存的第一标识和目标规整策略的对应关系，具体的处理该过程可以为：在本地缓存的标识和规整策略的对应关系中，查询是否存在第一标识和目标规整策略的对应关系；如果存在第一标识和目标规整策略的对应关系，则删除本地缓存的第一标识和目标规整策略的对应关系。

本申请实施例中，服务器可以在本地缓存的标识和规整策略的对应关系中，查询是否存在第一标识和目标规整策略的对应关系。如果存在第一标识和目标规整策略的对应关系，则服务器可以删除第一标识和目标规整策略的对应关系。如果不存在第一标识和目标规整策略的对应关系，则服务器无需处理。这样，当服务器接收到其他业务设备发送的标识为第一标识的日志消息后，可以通过惰性更新策略从数据库中获取到正确的规整策略，提高了数据规整的成功率。

可选的，服务器也可以在检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，直接删除本地缓存的第一标识和目标规整策略的对应关系，这样，可以避免后续采用第一标识标识其他业务设备产生的日志消息时，数据库中出现多个第一标识和规整策略的对应关系。这样，当服务器接收到其他业务设备发送的标识为第一标识的日志消息后，可以通过惰性更新策略从数据库中获取到唯一的、正确的规整策略，提高了数据规整的成功率。

图3为本申请实施例提供的一种日志数据的规整方法的示例的流程图，该示例中，目标业务设备发送的目标日志消息对应的标识由第一标识变更为第二标识，相应的，技术人员在服务器的数据库中，将第一标识和目标规整策略的对应关系修改为第二标识和目标规整策略的对应关系。如图3所示，具体处理过程如下。

步骤301，服务器检测到目标业务设备发送的目标日志消息对应的标识由第一标识变更为第二标识。

步骤302，服务器判断第一消息队列中是否存在第一标识对应的目标日志消息。

如果第一消息队列中存在第一标识对应的目标日志消息，则执行步骤303～308。如果第一消息队列中不存在第一标识对应的目标日志消息，则执行步骤309。

步骤303，服务器创建第二消息队列。

步骤304，服务器将第一消息队列中的日志消息迁移至第二消息队列，并将目标日志消息对应的第一标识修改为第二标识。

步骤305，服务器删除第一消息队列。

步骤306，服务器在本地缓存的标识和规整策略的对应关系中，查询是否存在第一标识和目标规整策略的对应关系。

如果存在第一标识和目标规整策略的对应关系，则执行步骤307。如果不存在第一标识和目标规整策略的对应关系，则结束。

步骤307，服务器删除本地缓存的标识和规整策略的对应关系。

步骤308，服务器获取数据库中存储的标识和规整策略的对应关系，并存储至本地的缓存空间中。

步骤309，删除本地缓存的第一标识和目标规整策略的对应关系。

其中，步骤301至步骤309的处理过程与步骤201至步骤204的处理过程类似，此处不在赘述。

本申请实施例中，当服务器检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在第一标识对应的目标日志消息。如果第一消息队列中存在目标日志消息，则创建第二消息队列，然后将第一消息队列中的全部日志消息迁移至第二消息队列，并将目标日志消息对应的第一标识修改为第二标识，进而获取数据库中存储的第二标识对应的目标规整策略，并根据目标规整策略对目标业务设备发送的日志消息进行规整处理。这样，由于将目标日志消息对应的第一标识修改为第二标识，服务器通过第二标识获取到目标规整策略后，可以对目标业务设备发送的全部日志消息进行规整处理，避免了日志规整失败的问题。

基于相同的技术构思，本申请实施例还提供了一种日志数据的规整装置，如图4所示，该装置包括：判断模块410、创建模块420、修改模块430和处理模块440；

判断模块410，用于当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在第一标识对应的目标日志消息；

创建模块420，用于在第一消息队列中存在目标日志消息时，创建第二消息队列；

修改模块430，用于将第一消息队列中的全部日志消息迁移至第二消息队列，并将目标日志消息对应的第一标识修改为第二标识；

处理模块440，用于获取数据库中存储的第二标识对应的目标规整策略，并根据目标规整策略对目标业务设备发送的日志消息进行规整处理。

可选的，处理模块440，具体用于：

删除本地缓存的标识和规整策略的第一对应关系；

获取数据库中存储的标识和规整策略的第二对应关系，并将第二对应关系存储至本地的缓存空间中，其中，数据库中存储的标识和规整策略的第二对应关系中包括第二标识和目标规整策略的对应关系。

可选的，处理模块440，具体用于：

根据预设的惰性更新策略，获取数据库中存储的第二标识和目标规整策略的对应关系，并存储至本地的缓存空间中。

可选的，如图5所示，该装置还包括：查询模块450和第一删除模块460；

查询模块450，用于在本地缓存的标识和规整策略的对应关系中，查询是否存在第一标识和目标规整策略的对应关系；

第一删除模块460，用于在存在第一标识和目标规整策略的对应关系时，删除本地缓存的第一标识和目标规整策略的对应关系。

可选的，如图6所示，该装置还包括：第二删除模块470；

第二删除模块470，用于在检测到所述目标业务设备发送的日志消息的标识由所述第一标识变更为所述第二标识时，删除本地缓存的第一标识和目标规整策略的对应关系。

本申请实施例中，当服务器检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在第一标识对应的目标日志消息。如果第一消息队列中存在目标日志消息，则创建第二消息队列，然后将第一消息队列中的全部日志消息迁移至第二消息队列，并将目标日志消息对应的第一标识修改为第二标识，进而获取数据库中存储的第二标识对应的目标规整策略，并根据目标规整策略对目标业务设备发送的日志消息进行规整处理。这样，由于将目标日志消息对应的第一标识修改为第二标识，服务器通过第二标识获取到目标规整策略后，可以对目标业务设备发送的全部日志消息进行规整处理，避免了日志规整失败的问题。

本申请实施例还提供了一种服务器，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，

存储器703，用于存放计算机程序；

处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：

当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在所述第一标识对应的目标日志消息；

如果所述第一消息队列中存在所述目标日志消息，则创建第二消息队列；

将所述第一消息队列中的全部日志消息迁移至所述第二消息队列，并将所述目标日志消息对应的所述第一标识修改为所述第二标识；

获取数据库中存储的所述第二标识对应的目标规整策略，并根据所述目标规整策略对所述目标业务设备发送的日志消息进行规整处理。

可选的，所述获取数据库中存储的所述第二标识对应的目标规整策略，包括：

删除本地缓存的标识和规整策略的第一对应关系；

获取数据库中存储的标识和规整策略的第二对应关系，并将所述第二对应关系存储至本地的缓存空间中，其中，所述数据库中存储的标识和规整策略的第二对应关系中包括所述第二标识和所述目标规整策略的对应关系。

可选的，所述获取数据库中存储的所述第二标识对应的目标规整策略，包括：

根据预设的惰性更新策略，获取数据库中存储的所述第二标识和所述目标规整策略的对应关系，并存储至本地的缓存空间中。

可选的，所述方法还包括：

在本地缓存的标识和规整策略的对应关系中，查询是否存在所述第一标识和所述目标规整策略的对应关系；

如果存在所述第一标识和所述目标规整策略的对应关系，则删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

可选的，所述方法还包括：

当检测到所述目标业务设备发送的日志消息的标识由所述第一标识变更为所述第二标识时，删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

上述服务器提到的通信总线可以是外设部件互连标准(英文：PeripheralComponent Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended IndustryStandard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述服务器与其他设备之间的通信。

存储器可以包括随机存取存储器(英文：Random Access Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non-Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(英文：Central ProcessingUnit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述日志数据的规整方法步骤。

基于相同的技术构思，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述日志数据的规整方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种日志数据的规整方法，其特征在于，所述方法包括：

当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在所述第一标识对应的目标日志消息；

如果所述第一消息队列中存在所述目标日志消息，则创建第二消息队列；

将所述第一消息队列中的全部日志消息迁移至所述第二消息队列，并将所述目标日志消息对应的所述第一标识修改为所述第二标识；

获取数据库中存储的所述第二标识对应的目标规整策略，并根据所述目标规整策略对所述目标业务设备发送的日志消息进行规整处理。

2.根据权利要求1所述的方法，其特征在于，所述获取数据库中存储的所述第二标识对应的目标规整策略，包括：

删除本地缓存的标识和规整策略的第一对应关系；

获取数据库中存储的标识和规整策略的第二对应关系，并将所述第二对应关系存储至本地的缓存空间中，其中，所述数据库中存储的标识和规整策略的第二对应关系中包括所述第二标识和所述目标规整策略的对应关系。

3.根据权利要求1所述的方法，其特征在于，所述获取数据库中存储的所述第二标识对应的目标规整策略，包括：

根据预设的惰性更新策略，获取数据库中存储的所述第二标识和所述目标规整策略的对应关系，并存储至本地的缓存空间中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在本地缓存的标识和规整策略的对应关系中，查询是否存在所述第一标识和所述目标规整策略的对应关系；

如果存在所述第一标识和所述目标规整策略的对应关系，则删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当检测到所述目标业务设备发送的日志消息的标识由所述第一标识变更为所述第二标识时，删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

6.一种日志数据的规整装置，其特征在于，所述装置包括：判断模块、创建模块、修改模块和处理模块；

所述判断模块，用于当检测到目标业务设备发送的日志消息的标识由第一标识变更为第二标识时，判断当前使用的第一消息队列中是否存在所述第一标识对应的目标日志消息；

所述创建模块，用于在所述第一消息队列中存在所述目标日志消息时，创建第二消息队列；

所述修改模块，用于将所述第一消息队列中的全部日志消息迁移至所述第二消息队列，并将所述目标日志消息对应的所述第一标识修改为所述第二标识；

所述处理模块，用于获取数据库中存储的所述第二标识对应的目标规整策略，并根据所述目标规整策略对所述目标业务设备发送的日志消息进行规整处理。

7.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于：

删除本地缓存的标识和规整策略的第一对应关系；

获取数据库中存储的标识和规整策略的第二对应关系，并将所述第二对应关系存储至本地的缓存空间中，其中，所述数据库中存储的标识和规整策略的第二对应关系中包括所述第二标识和所述目标规整策略的对应关系。

8.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于：

根据预设的惰性更新策略，获取数据库中存储的所述第二标识和所述目标规整策略的对应关系，并存储至本地的缓存空间中。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：查询模块和第一删除模块；

所述查询模块，用于在本地缓存的标识和规整策略的对应关系中，查询是否存在所述第一标识和所述目标规整策略的对应关系；

所述第一删除模块，用于在存在所述第一标识和所述目标规整策略的对应关系时，删除本地缓存的所述第一标识和所述目标规整策略的对应关系。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：第二删除模块；

所述第二删除模块，用于在检测到所述目标业务设备发送的日志消息的标识由所述第一标识变更为所述第二标识时，删除本地缓存的所述第一标识和所述目标规整策略的对应关系。