CN117033470B - 数据生成方法、装置、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种数据生成方法、装置、设备及介质，其中该方法包括：获取多个时序数据和多个日志数据；其中，时序数据为以预设时间间隔记录的数据，日志数据为预设事件触发记录的数据；确定多个日志数据中，各时序数据对应的目标日志数据；将多个时序数据和各时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取整合数据；其中，目标解析器为整合数据对应的解析器。本公开实施例，在后续进行数据采集的过程中，使用目标解析器这一种解析器对统一的整合数据进行获取，以整合数据为桥梁，避免了针对多种数据采集工具设置相应解析器，降低了数据采集过程中的耦合性，该方法适用的应用场景更加广泛。

Description

数据生成方法、装置、设备及介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据生成方法、装置、设备及介质。

背景技术

随着系统运维技术的发展，运维数据的数据采集工具也多种多样。

相关技术中，使用不同数据采集工具获得的运维数据，在进行数据应用时，需要采用相应的解析器进行解析，针对同时使用多种不同数据采集工具采集的运维数据，需要同时使用相应类型的多种解析器，即，针对不同的多种数据采集工具需要设置相应的多种解析器，具有较强的耦合性。

发明内容

为了解决上述技术问题，本公开提供了一种数据生成方法、装置、设备及介质。

本公开实施例提供了一种数据生成方法，包括：

获取多个时序数据和多个日志数据；其中，所述时序数据为以预设时间间隔记录的数据，所述日志数据为预设事件触发记录的数据；

确定所述多个日志数据中，各所述时序数据对应的目标日志数据；

将所述多个时序数据和各所述时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取所述整合数据；其中，所述目标解析器为所述整合数据对应的解析器。

本公开实施例还提供了一种数据生成装置，包括：

第一获取模块，用于获取多个时序数据和多个日志数据；其中，所述时序数据为以预设时间间隔记录的数据，所述日志数据为预设事件触发记录的数据；

确定模块，用于确定所述多个日志数据中，各所述时序数据对应的目标日志数据；

整合模块，用于将所述多个时序数据和各所述时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取所述整合数据；其中，所述目标解析器为所述整合数据对应的解析器。

本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的数据生成方法。

本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的数据生成方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的数据生成方法，获取多个时序数据和多个日志数据；其中，时序数据为以预设时间间隔记录的数据，日志数据为预设事件触发记录的数据；确定多个日志数据中，各时序数据对应的目标日志数据；将多个时序数据和各时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取整合数据；其中，目标解析器为整合数据对应的解析器。采用上述技术方案，确定了各时序数据对应的日志数据，并将时序数据及其对应的日志数据整合为了整合数据，在后续进行数据采集的过程中，使用目标解析器这一种解析器对统一的整合数据进行获取，以整合数据为桥梁，避免了针对多种数据采集工具设置相应解析器，降低了数据采集过程中的耦合性，该方法适用的应用场景更加广泛。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种数据生成方法的流程示意图；

图2为本公开实施例提供的一种数据生成方法的数据传递示意图；

图3为本公开实施例提供的另一种数据生成方法的流程示意图；

图4为本公开实施例提供的又一种数据生成方法的流程示意图；

图5为本公开实施例提供的再一种数据生成方法的流程示意图；

图6为本公开实施例提供的再一种数据生成方法的流程示意图；

图7为本公开实施例提供的一种数据生成装置的结构示意图；

图8为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

随着系统运维技术的发展，运维数据的数据采集工具也多种多样。

相关技术中，为了提高运维数据的查询以及存储效率，针对单一类型的运维数据开发相应的数据采集工具。数据采集层使用不同的数据采集工具进行运维数据的采集，之后，数据应用层采用与数据采集工具一一对应的解析器对运维数据进行解析。因而，数据应用层和数据采集层具有较强的耦合性。

为了解决上述问题，本公开实施例提供了一种数据生成方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的一种数据生成方法的流程示意图，该方法可以由数据生成装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中，在一些实施例中，该电子设备可以为对集群进行运行维护的系统运维平台。如图1所示，该方法包括：

步骤101，获取多个时序数据和多个日志数据；其中，时序数据为以预设时间间隔记录的数据，日志数据为预设事件触发记录的数据。

其中，时序数据又称度量数据、Metric数据，该时序数据可以为以预设时间间隔为周期间隔周期性生成的运维数据，该时序数据可以表征系统在该时序数据生成时刻的状态。本实施例对该时序数据的类型不做限制，例如，该时序数据可以包括温度数据、电压数据、电流数据中的一个或多个。本实施例对产生该时序数据的系统类型也不做限制，例如，产生该时序数据的系统可以为软件系统和/或硬件系统。预设时间间隔可以根据用户需求、应用场景等进行设置，本实施例不做限制。

日志数据又称Log数据，该日志数据可以为对事件进行文本描述的数据，该日志数据可以具备不定时性，该日志数据可以为预设事件触发的数据。本实施例对该日志数据的类型不做限制，该日志数据的类型可以与时序数据的类型部分相同。本实施例对产生该日志数据的系统类型不做限制，例如，产生该日志数据的系统可以为软件系统和/或硬件系统。预设事件可以为预先设置的系统事件，该预设事件可以根据用户需求、应用场景等进行设置，本实施例不做限制。例如，该预设事件可以为系统发生故障。

可选的，该时序数据和日志数据可以为同一集群下的同一节点产生的数据。

在本公开实施例中，数据生成装置可以通过数据采集工具对时序数据和日志数据进行采集，得到多个时序数据和多个日志数值。

图2为本公开实施例提供的一种数据生成方法的数据传递示意图，如图2所示，一种可选的实施方式中，数据生成装置可以包括数据采集层、数据湖。数据应用层对数据生成装置生成的数据进行应用。其中，数据采集层中可以包括多种数据采集工具，数据采集层用于采集数据，数据湖用于将数据整合为整合数据，数据应用层用于获取整合数据，并使用该应用数据进行运行维护维度的自动分析。在本实施例中，在数据采集层中，可以使用不同的数据采集工具对相应的时序数据和日志数据进行采集，并将采集的多个时序数据和日志数据发送至数据湖。

步骤102，确定多个日志数据中，各时序数据对应的目标日志数据。

其中，目标日志数据可以为与时序数据相关联的日志数据。该目标日志数据可以理解为能够表征时序数据对应的目标生成时刻下，预设事件的情况的数据。

在本实施例中，时序数据为按照固定时间间隔记录的数据，日志数据为时间触发记录的数据。可以理解地，相较于日志数据，相邻的时序数据之间的时刻差间隔较小，时序数据在时间维度的密度较大，因而可以基于时序数据，确定对应的目标日志数据，以生成整合数据。

具体地，针对每个时序数据，确定多个日志数据中，该时序数据对应的目标日志数据。一种可选的实施方式中，可以将与时序数据的生成时刻相同的日志数据确定为该时序数据对应的日志数据。

在本公开一些实施例中，确定多个日志数据中，各时序数据对应的目标日志数据，包括：将每个时序数据分别确定为待处理时序数据，将待处理时序数据以及待处理时序数据之前连续第一预设数量个时序数据确定为前序时序数据；若前序时序数据满足预先设置的第一匹配条件，则将待处理时序数据之前的首个日志数据确定为目标日志数据。

在本公开一些实施例中，该数据生成方法还包括：若前序时序数据不满足第一匹配条件，则将待处理时序数据以及待处理时序数据之后连续第二预设数量个时序数据确定为后序时序数据；若后序时序数据满足预先设置的第二匹配条件，则将待处理时序数据之后的首个日志数据确定为目标日志数据。

图3为本公开实施例提供的另一种数据生成方法的流程示意图，如图3所示，确定多个日志数据中，各时序数据对应的目标日志数据，包括：

步骤301，将每个时序数据分别确定为待处理时序数据，将待处理时序数据以及待处理时序数据之前连续第一预设数量个时序数据确定为前序时序数据。

其中，待处理时序数据可以为当前进行目标日志数据确定的时序数据，该待处理时序数据可以为任一时序数据。前序时序数据可以为待处理时序数据及其之前的连续多个时序数据。第一预设数量可以为生成时刻位于待处理时序数据之前的前序时序数据的数量，该第一预设数量可以根据用户需求、前序时序数据的取样窗口时长等进行设置，本实施例不做限制。

在本实施例中，数据生成装置将每个时序数据分别确定为待处理时序数据，并将该待处理时序数据以及该待处理时序数据的前第一预设数量个时序数据确定为前序时序数据。例如，若第一预设数量为N，则前序时序数据可以为该待处理时序数据以及该待处理时序数据的前N个时序数据，即该前序时序数据包括N+1个时序数据。

步骤302，判断前序时序数据是否满足预先设置的第一匹配条件。若是，执行步骤303；否则，执行步骤304。

其中，第一匹配条件可以为预先设置的表征前序时序数据中的时序数据记录的系统的状态具备一致性的条件，该第一匹配条件可以根据用户需求等进行设置。例如，该第一匹配条件可以为各前序时序数据的数据值的方差小于预设第一方差阈值，或者，该第一匹配条件可以为各前序时序数据的数据值均相同。

在本实施例中，在获取前序时序数据之后，数据生成装置可以判断前序时序数据是否满足预先设置的第一匹配条件。若是，则说明系统的状态在生成待处理时序日志之前的一段时间内保持一致性；若否，则说明系统的状态在生成待处理时序日志之前的一段时间内发生改变。

步骤303，将待处理时序数据之前的首个日志数据确定为目标日志数据。

其中，待处理时序数据之前的首个日志数据可以为生成时刻位于待处理时序数据的目标生成时刻之前的多个日志数据中，生成时刻与目标生成时刻最接近的日志数据。

在本实施例中，前序时序数据满足第一匹配条件，说明系统的状态在生成待处理时序日志之前的一段时间内保持不变，因而可以采用位于待处理时序数据之前，且生成时刻与待处理时序数据的生成时刻最接近的日志数据作为目标日志数据。

步骤304，将待处理时序数据以及待处理时序数据之后连续第二预设数量个时序数据确定为后序时序数据。

其中，后序时序数据可以为待处理时序数据及其之后的连续多个时序数据。第二预设数量可以为生成时刻位于待处理时序之后的后序时序数据的数量，该第二预设数量可以根据用户需求、后序时序数据的取样窗口时长等进行设置，本实施例不做限制。

在本实施例中，前序时序数据不满足第一匹配条件，说明系统的状态在生成待处理时序日志之前的一段时间内发生过改变。则将该待处理时序数据以及该待处理时序数据的后第二预设数量个时序数据确定为后序时序数据。例如，若第二预设数量为M，则后序时序数据可以为该待处理时序数据以及该待处理时序数据的后M个时序数据，即该后序时序数据包括M+1个时序数据。

步骤305，若后序时序数据满足预先设置的第二匹配条件，则将待处理时序数据之后的首个日志数据确定为目标日志数据。

其中，第二匹配条件可以为预先设置的表征后序时序数据中的时序数据记录的系统的状态具备一致性的条件，该第二匹配条件可以根据用户需求等进行设置。例如，该第二匹配条件可以为各后序时序数据的数据值的方差小于预设第二方差阈值，该第二方差阈值可以与第一方差阈值相同或不同，本实施例不做限制。或者，该第二匹配条件可以为各前序时序数据的数据值均相同。该第二匹配条件可以与第一匹配条件相同或不同，本实施例不做限制。待处理时序数据之后的首个日志数据可以为生成时刻位于待处理时序数据的目标生成时刻之后的多个日志数据中，生成时刻与目标生成时刻最接近的日志数据。

在本实施例中，在获取后序时序数据之后，数据生成装置可以判断后序时序数据是否满足预先设置的第二匹配条件。若是，则说明系统的状态在生成待处理时序数据之后的一段时间内保持一致性，因而可以采用位于待处理时序数据之后，且生成时刻与待处理时序数据的生成时刻最接近的日志数据作为目标日志数据。若否，则说明系统的状态在生成待处理时序数据之后的一段时间内发生改变。

上述方案中，基于前序时序数据，确定了待处理时序数据之前系统的状态是否发生变化，并在系统状态未发生变化的情况下，将待处理时序数据的前一个日志数据确定为了与该待处理时序数据对应的目标日志数据。基于后序时序数据，确定了待处理时序数据之后系统的状态是否发生变化，并在系统状态未发生变化的情况下，将待处理时序数据的后一个日志数据确定为了与该待处理时序数据对应的目标日志数据。从而，根据系统状态的变化情况，确定了恰当的目标日志数据。

步骤103，将多个时序数据和各时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取整合数据；其中，目标解析器为整合数据对应的解析器。

其中，整合数据可以为多种数据的综合。可选的，该整合数据可以包括节点名称、集群名称、时序数据、时序数据的生成时刻、目标日志数据。其中，节点名称可以为产生数据的系统所在节点的名称，集群名称可以为该节点所在集群的名称。目标解析器可以为对整合数据对应格式的数据进行解析的程序。

在本公开实施例中，数据生成装置在确定时序数据以及各时序数据对应的目标日志数据之后，可以确定生成时序数据和日志数据的系统所在节点的节点名称、节点所在集群的集群名称、以及时序数据对应的生成时刻。之后，将该节点名称、集群名称、时序数据及其生成时刻、目标日志数据按照预设数据格式进行整合，得到整合数据。其中，预设数据格式可以为按照固定的位置对信息的整合。在确定整合信息之后，通过预先设置的目标解析器能够获取整合数据并对整合数据进行解析。

一种可选的实施方式中，如图2所示，数据生成装置中的数据湖在接收到数据采集层发送的时序数据和日志数据之后，确定各时序数据对应的目标日志数据，并将时序数据及其对应的目标日志数据整合为统一格式的整合数据。数据应用层中设置有目标解析器，通过该目标解析器，数据应用层可以获取数据湖中的整合数据，并对该整合数据进行运维分析。

本公开实施例提供的数据生成方法，获取多个时序数据和多个日志数据；其中，时序数据为以预设时间间隔记录的数据，日志数据为预设事件触发记录的数据；确定多个日志数据中，各时序数据对应的目标日志数据；将多个时序数据和各时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取整合数据；其中，目标解析器为整合数据对应的解析器。采用上述技术方案，确定了各时序数据对应的日志数据，并将时序数据及其对应的日志数据整合为了整合数据，在后续进行数据采集的过程中，使用目标解析器这一种解析器对统一的整合数据进行获取，以整合数据为桥梁，避免了针对多种数据采集工具设置相应解析器，降低了数据采集过程中的耦合性，该方法适用的应用场景更加广泛。

此外，建立了时序数据与日志数据之间的对应关系，后续能够基于该两种数据同时进行数据分析，使得数据分析具备较好的全面性，也提高运维的效率。

在本公开一些实施例中，确定多个日志数据中，各时序数据对应的目标日志数据，包括：将每个时序数据分别确定为待处理时序数据，确定包含待处理时序数据的目标生成时刻的目标时间段，并将目标时间段内的多个时序数据确定为目标时序数据；若目标时序数据满足预设递变条件，则将时序数据之前的首个日志数据确定为第一日志数据，将时序数据之后的首个日志数据确定为第二日志数据；将第一日志数据和第二日志数据进行整合，得到目标日志数据。

在本公开一些实施例中，该数据生成方法还包括：若目标时序数据满足预设波动条件，则将距离目标生成时刻最近的日志数据确定为目标日志数据。

图4为本公开实施例提供的又一种数据生成方法的流程示意图，如图4所示，该数据生成方法中，确定多个日志数据中，各时序数据对应的目标日志数据，包括：

步骤401，将每个时序数据分别确定为待处理时序数据，确定包含待处理时序数据的目标生成时刻的目标时间段，并将目标时间段内的多个时序数据确定为目标时序数据。

其中，目标时间段可以理解为目标时间窗口，本实施例对该目标时间段的长度不做限制。目标生成时刻可以为生成待处理时序数据的时刻。

在本实施例中，数据生成装置可以分别将每个时序数据作为待处理时序数据，并确定该待处理时序数据对应的目标生成时刻。根据预先设置的时间长度，确定包括该目标生成时刻的目标时间段，并将该目标时间段内的时序数据确定为目标时序数据。

步骤402，若目标时序数据满足预设递变条件，则将待处理时序数据之前的首个日志数据确定为第一日志数据，将待处理时序数据之后的首个日志数据确定为第二日志数据，将第一日志数据和第二日志数据进行整合，得到目标日志数据。

其中，预设递变条件可以为预先设置的表征数据递增或递减的条件。该预设递变条件可以根据用户需求等进进行设置，本实施例不做限制。例如，该预设递变条件可以为相邻的目标时序数据的数据值之间的差值的方差小于第三方差阈值，或者，该预设递变条件可以为相邻的目标时序数据的数据值之间的差值相同。第一日志数据可以为待处理时序数据的前一个日志数据，即，该第一日志数据可以为生成时刻位于目标生成时刻之前，且生成时刻与目标生成时刻最接近的日志数据。第二日志数据可以为待处理时序数据的后一个日志数据，即，该第二日志数据可以为生成时刻位于目标生成时刻之后，且生成时刻与目标生成时刻最接近的日志数据。

在本实施例中，若目标时序数据满足预设递变条件，说明系统的状态在目标时间段内有规律的发生变化，因而通过第一日志数据和第二日志数据均能够综合的表征该待处理时序数据对应的预设事件的情况，将该第一日志数据和第二日志数据整合为目标日志数据。该目标日志数据可以包括第一日志数据和第二日志数据。

步骤403，若目标时序数据满足预设波动条件，则将距离目标生成时刻最近的日志数据确定为目标日志数据。

其中，预设波动条件可以为预先设置的表征数据发生不规律变化的条件。该预设波动条件可以根据用户需求等进进行设置，本实施例不做限制。例如，该预设波动条件可以为目标时序数据不满足预设递增条件。

在本实施例中，若目标时序数据不满足预设递变条件，则确定该目标时序数据满足预设波动条件，说明系统的状态在目标时间段内发生规律难以确定的变化，因而与该待处理时序数据最接近的日志数据能够表征该待处理时序数据对应的事件情况，将该生成时刻与目标生成时刻最接近的日志数据确定为目标日志数据。

上述方案中，根据目标时间段内时序数据的变化情况，确定了待处理时序日志的目标日志数据，目标日志数据与时序数据的变化趋势相契合，能够较准确的表征待处理时序数据的目标生成时刻下的事件的状态。

图5为本公开实施例提供的再一种数据生成方法的流程示意图，如图5所示，确定多个日志数据中，各时序数据对应的目标日志数据，包括：

步骤501，将每个时序数据分别确定为待处理时序数据，将待处理时序数据以及待处理时序数据之前连续第一预设数量个时序数据确定为前序时序数据。

步骤502，判断前序时序数据是否满足预先设置的第一匹配条件。若是，执行步骤503；否则，执行步骤504。

步骤503，将待处理时序数据之前的首个日志数据确定为目标日志数据。

步骤504，将待处理时序数据以及待处理时序数据之后连续第二预设数量个时序数据确定为后序时序数据。

步骤505，判断后序时序数据是否满足预先设置的第二匹配条件，若是，执行步骤506；否则，执行步骤507。

步骤506，将待处理时序数据之后的首个日志数据确定为目标日志数据。

步骤507，确定包含待处理时序数据的目标生成时刻的目标时间段，并将目标时间段内的多个时序数据确定为目标时序数据。

步骤508，判断目标时序数据是否满足预设递变条件。若是，执行步骤509；否则，执行步骤510。

步骤509，将时序数据之前的首个日志数据确定为第一日志数据，将时序数据之后的首个日志数据确定为第二日志数据，将第一日志数据和第二日志数据进行整合，得到目标日志数据。

步骤510，将距离目标生成时刻最近的日志数据确定为目标日志数据。

在本公开一些实施例中，该数据生成方法还包括：获取多个追踪数据，并确定多个追踪数据中，各时序数据对应的目标追踪数据；其中，追踪数据为记录微服务之间调用的数据；

相应的，将多个时序数据和各时序数据对应的目标日志数据进行整合，生成多个整合数据，包括：将多个时序数据，以及各时序数据对应的目标日志数据、目标追踪数据进行整合，生成多个整合数据。

在本公开一些实施例中，确定多个追踪数据中，各时序数据对应的目标追踪数据，包括：将多个追踪数据中，位于时序数据之前的首个追踪数据确定为目标追踪数据。

图6为本公开实施例提供的再一种数据生成方法的流程示意图，如图6所示，该方法包括：

步骤601，获取多个时序数据和多个日志数据；其中，时序数据为以预设时间间隔记录的数据，日志数据为预设事件触发记录的数据。

步骤602，获取多个追踪数据；其中，追踪数据为记录微服务之间调用的数据。

在本实施例中，数据生成装置的数据采集层中，可以使用不同的数据采集工具对相应的追踪数据进行采集，并将采集的多个追踪数据发送至数据湖。可选的，该追踪数据、时序数据、日志数据可以为同一集群下的同一节点产生的数据。

步骤603，确定多个追踪数据中，各时序数据对应的目标追踪数据。

其中，目标追踪数据可以为与时序数据相关联的追踪数据。该目标追踪数据可以理解为能够表征时序数据对应的目标生成时刻下，服务或函数的调用情况的数据，该服务可以为微服务。

在本实施例中，针对每个时序数据，确定多个日志数据中，该时序数据对应的目标日志数据。

一种可选的实施方式中，将多个追踪数据中，位于时序数据之前的首个追踪数据确定为目标追踪数据。

在本实施例中，针对每个时序数据，确定该时序数据的目标生成时刻，并将生成时刻在该目标生成时刻之前，且生成时刻与目标生成时刻之间的时刻差最小的追踪数据确定为目标追踪数据。

步骤604，确定多个日志数据中，各时序数据对应的目标日志数据。

步骤605，将多个时序数据，以及各时序数据对应的目标日志数据、目标追踪数据进行整合，生成多个整合数据，以通过目标解析器获取整合数据；其中，目标解析器为整合数据对应的解析器。

其中，该整合数据可以包括节点名称、集群名称、时序数据、时序数据的生成时刻、目标日志数据、目标追踪数据。

在本公开实施例中，数据生成装置在确定时序数据以及各时序数据对应的目标日志数据、目标追踪数据之后，可以确定生成时序数据和日志数据的系统所在节点的节点名称、节点所在集群的集群名称、以及时序数据对应的生成时刻。之后，将该节点名称、集群名称、时序数据及其生成时刻、目标日志数据、目标追踪数据按照预设数据格式进行整合，得到整合数据。

一种可选的实施方式中，如图2所示，数据生成装置中的数据湖在接收到数据采集层发送的时序数据和日志数据之后，确定各时序数据对应的目标日志数据、目标追踪数据，并将时序数据及其对应的目标日志数据、目标追踪数据整合为统一格式的整合数据。

上述方案中，确定了各时序数据对应的日志数据以及追踪数据，并将时序数据及其对应的日志数据、追踪数据整合为了整合数据，在后续进行数据采集的过程中，避免了针对多种数据采集工具设置相应解析器，降低了数据采集过程中的耦合性，该方法适用的应用场景更加广泛。并且将该时序数据的前一个追踪数据确定为该时序数据对应的目标追踪数据，该目标追踪数据记录了时序数据之前的服务和/或函数调用情况，能够更高效的定位发生异常的微服务，缩短系统的运行维护时间。

接下来通过一个具体的示例对本公开实施例中的数据生成方法，进行进一步说明。

时序数据是以预设时间间隔生成的。日志数据是在预设事件触发的情况下生成的。追踪数据是在服务或函数之间发生调用时生成的。

上述三种数据均存在时间戳（即，生成时刻）。但是，由于记录触发条件不一致，在一些时间戳下，某种数据并不存在。因此，需要进行数据的补充。并且，由于时序数据的时间戳之间间隔较小，时序数据在时间维度的密度剪较大，因此，可以基于时序数据进行同集群、同节点的日志数据和追踪数据的补充。

获取待处理时序数据，并确定该待处理时序数据对应的目标日志数据以及目标追踪数据。

具体地，若待处理时序数据的前序时序数据一致，则将待处理时序数据的前一个日志数据确定为目标日志数据。

若待处理时序数据的前序时序数据不一致，则判断待处理时序数据的后序时序数据是否一致，若一致，则将待处理时序数据的后一个日志数据确定为目标日志数据。

若待处理时序数据的后序时序数据不一致，则确定目标时间段内的目标时序数据，若目标时序数据满足预设递变条件，则将该待处理时序数据的前一个日志数据和后一个日志数据整合，得到目标日志数据。

若目标时序数据不满足预设递变条件，则确定目标时序数据满足预设波动条件，将距离该待处理时序数据最近的日志数据确定为目标日志数据。

并且，将位于待处理日志数据之前，且距离待处理日志数据最近的追踪数据确定为目标追踪数据。

根据待处理时序数据、目标日志数据、目标追踪数据整合，得到整合数据。

上述方案中，生成了统一格式的整合数据，通过对整合数据的一次采集，能够获得不同类型的多种数据，并且通过将不同类型具备关联的数据进行整合，使得用户能够更快速的发现导致异常的原因，降低了运维成本，提高运维解决时间。

图7为本公开实施例提供的一种数据生成装置的结构示意图，该装置700可由软件和/或硬件实现，一般可集成在电子设备中。如图7所示，该装置包括：

第一获取模块701，用于获取多个时序数据和多个日志数据；其中，所述时序数据为以预设时间间隔记录的数据，所述日志数据为预设事件触发记录的数据；

确定模块702，用于确定所述多个日志数据中，各所述时序数据对应的目标日志数据；

整合模块703，用于将所述多个时序数据和各所述时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取所述整合数据；其中，所述目标解析器为所述整合数据对应的解析器。

一种可选的实施方式中，所述确定模块702，用于：

将每个所述时序数据分别确定为待处理时序数据，将所述待处理时序数据以及所述待处理时序数据之前连续第一预设数量个时序数据确定为前序时序数据；

若所述前序时序数据满足预先设置的第一匹配条件，则将所述待处理时序数据之前的首个日志数据确定为所述目标日志数据。

一种可选的实施方式中，所述确定模块702，还用于：

若所述前序时序数据不满足所述第一匹配条件，则将所述待处理时序数据以及所述待处理时序数据之后连续第二预设数量个时序数据确定为后序时序数据；

若所述后序时序数据满足预先设置的第二匹配条件，则将所述待处理时序数据之后的首个日志数据确定为所述目标日志数据。

一种可选的实施方式中，所述确定模块702，用于：

将每个所述时序数据分别确定为待处理时序数据，确定包含所述待处理时序数据的目标生成时刻的目标时间段，并将所述目标时间段内的多个时序数据确定为目标时序数据；

若所述目标时序数据满足预设递变条件，则将所述待处理时序数据之前的首个日志数据确定为第一日志数据，将所述待处理时序数据之后的首个日志数据确定为第二日志数据；

将所述第一日志数据和所述第二日志数据进行整合，得到所述目标日志数据。

一种可选的实施方式中，所述确定模块702，还用于：

若所述目标时序数据满足预设波动条件，则将距离所述目标生成时刻最近的日志数据确定为所述目标日志数据。

一种可选的实施方式中，所述装置还包括：

第二获取模块，用于获取多个追踪数据，并确定所述多个追踪数据中，各所述时序数据对应的目标追踪数据；其中，所述追踪数据为记录微服务之间调用的数据；

相应的，所述整合模块703，用于：

将所述多个时序数据，以及各所述时序数据对应的目标日志数据、目标追踪数据进行整合，生成多个整合数据。

一种可选的实施方式中，所述第二获取模块，用于：

将所述多个追踪数据中，位于所述时序数据之前的首个追踪数据确定为所述目标追踪数据。

本公开实施例所提供的数据生成装置可执行本公开任意实施例所提供的数据生成方法，具备执行方法相应的功能模块和有益效果。

图8为本公开实施例提供的一种电子设备的结构示意图。如图8所示，电子设备800包括一个或多个处理器801和存储器802。

处理器801可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备800中的其他组件以执行期望的功能。

存储器802可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器801可以运行所述程序指令，以实现上文所述的本公开的实施例的数据生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备800还可以包括：输入装置803和输出装置804，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

此外，该输入装置803还可以包括例如键盘、鼠标等等。

该输出装置804可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置804可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备800中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备800还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据生成方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据生成方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据生成方法，其特征在于，包括：

获取多个时序数据和多个日志数据；其中，所述时序数据为以预设时间间隔记录的数据，所述日志数据为预设事件触发记录的数据；

确定所述多个日志数据中，各所述时序数据对应的目标日志数据；

将所述多个时序数据和各所述时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取所述整合数据；其中，所述目标解析器为所述整合数据对应的解析器；

其中，所述确定所述多个日志数据中，各所述时序数据对应的目标日志数据，包括：

将每个所述时序数据分别确定为待处理时序数据，将所述待处理时序数据以及所述待处理时序数据之前连续第一预设数量个时序数据确定为前序时序数据；

若所述前序时序数据满足预先设置的第一匹配条件，则将所述待处理时序数据之前的首个日志数据确定为所述目标日志数据；其中，所述第一匹配条件为预先设置的表征所述前序时序数据记录的系统的状态具备一致性的条件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述前序时序数据不满足所述第一匹配条件，则将所述待处理时序数据以及所述待处理时序数据之后连续第二预设数量个时序数据确定为后序时序数据；

若所述后序时序数据满足预先设置的第二匹配条件，则将所述待处理时序数据之后的首个日志数据确定为所述目标日志数据；其中，所述第二匹配条件为预先设置的表征所述后序时序数据记录的系统的状态具备一致性的条件。

3.根据权利要求1所述的方法，其特征在于，所述确定所述多个日志数据中，各所述时序数据对应的目标日志数据，包括：

将每个所述时序数据分别确定为待处理时序数据，确定包含所述待处理时序数据的目标生成时刻的目标时间段，并将所述目标时间段内的多个时序数据确定为目标时序数据；

若所述目标时序数据满足预设递变条件，则将所述待处理时序数据之前的首个日志数据确定为第一日志数据，将所述待处理时序数据之后的首个日志数据确定为第二日志数据；

将所述第一日志数据和所述第二日志数据进行整合，得到所述目标日志数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述目标时序数据满足预设波动条件，则将距离所述目标生成时刻最近的日志数据确定为所述目标日志数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多个追踪数据，并确定所述多个追踪数据中，各所述时序数据对应的目标追踪数据；其中，所述追踪数据为记录微服务之间调用的数据；

相应的，所述将所述多个时序数据和各所述时序数据对应的目标日志数据进行整合，生成多个整合数据，包括：

将所述多个时序数据，以及各所述时序数据对应的目标日志数据、目标追踪数据进行整合，生成多个整合数据。

6.根据权利要求5所述的方法，其特征在于，所述确定所述多个追踪数据中，各所述时序数据对应的目标追踪数据，包括：

将所述多个追踪数据中，位于所述时序数据之前的首个追踪数据确定为所述目标追踪数据。

7.一种数据生成装置，其特征在于，包括：

第一获取模块，用于获取多个时序数据和多个日志数据；其中，所述时序数据为以预设时间间隔记录的数据，所述日志数据为预设事件触发记录的数据；

确定模块，用于确定所述多个日志数据中，各所述时序数据对应的目标日志数据；

整合模块，用于将所述多个时序数据和各所述时序数据对应的目标日志数据进行整合，生成多个整合数据，以通过目标解析器获取所述整合数据；其中，所述目标解析器为所述整合数据对应的解析器；

其中，所述确定模块，用于：

将每个所述时序数据分别确定为待处理时序数据，将所述待处理时序数据以及所述待处理时序数据之前连续第一预设数量个时序数据确定为前序时序数据；

若所述前序时序数据满足预先设置的第一匹配条件，则将所述待处理时序数据之前的首个日志数据确定为所述目标日志数据；其中，所述第一匹配条件为预先设置的表征所述前序时序数据记录的系统的状态具备一致性的条件。

8.一种电子设备，其特征在于，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至6任一项所述方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至6任一项所述方法的步骤。