CN107562768A - 一种数据处理过程动态回溯追踪方法 - Google Patents

Abstract

本发明公开了一种基于动态回溯追踪的数据处理方法，包括步骤：A）采用基于多目标多特征信息融合数据关联；B）进行日志关联分析排序处理；C）对静态数据与日志动态关联与呈现。本发明通过一种在数据处理中的回溯追踪技术，能动态展现数据在数据处理中生命周期变化，追踪数据的所有操作处理，并且能给往下回顾历史数据，往上预测数据走向以及预定数据信息展现服务。当展现数据缺乏合理性时，可以回溯追踪整个数据处理过程。

Description

一种数据处理过程动态回溯追踪方法

技术领域

本发明涉及一种数据处理方法，尤其是指一种基于动态回溯追踪的数据处理方法。

背景技术

随着云计算、大数据技术的兴起，数据处理技术变得越发重要。如何在数据中获取有价值的信息，指导商业决策和管理，是目前热门的研究课题，而数据处理得到结果的正确性和合理性如何评判，则是目前考虑较少的。在数据处理过程中，传统的数据查询是通过数据库工具或者是数据分析工具作静态呈现，存在不能跟踪数据采集来源信息，呈现单一等问题。而信息状态查询，则是通过各个数据处理部件的工作日志做零散的记录和输出，存在着信息孤岛以及查看繁琐等问题。总而言之，传统的数据与信息呈现是静态和单一的，不能满足用户对数据系统实时查看信息状态，追踪信息来源的需求。

发明内容

本发明的目的在于提供一种基于动态回溯追踪的数据处理方法，解决现有技术的缺陷。

一种基于动态回溯追踪的数据处理方法，包括步骤：

A）采用基于多目标多特征信息融合数据关联，通过接收数据采集、数据存储、数据计算、数据呈现四个数据处理的模块提交的数据状态信息；并按照数据逻辑相关性进行过滤、去重、变更、生成关联键值、组内关联、组间关联处理；关联后的数据呈现出数据上下文的分组；

B）进行日志关联分析排序处理：首先，从各个数据处理部件收集日志，并进行汇总；其次，形成统一格式的日志事件：提取日志数据的特征数据，根据提取到的特征数据构建统一格式的日志事件；最后，通过数据查询策略，按照时间和操作事件的维度，将日志进行排序，得到数据的行为和流向记录；

C）对静态数据与日志动态关联与呈现：将静态数据处理单元得到的静态关联数据以及日志处理单元得到的数据行为和流向记录进行关联和统计处理，动态展现数据全生命周期流向和操作处理过程，满足任何时间点的数据回溯追踪，向下查看历史记录，追踪数据来源，数据操作事件，向上测数据走向以及预定数据信息展现服务。

所述A）步骤的数据状态信息包括数据来源、元数据、处理操作。

所述B）步骤的提取日志数据的特征数据为通过预设的条件或者动态配置。

所述B）步骤的数据查询策略为对事件进行交叉关联分析和事件流逻辑关联分析。

本发明通过一种在数据处理中的回溯追踪技术，能动态展现数据在数据处理中生命周期变化，追踪数据的所有操作处理，并且能给往下回顾历史数据，往上预测数据走向以及预定数据信息展现服务。当展现数据缺乏合理性时，可以回溯追踪整个数据处理过程。

数据处理过程中的回溯追踪技术，则是在传统方法的基础上，将静态数据展现与日志记录动态结合，实现动态数据和信息状态呈现。一方面，对目前的静态数据呈现作优化，优化点如下：

1、增加采集数据和存储数据之间的数据关联处理；

2、增加存储数据与处理数据流水号的关联处理；

3、增加处理数据与展现数据流水号的关联处理。

通过以上的优化，达到数据全处理过程的索引关联。

另一方面，对目前数据处理部件的日志作优化，优化点如下：

1、通过数据处理部件实行socket端口的动态监控，将各个数据处理部件的日志进行汇总；

2、建立统一日志格式；

3、对日志作关键事件、关键操作排序。

通过以上的优化，日志呈现统一、有序的组合。

在以上两方面的优化后，将静态数据和动态数据作关联处理，实现如下的功能：

1、数据按时间维度作历史时刻的动态展现。

2、数据按时间维度作预测或者定制时刻的动态展现。

3、数据按事件维度作历史时刻的动态展现。

4、数据按事件维度作预测或者定制时刻的动态展现。

展现的维度和内容可以作定制选择，内容包含而不限于：每笔处理的数据采集来源信息，数据处理事件记录（包含有具体操作、操作部件等）。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

如图1所示，本发明涉及一种数据处理过程中的动态回溯跟踪方法，它包括步骤：

1、基于多目标多特征信息融合数据关联技术：接收数据采集、数据存储、数据计算、数据呈现四个数据处理的模块提交的数据状态信息，其中数据状态信息包括有数据来源、元数据、处理操作等。并按照一定的数据逻辑相关性进行过滤、去重、变更、生成关联键值、组内关联、组间关联等一系列处理。关联后的数据呈现出数据上下文的分组，可以满足如流程回溯、数据动态追踪、告警判断、趋势分析、状态监控等需求。

2、日志关联分析排序处理技术：首先，从各个数据处理部件收集日志，并进行汇总；其次，形成统一格式的日志事件：提取日志数据的特征数据（通过预设的条件或者动态配置的方式），根据提取到的特征数据构建统一格式的日志事件；最后，通过数据查询策略（数据查询策略指示对事件进行交叉关联分析和事件流逻辑关联分析），目前是按照时间和操作事件的维度，将日志进行排序，得到数据的行为和流向记录。

3、静态数据与日志动态关联与呈现技术：将静态数据处理单元得到的静态关联数据以及日志处理单元得到的数据行为和流向记录进行关联和统计处理，动态展现数据全生命周期流向和操作处理过程，满足任何时间点的数据回溯追踪，向下查看历史记录，追踪数据来源，数据操作事件，向上预测数据走向以及预定数据信息展现服务。

下面以某电网项目为例，说明本专利中数据处理动态回溯的处理过程；

1、数据处理系统处理过程：

1)数据采集过程：数据采集模块定时将数据信息，包括电网数据来源地点，采集时间，采集内容，采集时做的变换信息，传递给静态数据处理单元。静态数据处理单元接到数据后，对数据流分配流水号，并将流水号返回给数据采集，数据采集模块将流水号纪录，并带到数据存储模块，流水号将用于静态数据与日志信息的关联。采集模块收到静态数据处理单元分配的流水号后，将在这个定时时间片段中的日志信息增加流水号，将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据，并增加时间戳信息，用于后续静态数据与日志融合时，进行校验。

2)数据存储过程：数据存储模块定时将数据存储的元数据信息，存储时间戳等信息传递给静态数据处理单元，静态数据单元将数据纪录，并将之前分配过的流水号与元数据进行关联处理。同时，数据存储模块将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据。

3)数据计算过程：数据计算模块定时将数据计算处理过程的操作进行记录，并将流水号以及数据操作记录传递给静态数据处理单元。静态数据单元将数据记录，根据流水号，将数据计算操作记录与元数据进行关联处理。同时，数据计算模块将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据。

4) 数据展现过程：数据展现模块定时将数据查询展现过程的操作进行记录，并将流水号以及数据查询展现过程的操作记录传递给静态数据处理单元。静态数据单元将数据记录，根据流水号，将数据查询展现过程的操作记录与元数据、数据计算操作记录进行关联处理。同时，数据展现模块将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据。

2、回溯追踪系统处理过程：

1) 静态数据处理单元：将数据处理系统四个模块（采集、存储、计算、展现）传递过来的数据，按照流水号，进行关联，达到数据全处理过程的索引关联。

2)日志处理单元：将数据处理系统四个模块（采集、存储、计算、展现）传递过来的日志，按照流水号，进行关联。同时，对日志对格式进行规则，建立统一日志格式；另外，对规整后的日志，提取关键事件、关键操作，并按照时间排序。

3)静态数据与日志融合处理单元：将静态处理数据与日志信息按照流水号进行关联。为了保证关联的正确性，将根据日志数据中以及静态数据的时间戳进行对比校验。静态处理数据与日志信息关联后，将数据作按照时间和事件两个维度排序，对历史情况、预测或者定制时刻的数据动态展现。对于预测的场景，则是按照历史数据，通过预测算法进行趋势分析实现。

在某电网系统中，之前采用的是传统日志以及数据记录工具，数据是分散，单一的，数据详细来源无法获取，当最终处理结果出现问题，很难定位是哪里来的数据，哪一步的操作引入问题，系统管理员以及运维人员解决问题的效率低下。通过了引入本专利中的数据处理回溯系统后，实现了数据的全生命周期处理过程的展现，一方面，满足了电网管理员稽查数据的要求，另一方面也满足了电网运维人员查看系统运行状态，根据详细统一的数据处理以及日志信息，快速定位问题，解决日常维护的问题。满足任何时间点的数据回溯追踪，向下查看历史记录，追踪数据来源，数据操作事件，向上预测数据走向以及预定数据信息展现服务，回溯系统体现出的高效、便捷，获得了某电网客户的好评。

Claims (4)

1.一种基于动态回溯追踪的数据处理方法，包括步骤：

A）采用基于多目标多特征信息融合数据关联，通过接收数据采集、数据存储、数据计算、数据呈现四个数据处理的模块提交的数据状态信息；并按照数据逻辑相关性进行过滤、去重、变更、生成关联键值、组内关联、组间关联处理；关联后的数据呈现出数据上下文的分组；

B）进行日志关联分析排序处理：首先，从各个数据处理部件收集日志，并进行汇总；其次，形成统一格式的日志事件：提取日志数据的特征数据，根据提取到的特征数据构建统一格式的日志事件；最后，通过数据查询策略，按照时间和操作事件的维度，将日志进行排序，得到数据的行为和流向记录；

C）对静态数据与日志动态关联与呈现：将静态数据处理单元得到的静态关联数据以及日志处理单元得到的数据行为和流向记录进行关联和统计处理，动态展现数据全生命周期流向和操作处理过程，满足任何时间点的数据回溯追踪，向下查看历史记录，追踪数据来源，数据操作事件，向上测数据走向以及预定数据信息展现服务。

2.如权利要求1所述的基于动态回溯追踪的数据处理方法，其特征是：所述A）步骤的数据状态信息包括数据来源、元数据、处理操作。

3.如权利要求1所述的基于动态回溯追踪的数据处理方法，其特征是：所述B）步骤的提取日志数据的特征数据为通过预设的条件或者动态配置。

4.如权利要求1所述的基于动态回溯追踪的数据处理方法，其特征是：所述B）步骤的数据查询策略为对事件进行交叉关联分析和事件流逻辑关联。