CN109144761A - 一种数据故障处理方法及系统 - Google Patents

Abstract

本发明提供了一种数据故障处理方法和系统。所述方法包括：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；若是，则取消对所述数据的计算操作。本发明可以避免人工关闭和启动对数据集的计算任务，依据各数据的标识符判断数据已经被处理过时，提高了数据计算效率，并且避免了数据的重复计算。

Description

一种数据故障处理方法及系统

技术领域

本发明涉及计算机领域，特别是涉及一种数据故障处理方法及系统。

背景技术

近年来，随着网络技术的发展和网络使用的普及，全球数据量也呈现爆炸式的增长。

大多数公司的数据都是离线计算获取到的数据,用户需要在第二天才能看到前一天的数据,这样用户的决策会延迟，损失商业机会，所以需要实时计算一些重要数据，但是在实时计算过程中出现故障时，通常是由人工进行检测并解决，导致故障修复难、数据丢失、重复计算等各种难以解决的问题。

发明内容

本发明提供一种数据故障处理方法及系统，以解决现有技术中通过人工进行实时计算过程中的故障修复而导致修复难、数据丢失、重复计算的问题。

为了解决上述问题，本发明公开了一种数据故障处理方法，包括：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；若是，则取消对所述数据的计算操作。

优选地，在所述在数据集的计算过程中发生异常时，获取所述异常发生的数据节点的步骤之前，还包括：接收数据异常警报信息，并停止对所述数据集的计算操作。

优选地，所述依据所述数据的标识符判断是否对所述数据执行过计算操作的步骤，包括：判断所述数据的标识符与统计结果集中的各标识符是否匹配；若是，则确定对所述数据执行过计算操作。

优选地，在所述获取所述异常发生的数据节点的步骤之后，还包括：将所述数据节点存储于所述数据集中。

优选地，所述异常包括数据差异异常和实时计算异常中的任一种。

为了解决上述技术问题，本发明实施例还公开了一种数据故障处理系统，包括：数据节点获取模块，用于在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；计算操作启动模块，用于在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；数据判断模块，用于依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；计算取消模块，用于在对所述数据执行过计算操作时，取消对所述数据的计算操作。

优选地，还包括：计算操作停止模块，用于接收数据异常警报信息，并停止对所述数据集的计算操作。

优选地，所述数据判断模块包括：匹配判断子模块，用于判断所述数据的标识符与统计结果集中的各标识符是否匹配；计算操作确定子模块，用于在所述数据的标识符与所述统计结果集中的各标识符匹配时，确定对所述数据执行过计算操作。

优选地，还包括：存储模块，用于将所述数据节点存储于所述数据集中。

优选地，所述异常包括数据差异异常和实时计算异常中的任一种。

与现有技术相比，本发明包括以下优点：

本发明实施例提供了一种数据故障处理方法及系统，通过在数据集的计算过程中发生异常时，获取异常发生的数据节点，其中，数据节点对应于数据集中的目标数据，数据集中的各条数据是按照优先级从高至低的顺序排列的，在异常处理完成之后，启动对数据集中低于目标数据的优先级的至少一条数据的计算操作，依次针对至少一条数据中的每一条数据，依据数据的标识符判断是否对数据执行过计算操作，若是，则对数据的计算操作。本发明实施例可以在数据集的计算过程中发生异常时，避免人工关闭和启动对数据集的计算任务，并且，依据各数据的标识符判断数据是否已经被处理过，提高了数据计算效率，并且避免了数据的重复计算。

附图说明

图1示出了本发明实施例提供的一种数据故障处理方法的步骤流程图；

图2示出了本发明实施例提供的一种数据故障处理装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，示出了本发明实施例提供的一种数据故障处理方法的步骤流程图，具体可以包括如下步骤：

步骤101：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点。

本发明实施例可以应用于对数据集中的数据进行处理的场景中。

在对数据集进行计算时可能发生的异常可以包括：数据差异异常和实时计算异常等。

数据差异异常是指数据的大小不处于设定阈值范围内的异常，设定阈值是由业务人员配置得到的，设定阈值的获取方式可以是采用如下方式得到：对于某一公司而言，对于业务数据的处理过程中，可以根据前期数据的处理过程中，获取数据的最大值和最小值，以最大值和最小值之间的范围作为设定阈值范围等。

可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明的唯一限制。

实时计算异常是指在计算过程中出现异常中断或崩溃等现象的异常。

数据节点是对应于数据集中的目标数据的，也即在对数据集中的数据进行计算的过程中，在发生异常时正在执行计算操作的数据。

在数据集的计算过程中发生异常时，可以通过计算过程中生成的日志获取异常发生的数据节点，也可以通过获取崩溃的进程来获取数据集中异常发生的数据节点等。

在实际应用中，本领域技术人员可以根据实际需要选择任一种获取异常发生的数据节点的方法，本发明实施例对此不加以限制。

在本发明实施例的一种优选实施例中，在上述步骤101之后，还可以包括：

步骤S1：将所述数据节点存储于数据集中。

在本发明实施例中，在获取异常发生的数据节点之后，还可以将数据节点存储于数据集中，进而便于从数据集中获取数据节点，也即对数据集中的各条数据执行计算操作时发生异常的数据，便于业务人员依据数据节点查找解决异常的方法，如补充业务数据等等。

在本发明实施例中，还可以在对数据集的计算过程中发生异常时进行警报，在计算机中可以设置警报系统，以实时对数据集执行计算操作过程中的异常进行检测并发出警报，具体地，以下述优选实施例进行详细描述。

在本发明实施例的另一优选实施例中，在上述步骤101之前，还可以包括：

步骤S：接收数据异常警报信息，并停止对所述数据集的计算操作。

在本发明实施例中，可以预先设置警报系统，警报系统可以在对数据集中各条数据执行计算操作的过程中，实时进行检测，例如，可以设置检测程序以对异常进行检测，在检测到异常时，如数据差异异常或实时计算异常等等，以发出警报，以提示对数据集中的数据进行的计算操作出现异常。

在本发明实施例中，可以以类似于鸣笛的声音发出警报，也可以在显示界面弹出提示窗口，在提示窗口中展示异常警报等，本发明实施例对此不加以限制。

在接收到警报系统发出的异常警报信息，则停止对数据集的计算操作，以由业务人员根据数据节点查找故障修复方法，对数据集进行故障修复。

在从数据集中获取异常发生的数据节点之后，执行步骤102。

步骤102：在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作。

对于数据集的计算过程可以通过重启计算机的方式以自动修复，也可以由业务人员补充数据后进行修复等，本发明实施例对此不加以限制。

对数据集中的各条数据的处理过程中，通常是预先为各条数据设置了处理的优先级，按照优先级从高到低的顺序依次对数据集中的各条数据进行处理，在异常处理完成之后，则启动对数据集中低于目标数据的优先级的至少一条数据执行计算操作。

当然，在本发明实施例中，还可以预先设置一数据处理队列，将数据集中待处理的各条数据以优先级从高至低的顺序进行排列，在对数据队列中的各条数据执行计算操作的过程中出现异常时，获取异常发生的数据节点，即在对其中的目标数据执行计算时发生异常，则获取该目标数据，并在异常处理完成之后，对排在该目标数据之后的数据执行计算操作，例如，数据队列中有n条数据，分别为：1...n，n为大于1的正整数，在对k条数据执行计算操作的过程中发生异常时(k＜n，k为大于等于1的正整数)，则将k条数据作为目标数据，即异常发生的数据节点，在异常修复完成之后，则启动对k条数据之后的数据的计算操作，即启动对k+1、k+2...n数据的计算操作。

可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明的唯一限制。

在启动对数据集中低于目标数据的优先级的至少一条数据的计算操作之后，执行步骤103。

步骤103：依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作。

在本发明实施例中，数据集中的各条数据均对应有一个唯一标识符，用于标识各条数据。

在对数据集中的某条数据处理完完成之后，则可以对该条数据的标识符添加处理完成的标注，并将标注结果添加至统计结果集中，以标识已对该条数据进行了计算操作。

在对低于目标数据优先级的至少一条数据执行计算操作时，还可以依据至少一条数据的标识符判断是否对至少一条数据执行过计算操作。

对于依据数据的标识符判断是否对该条数据执行过计算操作的具体过程，将以下述优选实施例进行详细描述。

在本发明实施例的一种优选实施例中，上述步骤103可以包括：

子步骤A1：将所述数据的标识符与统计结果集中的各标识符进行匹配。

在本发明实施例中，在对数据集中的某条数据处理完成之后，则可以对该条数据的标识符添加处理完成的标注，以标识已对该条数据执行过计算处理，并将添加了处理完成标注的标识符存储于统计结果集中，以对数据集中完成计算处理的数据进行统计。

进而，在启动对数据集中低于目标数据的优先级的至少一条数据的计算操作之后，可以针对每一条数据可以依据该条数据的标识符从统计结果集中查找是否存在与该条数据的标识符匹配的标识符，即从统计结果集中查找是否存在该标识符。

在将数据的标识符与统计结果集中的各标识符进行匹配之后，执行子步骤A2。

子步骤A2：依据匹配结果判断是否对所述数据执行过计算操作。

在将数据的标识符与统计结果集中的各标识符进行匹配之后，可以依据匹配结果确定是否对该数据执行过计算操作，例如，在对数据A执行计算时，该数据A的标识符为3，则从统计结果集中查找是否存在标识符3，如果存在，则表示已经对数据A进行了计算操作，如果在统计结果集中未查找到该标识符3，则表示未对数据A进行过计算操作。

当然，在实际应用中，本领域技术人员还可以采用其它方式来判断数据是否执行过计算操作，本发明实施例对此不加以限制。

若对数据进行过计算操作，即已对数据进行了处理，则执行步骤104。

步骤104：取消对所述数据的计算操作。

在确定已经对数据集中的某条数据执行过计算操作时，则取消对该条数据的计算操作，从而可以避免对该条数据的重复计算，以提高数据的计算效率，并避免了重复计算导致结果数据偏大的错误发生。

在本发明实施例的一种优选实施例中，在上述步骤103之后，还可以包括：

步骤N：对所述数据进行计算操作，并将计算结果存储于所述统计结果集。

在本发明实施例中，在对数据集中的某条数据进行计算时，依据该数据的标识符判断出未对该数据进行过计算操作时，则可以执行对该数据的计算操作，并将计算结果存储于统计结果集中，并对该数据对应的标识符添加完成处理的标识，表示已对该数据进行了计算操作，从而可以在进行后续数据的处理时，避免对数据的重复计算，导致结果数据偏大的错误发生。

本发明实施例提供的数据故障处理方法，通过在数据集的计算过程中发生异常时，获取异常发生的数据节点，其中，数据节点对应于数据集中的目标数据，数据集中的各条数据是按照优先级从高至低的顺序排列的，在异常处理完成之后，启动对数据集中低于目标数据的优先级的至少一条数据的计算操作，依次针对至少一条数据中的每一条数据，依据数据的标识符判断是否对数据执行过计算操作，若是，则对数据的计算操作。本发明实施例可以在数据集的计算过程中发生异常时，避免人工关闭和启动对数据集的计算任务，并且，依据各数据的标识符判断数据是否已经被处理过，提高了数据计算效率，并且避免了数据的重复计算。

实施例二

参照图2，示出了本发明实施例提供的一种数据故障处理系统的结构示意图，具体可以包括：

数据节点获取模块210，用于在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；计算操作启动模块220，用于在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；数据判断模块230，用于依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；计算取消模块240，用于在对所述数据执行过计算操作时，取消对所述数据的计算操作。

优选地，还包括：计算操作停止模块，用于接收数据异常警报信息，并停止对所述数据集的计算操作。

优选地，所述230数据判断模块包括：匹配子模块，用于将所述数据的标识符与统计结果集中的各标识符进行匹配；判断子模块，用于依据匹配结果判断是否对所述数据执行过计算操作。

优选地，还包括：数据节点存储模块，用于将所述数据节点存储于所述数据集中。

优选地，还包括：计算结果存储模块，用于在对所述数据执行过计算操作时，对所述数据进行计算操作，并将计算结果存储于所述统计结果集。

本发明实施例提供的数据故障处理系统，通过在数据集的计算过程中发生异常时，获取异常发生的数据节点，其中，数据节点对应于数据集中的目标数据，在异常处理完成之后，启动对数据集中低于目标数据的优先级的至少一条数据的计算操作，依次针对至少一条数据中的每一条数据，依据数据的标识符判断是否对数据执行过计算操作，若是，则对数据的计算操作。本发明实施例可以在数据集的计算过程中发生异常时，避免人工关闭和启动对数据集的计算任务，并且，依据各数据的标识符判断数据是否已经被处理过，提高了数据计算效率，并且避免了数据的重复计算。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种数据故障处理方法和一种数据故障处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据故障处理方法，其特征在于，包括：

在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；

在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；

依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；

若是，则取消对所述数据的计算操作。

2.根据权利要求1所述的方法，其特征在于，在所述在数据集的计算过程中发生异常时，获取所述异常发生的数据节点的步骤之前，还包括：

接收数据异常警报信息，并停止对所述数据集的计算操作。

3.根据权利要求1所述的方法，其特征在于，所述依据所述数据的标识符判断是否对所述数据执行过计算操作的步骤，包括：

将所述数据的标识符与统计结果集中的各标识符进行匹配；

依据匹配结果判断是否对所述数据执行过计算操作。

4.根据权利要求1所述的方法，其特征在于，在所述获取所述异常发生的数据节点的步骤之后，还包括：

将所述数据节点存储于所述数据集中。

5.根据权利要求3所述的方法，其特征在于，在所述依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作的步骤之后，还包括：

若否，则对所述数据进行计算操作，并将计算结果存储于所述统计结果集。

6.一种数据故障处理系统，其特征在于，包括：

数据节点获取模块，用于在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；

计算操作启动模块，用于在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；

数据判断模块，用于依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；

计算取消模块，用于在对所述数据执行过计算操作时，取消对所述数据的计算操作。

7.根据权利要求6所述的装置，其特征在于，还包括：

计算操作停止模块，用于接收数据异常警报信息，并停止对所述数据集的计算操作。

8.根据权利要求6所述的装置，其特征在于，所述数据判断模块包括：

匹配子模块，用于将所述数据的标识符与统计结果集中的各标识符进行匹配；

判断子模块，用于依据匹配结果判断是否对所述数据执行过计算操作。

9.根据权利要求6所述的装置，其特征在于，还包括：

数据节点存储模块，用于将所述数据节点存储于所述数据集中。

10.根据权利要求6所述的装置，其特征在于，还包括：

计算结果存储模块，用于在对所述数据执行过计算操作时，对所述数据进行计算操作，并将计算结果存储于所述统计结果集。