CN105843937A - 数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理方法和装置。该数据处理方法包括：以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；以及将所消费的任务失败数据中的至少一部分写入日志文件系统。上述数据处理方法和装置，通过将任务失败数据从消息队列中转存到日志文件系统中，使得任务失败数据不会被长期留存在消息队列中，这样可以有效缓解消息队列的存储压力。

Description

数据处理方法和装置

技术领域

本发明涉及计算机技术领域，具体涉及一种数据处理方法和装置。

背景技术

随着计算机技术的飞速发展，在许多应用领域，存在越来越多的需要管理的数据，诸如用户信息数据、系统日志数据等。通常采用数据库对这些数据进行管理。在通过对数据库中的数据进行操作来完成某种任务时，如果操作失败的话会产生任务失败数据。例如，如果期望为某个用户增加经验值，则需要更新数据库中存储的该用户的经验值数据。在更新用户的经验值数据时，如果由于某些原因导致更新操作失败，也就是增加经验值的任务失败，则可以产生一条关于为该用户增加经验值的任务失败的记录，该记录即上述任务失败数据。通常将任务失败数据写入消息队列中，消费者会不断轮询该消息队列，从消息队列中取出并处理任务失败数据。正常情况下失败任务的数量比较少，但是在数据库出现故障，无法进行数据写入操作的情况下，会产生大量任务失败数据。大量的任务失败数据涌入消息队列会给消息队列带来巨大压力，很有可能导致消息队列崩溃。

发明内容

鉴于上述问题，提出了本发明以便提供一种至少部分地解决上述问题的数据处理方法和装置。

根据本发明的一个方面，提供一种数据处理方法。该数据处理方法包括：以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；以及将所消费的任务失败数据中的至少一部分写入日志文件系统。

根据本发明的另一个方面，提供一种数据处理装置。该数据处理装置包括消费模块和写入模块。消费模块用于以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务。写入模块用于将所消费的任务失败数据中的至少一部分写入日志文件系统。

根据本发明实施例的数据处理方法和装置，通过将任务失败数据从消息队列中转存到日志文件系统中，使得任务失败数据不会被长期留存在消息队列中，这样可以有效缓解消息队列的存储压力，避免在数据库出现故障时大量任务失败数据堆积在消息队列中，进而可以避免消息队列崩溃。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出根据本发明一个实施例的数据处理方法的流程示意图；

图2示出根据本发明另一个实施例的数据处理方法的流程示意图；

图3示出根据本发明另一个实施例的数据处理方法的流程示意图；以及

图4示出根据本发明一个实施例的数据处理装置的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明的一个方面，提供一种数据处理方法。图1示出根据本发明一个实施例的数据处理方法100的流程示意图。

如图1所示，数据处理方法100包括以下步骤。

在步骤S110，以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务。

消息队列可以存储任务失败数据。任务失败数据可以是在针对数据库进行数据操作时任务失败所产生的记录。例如，如果为用户增加经验值的任务失败，即对数据库中存储的该用户的经验值数据的更新没有成功，则可以生成任务失败数据。可以将这些任务失败数据写入消息队列。

示例性地，所述消息队列可以设置于内存中。内存的读写速度快，响应时间短，非常适于进行数据的临时缓存和中转，因此可以使用内存存储消息队列。

可以利用特定线程在消息队列中消费任务失败数据。特定线程可以是消费者程序的线程(可以称为消费者线程)，其可以预先分配给消息队列。

在步骤S120，将所消费的任务失败数据中的至少一部分写入日志文件系统。

在步骤S120中，可以将上文所述的消费者程序视作生产者，将日志文件系统视作消费者，日志文件系统可以从消费者程序获取任务失败数据并且可以存储所获取的任务失败数据。

示例性地，日志文件系统设置于本地硬盘中。硬盘是非易失性存储器，其存储容量大，存储稳定，数据不易丢失，因此可以使用本地硬盘作为载体存储任务失败数据。

根据本发明实施例的数据处理方法，通过将任务失败数据从消息队列中转存到日志文件系统中，使得任务失败数据不会被长期留存在消息队列中，这样可以有效缓解消息队列的存储压力，避免在数据库出现故障时大量任务失败数据堆积在消息队列中，进而可以避免消息队列崩溃。

图2示出根据本发明另一个实施例的数据处理方法200的流程示意图。图2所示的数据处理方法200的步骤S210和S230分别与图1所示的数据处理方法100的步骤S110和S120相对应。本领域技术人员根据图1和上文的描述可以理解图2中的上述步骤，为了简洁，在此不再赘述。根据本实施例，在步骤S230之前，数据处理方法200可以进一步包括步骤S220。

在步骤S220，重新执行所述所消费的任务失败数据所指示的失败任务。

在消费者程序消费消息队列中的任务失败数据之后，其可以尝试重新执行所消费的任务失败数据所指示的失败任务。例如，如果失败任务是为某用户增加经验值，则可以尝试重新访问数据库，以对数据库中存储的该用户的经验值数据进行更新。如果此时数据库处于正常状态，则可以成功完成为该用户增加经验值的任务，如果此时数据库处于异常状态，则为该用户增加经验值的任务可能再次执行失败。在将任务失败数据写入日志文件系统之前，首先尝试重新执行失败任务，对于重新执行成功的失败任务，可以不再将其对应的任务失败数据写入日志文件系统，以节省存储资源。对于重新执行失败的失败任务，可以将其对应的任务失败数据写入日志文件系统，用于随后处理。

示例性地，上述步骤S230可以包括：将所述所消费的任务失败数据中的、重新执行失败的次数达到次数阈值的失败任务所对应的任务失败数据写入日志文件系统。

可以预先设定次数阈值。次数阈值可以是任何合适的值，其可以根据需要而定，本发明不对此进行限制。例如，次数阈值可以大于或等于3。

例如，可以多次尝试重新执行失败任务，对于在第1次重新执行时成功的失败任务或者在第1次重新执行时失败并在第2次重新执行时成功的失败任务，可以不将其对应的任务失败数据写入日志文件系统，而对于连续重新执行3次仍然无法成功的失败任务，可以将其对应的任务失败数据写入日志文件系统。

图3示出根据本发明另一个实施例的数据处理方法300的流程示意图。图3所示的数据处理方法300的步骤S310和S320分别与图1所示的数据处理方法100的步骤S110和S120相对应。本领域技术人员根据图1和上文的描述可以理解图3中的上述步骤，为了简洁，在此不再赘述。根据本实施例，在步骤S320之后，数据处理方法300可以进一步包括步骤S330和S340。

在步骤S330，读取日志文件系统中所存储的任务失败数据。

在将任务失败数据存储到日志文件系统中之后，可以从日志文件系统中读取所存储的任务失败数据。

示例性地，步骤S330可以利用Hadoop集群服务器实施。例如，可以预先建立Hadoop集群服务器，该Hadoop集群服务器可以从日志文件系统中读取任务失败数据，并对任务失败数据进行处理。Hadoop集群服务器具有高可靠性、高扩展性、高效性和高容错性等优点，因此其具有较高的数据存储能力和数据处理能力。

在步骤S340，重新执行所读取的任务失败数据所指示的失败任务。

例如，如果任务失败数据指示为某用户分配特权的任务执行失败，则可以访问存储该用户的特权数据的数据库，以尝试重新对该用户的特权数据进行更新。如果更新成功，则可以成功为该用户分配特权，如果更新失败，则说明此时仍然存在问题，例如数据库的故障仍未修复，在这种情况下，为该用户分配特权的任务重新执行失败。重新执行失败任务可以弥补由于某些原因导致的数据操作错误。

根据本发明实施例，在步骤S330之前，数据处理方法300可以进一步包括：监测所述数据库的运行状态。上述步骤S330可以包括：当所述数据库的运行状态从异常状态转变为正常状态时，读取日志文件系统中所存储的任务失败数据。

上述监测数据库状态的动作可以由人工执行，也可以利用计算机程序实时监测数据库的运行状态，例如可以每隔数分钟检查一次数据库是否可以正常进行读写操作，如果发现数据库的读写操作正常，则可以认为其故障修复，即认为其从异常状态转变为正常状态。当确认数据库从异常状态转变为正常状态时，可以尝试重新执行任务失败数据所指示的失败任务。

例如，如果通过监测发现存储经验值数据的数据库从异常状态转变为正常状态，则可以读取日志文件系统中存储的任务失败数据并重新执行所读取的任务失败数据所指示的失败任务，即重新为增加经验值失败的用户增加经验值。

通过以上方式，可以自动地有针对性地基于数据库的状态重新执行失败任务，避免计算资源的无意义操作。

根据本发明实施例，在步骤S330之前，数据处理方法300可以进一步包括：接收用于指示重新执行失败任务的用户指令。上述步骤S330可以包括：基于所述用户指令的接收读取日志文件系统中所存储的任务失败数据。

上述失败任务的重新执行可以由系统自动执行，可以由用户控制失败任务的重新执行。例如，当用户获知数据库的故障已修复，其已恢复正常运行时，用户可以向上述Hadoop集群服务器发送用户指令，当Hadoop集群服务器接收到用户指令时，可以从日志文件系统中读取任务失败数据并重新执行所读取的任务失败数据所指示的失败任务。通过上述方式，可以向用户提供由用户自主控制失败任务的重新执行的实现途径，以更好地满足用户需求。

根据本发明实施例，数据处理方法100(200或300)可以进一步包括：接收任务失败数据并将接收的任务失败数据存储到所述消息队列中；以及为所述消息队列分配特定线程。

可以预先建立统一的消息队列，在接收到任务失败数据之后，可以直接将接收到的任务失败数据存储到该消息队列中。另外，可以预先为该消息队列分配特定线程，该特定线程可以是如上所述的消费者程序的线程。

在本实施例中，可以将任务失败数据存储在统一的消息队列中。例如，可以将与为用户增加经验值的任务、为用户分配特权的任务以及记录用户的任务完成状态的任务相关的任务失败数据均存储在该消息队列中。这种方式实现简单，无需对任务失败数据进行特殊处理。

根据本发明实施例，数据处理方法100(200或300)可以进一步包括：接收任务失败数据并对其进行分类；将接收的任务失败数据分别存储到与其所属类别相对应的消息队列中；以及为每一消息队列分配特定线程。上述步骤110(210或310)可以进一步包括：以所述特定线程消费对应的消费队列中的任务失败数据。

可以建立不同的消息队列，每个消息队列用于存储某种类别的任务失败数据。因此，在接收到任务失败数据时，可以对接收到的任务失败数据进行分类，以确定其应当存储于哪个消息队列中。

例如，可以针对为用户增加经验值的任务、为用户分配特权的任务以及记录用户的任务完成状态的任务分别建立三个消息队列：消息队列A、消息队列B和消息队列C。消息队列A用于存储在为用户增加经验值的任务执行失败时产生的任务失败数据，消息队列B用于存储在为用户分配特权的任务执行失败时产生的任务失败数据，消息队列C用于存储在记录用户的任务完成状态的任务执行失败时产生的任务失败数据。

可以根据分类结果将任务失败数据存储到对应的消息队列中。例如，可以将为用户增加经验值的任务执行失败时产生的任务失败数据存储到消息队列A中，将为用户分配特权的任务执行失败时产生的任务失败数据存储到消息队列B中，将记录用户的任务完成状态的任务执行失败时产生的任务失败数据存储到消息队列C中。

可以利用消费者程序的线程轮询消息队列，以在消息队列中消费任务失败数据。每个消息队列可以具有各自对应的消费者线程。例如，消息队列A中的任务失败数据可以利用消费者线程a处理，消息队列B中的任务失败数据可以利用消费者线程b处理，消息队列C中的任务失败数据可以利用消费者线程c处理。

通常存储数据的数据库可以是分布式部署的，例如，存储经验值数据的数据库与存储特权数据的数据库可以位于不同的机房中，因此当某个机房出现故障时，针对该机房的数据库的数据操作可能大部分会失败，而其他机房是可以正常工作的。因此消费者程序无需大规模轮询针对其他机房的数据库的数据操作所产生的任务失败数据。因此，将任务失败数据进行分类并利用专用的消息队列和消费者线程进行处理是一种高效的数据处理方式，这可以加快数据处理速度，并且有助于有针对性地提高特定类别的任务失败数据的处理能力。

根据本实施例，对消息队列和消费者线程进行分割，不同的消费者线程处理不同的消息队列中的任务失败数据，这样，消费者线程可以互不影响，对任务失败数据的处理将更为灵活高效，可以进一步有效缓解消息队列的存储压力。

根据本发明实施例，上述步骤110(210或310)可以进一步包括：接收任务失败数据并根据接收的任务失败数据所指示的失败任务的类型对接收的任务失败数据进行分类。

示例性地，任务失败数据可以包括失败任务的标识符，该标识符可以用于指示失败任务的类型。这样，当接收到任务失败数据时，可以根据任务失败数据中的标识符确定任务失败数据所指示的失败任务的类型，并进而基于失败任务的类型对任务失败数据进行分类。例如，为用户增加经验值的任务执行失败时产生的任务失败数据可以包括标识符“exp”，为用户分配特权的任务执行失败时产生的任务失败数据可以包括标识符“priv”，记录用户的任务完成状态的任务执行失败时产生的任务失败数据可以包括标识符“task”。因此，可以根据任务失败数据中包括的标识符“exp”、“priv”和“task”将任务失败数据分为三类。

根据失败任务的类型对任务失败数据进行分类是一种简单有效的分类方式，其有利于对任务失败数据进行后续处理。

根据本发明实施例，所述消息队列具有相同数目的特定线程。

如上文所述，可以将为用户增加经验值的任务执行失败时产生的任务失败数据存储到消息队列A中，将为用户分配特权的任务执行失败时产生的任务失败数据存储到消息队列B中，将记录用户的任务完成状态的任务执行失败时产生的任务失败数据存储到消息队列C中。

可以采用平均分配方式为消息队列A、消息队列B和消息队列C分配消费者进程，例如，可以为每个消息队列分配10个消费者进程，也就是说，这三个消息队列分配到的消费者进程的数目相同。平均分配是一种对计算资源的均衡处理方式，可以在初始启用消息队列时采用这种方式分配消费者进程。

根据本发明的另一个方面，提供一种数据处理装置。图4示出根据本发明一个实施例的数据处理装置400的示意性框图。如图4所示，数据处理装置400包括消费模块410和写入模块420。

消费模块410用于以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务。

写入模块420用于将所消费的任务失败数据中的至少一部分写入日志文件系统。

如上文所述，消息队列可以存储任务失败数据。任务失败数据可以是在针对数据库进行数据操作时任务失败所产生的记录。消费模块410可以利用特定线程在消息队列中消费任务失败数据。特定线程可以是消费者程序的线程，其可以预先分配给消息队列。写入模块420可以与消费模块410直接或间接地通信，写入模块420可以将消费模块410消费的任务失败数据写入日志文件系统。消费模块410和写入模块420的任何一者可以采用任何合适的硬件、软件和/或固件实现。

根据本发明实施例的数据处理装置，通过将任务失败数据从消息队列中转存到日志文件系统中，使得任务失败数据不会被长期留存在消息队列中，这样可以有效缓解消息队列的存储压力，避免在数据库出现故障时大量任务失败数据堆积在消息队列中，进而可以避免消息队列崩溃。

示例性地，数据处理装置400可以进一步包括第一执行模块(未示出)，用于重新执行所述所消费的任务失败数据所指示的失败任务。

例如，在消费者程序消费消息队列中的任务失败数据之后，其可以尝试重新执行所消费的任务失败数据所指示的失败任务。对于重新执行成功的失败任务，可以不再将其对应的任务失败数据写入日志文件系统，以节省存储资源。对于重新执行失败的失败任务，可以将其对应的任务失败数据写入日志文件系统，用于随后处理。重新执行失败任务可以弥补由于某些原因导致的数据操作错误。

示例性地，写入模块420可以包括写入子模块，用于将所述所消费的任务失败数据中的、重新执行失败的次数达到次数阈值的失败任务所对应的任务失败数据写入所述日志文件系统。

可以预先设定次数阈值。对于在未达到次数阈值时重新执行成功的失败任务，可以不将其对应的任务失败数据写入日志文件系统，对于在达到次数阈值时仍然无法成功的失败任务，可以将其对应的任务失败数据写入日志文件系统。

示例性地，数据处理装置400可以进一步包括读取模块和第二执行模块(未示出)。读取模块用于读取所述日志文件系统中所存储的任务失败数据。第二执行模块用于重新执行所读取的任务失败数据所指示的失败任务。

可以根据日志文件系统中的任务失败数据重新执行失败任务，以弥补由于某些原因导致的数据操作错误。

示例性地，数据处理装置400可以进一步包括监测模块(未示出)，用于监测所述数据库的运行状态。所述读取模块可以包括第一读取子模块，用于当所述数据库的运行状态从异常状态转变为正常状态时，读取所述日志文件系统中所存储的任务失败数据。

通过实时监测可以及时获知数据库的运行状态，并且可以在数据库的运行状态正常时重新执行失败任务，这样可以避免计算资源的无意义操作。

示例性地，数据处理装置400可以进一步包括指令接收模块(未示出)，用于接收用于指示重新执行失败任务的用户指令。所述读取模块可以包括第二读取子模块，用于基于所述用户指令的接收读取所述日志文件系统中所存储的任务失败数据。

根据用户指令重新执行失败任务的方式能够更好地满足用户需求。

示例性地，所述读取模块利用Hadoop集群服务器实现。

示例性地，数据处理装置400可以进一步包括第一存储模块和第一分配模块(未示出)。第一存储模块用于接收任务失败数据并将接收的任务失败数据存储到所述消息队列中。第一分配模块用于为所述消息队列分配特定线程。

可以预先建立统一的消息队列，在接收到任务失败数据之后，可以直接将接收到的任务失败数据存储到该消息队列中。另外，可以预先为该消息队列分配特定线程，该特定线程可以是如上所述的消费者程序的线程。

示例性地，数据处理装置400可以进一步包括分类模块、第二存储模块和第二分配模块(未示出)。分类模块用于接收任务失败数据并对其进行分类。第二存储模块用于将接收的任务失败数据分别存储到与其所属类别相对应的消息队列中。第二分配模块用于为每一消息队列分配特定线程。所述消费模块410可以进一步包括消费子模块，用于以所述特定线程消费对应的消费队列中的任务失败数据。

如上文所述，可以建立不同的消息队列，每个消息队列用于存储某种类别的任务失败数据。在分类模块接收到任务失败数据之后，可以根据例如任务失败数据所指示的失败任务的类型对任务失败数据进行分类。第二存储模块可以与分类模块直接或间接地通信，其可以根据分类模块的分类结果将任务失败数据存储在对应的消息队列中。第二分配模块可以为消息队列分配不同的消费者线程。消费子模块可以从消息队列中消费任务失败数据。

示例性地，所述分类模块可以进一步包括分类子模块，用于接收任务失败数据并根据接收的任务失败数据所指示的失败任务的类型对所述接收的任务失败数据进行分类。

如上文所述，任务失败数据可以包括失败任务的标识符，该标识符可以用于指示失败任务的类型。可以基于任务失败数据中包括的标识符对任务失败数据进行分类。当然，可以理解的是，上述分类方式仅是示例而非限制，还可以采用任何其他合适的分类方式对任务失败数据进行分类。例如，可以基于数据库发生故障的概率对与各数据库相关的任务失败数据进行分类。例如，数据库1发生故障的概率较大，数据库2和数据库3发生故障的概率均较小，则可以将与数据库1相关的任务失败数据分为一类，用单独的消息队列和对应的特定线程进行处理，并且可以将数据库2和数据库3相关的任务失败数据分为一类，用单独的消息队列和对应的特定线程进行处理。

示例性地，所述消息队列具有相同数目的特定线程。如上文所述，可以为每个消息队列分配相同数目的消费者线程。

示例性地，所述消息队列设置于内存中。

示例性地，所述日志文件系统设置于本地硬盘中。

上文已经描述了数据处理方法的各步骤的实施方式和优点等，本领域技术人员结合图1至3以及上文关于数据处理方法的描述，可以理解数据处理装置400的具体结构、运行方式及其优点等，本文不对此进行赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明实施例公开了A1、一种数据处理方法，包括：

以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；以及

将所消费的任务失败数据中的至少一部分写入日志文件系统。

A2、如A1所述的数据处理方法，

在所述将所消费的任务失败数据中的至少一部分写入日志文件系统之前，所述数据处理方法进一步包括：

重新执行所述所消费的任务失败数据所指示的失败任务。

A3、如A2所述的数据处理方法，

所述将所消费的任务失败数据中的至少一部分写入日志文件系统包括：

将所述所消费的任务失败数据中的、重新执行失败的次数达到次数阈值的失败任务所对应的任务失败数据写入所述日志文件系统。

A4、如A3所述的数据处理方法，所述次数阈值等于3。

A5、如A1至A4任一项所述的数据处理方法，在所述将所消费的任务失败数据中的至少一部分写入日志文件系统之后，所述数据处理方法进一步包括：

读取所述日志文件系统中所存储的任务失败数据；以及

重新执行所读取的任务失败数据所指示的失败任务。

A6、如A5所述的数据处理方法，

在所述读取所述日志文件系统中所存储的任务失败数据之前，所述数据处理方法进一步包括：

监测所述数据库的运行状态；

所述读取所述日志文件系统中所存储的任务失败数据包括：

当所述数据库的运行状态从异常状态转变为正常状态时，读取所述日志文件系统中所存储的任务失败数据。

A7、如A5所述的数据处理方法，

在所述读取所述日志文件系统中所存储的任务失败数据之前，所述数据处理方法进一步包括：

接收用于指示重新执行失败任务的用户指令；

所述读取所述日志文件系统中所存储的任务失败数据包括：

基于所述用户指令的接收读取所述日志文件系统中所存储的任务失败数据。

A8、如A5至A7任一项所述的数据处理方法，所述读取所述日志文件系统中所存储的任务失败数据利用Hadoop集群服务器实施。

A9、如A1所述的数据处理方法，所述数据处理方法进一步包括：

接收任务失败数据并将接收的任务失败数据存储到所述消息队列中；以及

为所述消息队列分配特定线程。

A10、如A1所述的数据处理方法，

所述数据处理方法进一步包括：

接收任务失败数据并对其进行分类；

将接收的任务失败数据分别存储到与其所属类别相对应的消息队列中；以及

为每一消息队列分配特定线程；

所述以特定线程消费消息队列中的任务失败数据进一步包括：

以所述特定线程消费对应的消费队列中的任务失败数据。

A11、如A10所述的数据处理方法，所述接收任务失败数据并对其进行分类进一步包括：

接收任务失败数据并根据接收的任务失败数据所指示的失败任务的类型对所述接收的任务失败数据进行分类。

A12、如A10所述的数据处理方法，所述消息队列具有相同数目的特定线程。

A13、如A1至A12任一项所述的数据处理方法，所述消息队列设置于内存中。

A14、如A1至A13任一项所述的数据处理方法，所述日志文件系统设置于本地硬盘中。

本发明实施例还公开了B15、一种数据处理装置，包括：

消费模块，用于以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；以及

写入模块，用于将所消费的任务失败数据中的至少一部分写入日志文件系统。

B16、如B15所述的数据处理装置，所述数据处理装置进一步包括第一执行模块，用于重新执行所述所消费的任务失败数据所指示的失败任务。

B17、如B16所述的数据处理装置，所述写入模块包括写入子模块，用于将所述所消费的任务失败数据中的、重新执行失败的次数达到次数阈值的失败任务所对应的任务失败数据写入所述日志文件系统。

B18、如B17所述的数据处理装置，所述次数阈值等于3。

B19、如B15至B18任一项所述的数据处理装置，所述数据处理装置进一步包括：

读取模块，用于读取所述日志文件系统中所存储的任务失败数据；以及

第二执行模块，用于重新执行所读取的任务失败数据所指示的失败任务。

B20、如B19所述的数据处理装置，

所述数据处理装置进一步包括监测模块，用于监测所述数据库的运行状态；

所述读取模块包括第一读取子模块，用于当所述数据库的运行状态从异常状态转变为正常状态时，读取所述日志文件系统中所存储的任务失败数据。

B21、如B19所述的数据处理装置，

所述数据处理装置进一步包括指令接收模块，用于接收用于指示重新执行失败任务的用户指令；

所述读取模块包括第二读取子模块，用于基于所述用户指令的接收读取所述日志文件系统中所存储的任务失败数据。

B22、如B19至B21任一项所述的数据处理装置，所述读取模块利用Hadoop集群服务器实现。

B23、如B15所述的数据处理装置，所述数据处理装置进一步包括：

第一存储模块，用于接收任务失败数据并将接收的任务失败数据存储到所述消息队列中；以及

第一分配模块，用于为所述消息队列分配特定线程。

B24、如B15所述的数据处理装置，

所述数据处理装置进一步包括：

分类模块，用于接收任务失败数据并对其进行分类；

第二存储模块，用于将接收的任务失败数据分别存储到与其所属类别相对应的消息队列中；以及

第二分配模块，用于为每一消息队列分配特定线程；

所述消费模块进一步包括消费子模块，用于以所述特定线程消费对应的消费队列中的任务失败数据。

B25、如B24所述的数据处理装置，所述分类模块进一步包括分类子模块，用于接收任务失败数据并根据接收的任务失败数据所指示的失败任务的类型对所述接收的任务失败数据进行分类。

B26、如B24所述的数据处理装置，所述消息队列具有相同数目的特定线程。

B27、如B15至B26任一项所述的数据处理装置，所述消息队列设置于内存中。

B28、如B15至B27任一项所述的数据处理装置，所述日志文件系统设置于本地硬盘中。

Claims (10)

1.一种数据处理方法，包括：

以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；以及

将所消费的任务失败数据中的至少一部分写入日志文件系统。

2.如权利要求1所述的数据处理方法，其特征在于，

在所述将所消费的任务失败数据中的至少一部分写入日志文件系统之前，所述数据处理方法进一步包括：

重新执行所述所消费的任务失败数据所指示的失败任务。

3.如权利要求2所述的数据处理方法，其特征在于，

所述将所消费的任务失败数据中的至少一部分写入日志文件系统包括：

将所述所消费的任务失败数据中的、重新执行失败的次数达到次数阈值的失败任务所对应的任务失败数据写入所述日志文件系统。

4.如权利要求1至3任一项所述的数据处理方法，其特征在于，在所述将所消费的任务失败数据中的至少一部分写入日志文件系统之后，所述数据处理方法进一步包括：

读取所述日志文件系统中所存储的任务失败数据；以及

重新执行所读取的任务失败数据所指示的失败任务。

5.如权利要求4所述的数据处理方法，其特征在于，

在所述读取所述日志文件系统中所存储的任务失败数据之前，所述数据处理方法进一步包括：

监测所述数据库的运行状态；

所述读取所述日志文件系统中所存储的任务失败数据包括：

当所述数据库的运行状态从异常状态转变为正常状态时，读取所述日志文件系统中所存储的任务失败数据。

6.如权利要求4所述的数据处理方法，其特征在于，

在所述读取所述日志文件系统中所存储的任务失败数据之前，所述数据处理方法进一步包括：

接收用于指示重新执行失败任务的用户指令；

所述读取所述日志文件系统中所存储的任务失败数据包括：

基于所述用户指令的接收读取所述日志文件系统中所存储的任务失败数据。

7.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法进一步包括：

接收任务失败数据并将接收的任务失败数据存储到所述消息队列中；以及

为所述消息队列分配特定线程。

8.如权利要求1所述的数据处理方法，其特征在于，

所述数据处理方法进一步包括：

接收任务失败数据并对其进行分类；

将接收的任务失败数据分别存储到与其所属类别相对应的消息队列中；以及

为每一消息队列分配特定线程；

所述以特定线程消费消息队列中的任务失败数据进一步包括：

以所述特定线程消费对应的消费队列中的任务失败数据。

9.如权利要求8所述的数据处理方法，其特征在于，所述接收任务失败数据并对其进行分类进一步包括：

接收任务失败数据并根据接收的任务失败数据所指示的失败任务的类型对所述接收的任务失败数据进行分类。

10.一种数据处理装置，包括：

消费模块，用于以特定线程消费消息队列中的任务失败数据，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；以及

写入模块，用于将所消费的任务失败数据中的至少一部分写入日志文件系统。