CN108415768A - 一种数据批处理方法与系统 - Google Patents

Abstract

本发明提出了一种数据批处理方法与系统，由多个批处理进程对数据中心的待处理数据进行抢占式的处理，某个批处理进程的故障并不影响批处理任务的完成；并且，在批处理进行过程中，通过执行单独处理进程能够在不受批处理干扰的情况下进行数据实时处理，从而满足用户对于全实时数据服务的需求。本发明尤其适用于信贷产品的跑批任务，既能够降低硬件成本，又能够达到金融级别的数据处理的可靠性，在执行跑批过程中也能够提供实时利息计算服务，从而为用户提供7*24小时的全实时数据服务。

Description

一种数据批处理方法与系统

技术领域

本发明涉及数据处理领域，尤其涉及一种数据批处理方法与系统。

背景技术

对于信贷产品利息的计算，一般都以每天凌晨跑批的方式来计算新一天的利息，所述跑批即为以批处理的方式计算用户的利息。传统的跑批方式计算利息存在下述不足：

(1)为确保跑批能够按时按质完成，达到金融级别的数据处理的可靠性，需要在高性能的硬件上执行跑批任务，以较高的硬件成本换取较低的硬件故障率，以采用X86架构处理器芯片组件所组成的计算机为例，价格在10万人民币级别，高昂的硬件成本导致金融服务价格较高，难以实惠的价格服务于普通大众。

(2)在跑批期间无法为用户提供利息计算服务，因此无法提供7*24小时的实时利息计算服务，从而降低了用户体验。

发明内容

为了解决上述技术问题，本发明提出了一种数据批处理方法与系统，多个批处理进程对数据中心的待处理数据进行抢占式的处理，某个批处理进程的故障并不影响批处理任务的完成；并且，在批处理进行过程中，能够在不受批处理干扰的情况下进行数据实时处理，从而满足用户对于提供全实时数据服务的需求。

本发明具体是以如下技术方案实现的：

一种数据批处理方法，所述方法包括：

每一个批处理进程均按照预设顺序依次从数据中心读取用于进行批处理的数据条目；根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

若否，则对所述数据条目进行处理并在处理成功后改变所述数据条目的处理状态；

若是，则跳过所述数据条目继续处理下一条数据条目；

所述数据中心能够同时接受多个批处理进程对数据条目的读写操作，并通过标记所述数据条目的处理状态记录对于所述数据条目的处理结果；多个批处理进程彼此之间不进行交互，并且均可同时对同一个数据条目进行读操作，当所述数据条目的处理状态被改变后，其它批处理进程对所述数据条目的处理均失败；每个批处理进程均按照预设顺序进行批处理，不同的批处理进程按照预设的时间间隔被依次启动。

一种数据批处理系统，包括：多个批处理模块，每个所述批处理模块均与数据中心通讯连接，所述数据中心能够同时接受多个批处理模块对数据条目的读写操作；

所述批处理模块包括：

顺序读取单元，用于按照预设顺序依次向数据中心读取用于进行批处理的数据条目；

处理状态获取单元，用于得到数据条目的处理状态；

判断单元，用于根据所述数据条目的处理状态，判断所述数据条目是否被成功处理过；

处理单元，用于对所述数据条目进行处理。

本发明提供的一种数据批处理方法与系统，具有如下有益效果：

通过多个批处理进程对数据中心的待处理数据进行抢占式的处理，提升批处理结果的可靠性，即使使用成本低廉的普通硬件执行批处理进程也不影响整体批处理任务的成功率。应用于信贷产品的跑批任务，既能够降低硬件成本，又能够达到金融级别的数据处理的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例1提供的数据批处理方法的流程图；

图2是本发明实施例2提供的数据批处理方法的流程图；

图3是本发明实施例3提供的实时利息计算的流程图；

图4是本发明实施例3提供的数据通讯示意图；

图5是本发明实施例4提供的数据批处理系统框图；

图6是本发明实施例4提供的批处理模块的框图；

图7是本发明实施例4提供的单独处理模块框图；

图8是本发明实施例6提供的终端示意图；

图9是本发明实施例7提供的服务器示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在需要保证高数据可靠性的相关领域，若需要执行数据批处理，通常需要依赖于高可靠性的硬件才能完成。而批处理进程运行过程中，对所依赖的数据进行排他式的占用，因此批处理执行期间，无法对所述数据进行其它处理，依赖于所述数据的其它进程被迫中断，进而无法为用户提供全实时服务。

以金融行业为例：

传统金融行业信贷产品中，利息是收入的关键部分，所述利息指负债方为借债向债权人所付的补偿性费用。对于借债方，利息是借钱的代价；对于提供贷款或购买债券的投资者，利息可以部分抵消债务投资的信用风险和机会成本。因此，基于规则对用户做准确及时的利息计算，并让用户按时偿还利息，是实现利润最大化的必然要求。

在涉及到利息计算的相关行业中，利息计算这种要求保证高可靠性的任务，通常都需要高性能硬件设备中通过批处理来完成，极低的硬件故障率能够保证计算任务的高可靠性。

通过批处理统一计算用户的利息即为跑批，通常跑批在预设时间段内完成，而在跑批执行过程中，无法为用户提供利息实时计算的服务。

为降低批处理成本并提供不受批处理影响的数据实时处理服务，本发明实施例提供了数据批处理方法与系统。

实施例1：

一种数据批处理方法，如图1所示，所述方法包括：

S101.按照预设顺序依次从数据中心读取用于进行批处理的数据条目。

所述数据中心能够同时接受多个批处理进程对数据条目的读写操作，并通过标记所述数据条目的处理状态记录所述数据条目的处理结果。

S102.根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过。

S103.若否，则对所述数据条目进行处理。

S104.若是，则跳过所述数据条目继续处理下一条数据条目。若所有数据条目均被读取完毕，则停止读取数据条目。

具体地，在多个批处理进程与数据中心进行交互的过程中，数据中心对于用于进行批处理的数据条目不进行读保护，即所有批处理进程均能够成功获取数据条目并进行相关数据处理，但是，当所述数据条目被任意一个批处理进程成功处理过后，数据条目的处理状态被改变，其它批处理进程对所述数据条目的处理均失败。

若批处理进程对数据条目进行数据处理失败，则按照所述批处理进程的预设顺序处理下一条数据条目；若批处理进程对数据条目进行数据处理成功，则改变所述数据条目的处理状态并按照预设顺序处理下一条数据条目。若用于进行数据批处理的所有批处理进程均结束，则判定数据批处理完成。

具体地，每个批处理进程均按照各自的预设顺序进行批处理，而批处理进程的开始时间、预设顺序的不同组合能够达到不同的批处理效果。下面以两种方式举例：

第一种：所述不同的批处理进程均按照预设的顺序遍历数据中心的数据条目，不同批处理进程按照预设的时间间隔依次启动。

若不同的批处理进程按照相同的顺序启动，则率先启动的批处理进程率先读取数据条目并能够成功处理所述数据条目，而后启动的批处理进程也能够读取所述数据条目，但是由于所述数据条目已经被之前启动的批处理进程成功处理，因此后启动的批处理进程处理失败。这种情况下，后启动的批处理进程的作用不再仅仅是处理数据条目，其意义重点在于核对之前启动的批处理进程对于数据条目的处理结果，若先启动的批处理进程对数据条目的处理失败，所述后启动的批处理进程能够及时重新处理所述数据条目，从而确保对数据中心所有数据条目最终均被处理成功，进而提升批处理可靠性；

若不同的批处理进程按照不同的顺序启动，则不同的批处理进程的工作量相当，并且可以互相校验。

第二种：每个批处理进程同时进行批处理，不同批处理进程按照不同的顺序进行批处理。

若通过两个批处理进程实现数据条目的批处理，两个批处理进程可以一个顺序遍历数据条目，另一个逆序遍历数据条目，显然这种情况下两个批处理进程的工作量相当，资源分配也较为合理；既可以缩短批处理的时间，同时又有相互校验。

显而易见的是，第一种和第二种的批处理进程的运行方式可以组合使用，一部分批处理进程按照第一种方式运行，另一部分批处理进程按照第二种方式进行。当然，批处理进程的运行方式可以根据用户需求任意设定，并不局限于本实施例中的内容。此外，批处理进程的数量也可以根据实际需求任意设定，每个批处理进程实际读取的数据条目的数量以及读取哪一部分的数据条目也可以根据需求任意设定。

本实施例提供一种数据批处理方法，通过多进程对数据条目进行抢占式处理，来确保数据条目的处理成功。若某个进程对某条数据条目的处理失败，其他批处理进程中的某个进程能够将所述数据条目处理成功，除非所有批处理进程对于所述数据条目均处理失败，才有可能导致所述数据条目的处理失败，而这种事件发生的概率已然非常低，因此，本实施例中通过抢占式的数据批处理能够使用普通的计算机设备即可使得数据处理结果达到金融级别的可靠性。

实施例2：

本实施例提供的数据批处理方法，应用于执行金融跑批任务，所述跑批指通过批处理的方式根据预设的计费规则计算用户的利息，跑批每日执行一次，如图2所示，所述方法包括：

S201.按照预设顺序依次从数据中心读取用于进行批处理的数据条目。

所述数据中心能够同时接受多个批处理进程对数据条目的读写操作，并通过标记所述数据条目的处理状态记录对所述数据条目的处理结果。本实施例中数据条目即为用于计算某个用户利息的相关数据，读取所述数据条目即为计算利息获取准备数据的过程，所述处理状态用于标记所述用户是否在当日的跑批中已经成功进行过利息计算。

S202.判断当日利息是否已经计算。

S203.若否，则计算所述用户的利息。

S204.若是，则继续处理下一条数据条目。

具体地，在多个批处理进程与数据中心进行交互的过程中，数据中心对于用于进行批处理的数据条目不进行读保护，即所有用于进行批处理的进程均能够成功获取数据条目，但是，当所述数据条目被任意一个批处理进程处理过后，数据条目的处理状态被改变，其它批处理进程对所述数据条目的处理均失败。

若批处理进程对数据条目进行数据处理失败，则按照预设顺序处理下一条数据条目；若批处理进程对数据条目进行数据处理成功，则改变所述数据条目的处理状态并按照预设顺序处理下一条数据条目。若用于进行批处理的所有批处理进程均结束，则判定批处理完成。

金融领域，对于利息计算的可靠性要求较高，若利息计算进程出现故障，也应当及时发现，依托于本申请中的数据批处理方法也能够及时发现用于执行跑批任务的批处理进程的故障。

每个批处理进程运行完毕后均生成批处理日志，并将所述批处理日志上报至监控中心。所述批处理日志用于记录批处理进程的具体情况，包括但不限于批处理进程的唯一标识和每条数据条目的处理结果。每个批处理进程在运行完毕后方可上报批处理日志，因此若监控中心在预设时间段内没有收到某个批处理进程上报的批处理日志，即可立即判断所述批处理进程出现故障，并可以对批处理进程进行远程修复。若监控中心收到全部的批处理日志，还能够根据批处理日志具体内容分析各个批处理进程是否出现故障。

本实施例提供了一种适用于执行金融跑批任务的数据批处理方法，通过抢占式的运行批处理进程确保了利息不漏算并且也不会重复计算，不同的批处理进程可以分布在不同的物理机器上面执行并且物理机器的故障率对利息计算的影响不大，因此，不仅保证了利息计算结果的可靠性，还显著降低了跑批成本，使用普通的计算机设备即可实现。

实施例3：

金融领域中通常在每日固定的时间段内执行跑批任务，而跑批过程中无法为用户提供实时的利息计算，只有跑批完毕后，用户才能知晓需要缴付的利息，从而降低了用户体验，本实施例提供的数据批处理方法能够为金融领域提供7*24小时的全实时利息计算服务。

本实施例提供的数据批处理方法与实施例2中一致，此外，还提供实时利息计算方法，实时利息计算由单独处理进程执行，如图3所示，包括：

S301.检测到针对某个用户利息的单独处理请求；

S302.读取所述用于计算所述用户利息的数据条目；

S303.根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

S304.若否，则根据所述数据条目计算用户利息并返回所述用户利息，修改所述数据条目的处理状态；

S305.若是，则直接返回根据所述数据条目已经计算出的用户利息。

由于跑批完毕后，用户利息已经全部计算完毕，可以直接获得用户利息不再需要进行实时计算。因此，本实施例提供的实时利息计算方法可以只用于批处理执行过程，从而弥补跑批期间，不能为用户提供利息计算服务的缺陷。进一步地，所述批处理进程均预设时间点之前全部完成。待批处理进程完成后，即算出了全部的用户的利息，因此，不会再接收到针对某个用户利息的单独处理请求，换言之，若在所述预设时间点之后检测到针对某个用户利息的单独处理请求，则判定跑批过程中存在出现了故障的批处理进程；并且，跑批没有处理到的所述用户的利息也由完成所述单独处理请求的单独处理进程计算出来，从而弥补了跑批的遗漏。

具体地，单独处理进程对数据条目进行数据处理失败，则进入对于单独处理请求的监听状态；若单独处理进程对数据条目进行数据处理成功，则改变所述数据条目的处理状态并进入对于单独处理请求的监听状态。用户获取单独处理进程返回的用户利息后即可立即进行还款，不必等到跑批完毕。

具体地，所述单独处理请求由一个或多个单独处理进程响应，每个单独处理进程均独立完成对数据条目的处理。在跑批期间，若由多个单独处理进程响应单独处理请求，则所述多个单独处理进程对数据条目的处理方式与用于跑批的批处理进程的处理方式相似，均为对数据条目进行抢占式的处理，差别在于，单独处理进程只对单独处理请求中涉及的数据条目进行处理，携带处理结果返回；而用于跑批的批处理进程需要处理所有用于执行批处理的数据条目。

具体地，如图4所示，数据中心能够并行的与多个批处理进程和单独处理进程交互，各个进程各自按照自身逻辑运行，彼此不需要交互。用于存储数据条目的数据中心对于数据条目不进行读保护，即所有用于进行批处理的进程以及所有单独处理进程均能够成功获取数据条目，但是，当所述数据条目被任意一个批处理进程或单独处理进程成功处理过后，数据条目的处理状态被改变，其它批处理进程或单独处理进程对所述数据条目的处理均失败。

本实施例提供的数据批处理方法，能够在批处理期间依然响应对某条数据条目的实时处理请求，从而能够为金融领域的用户提供7*24小时的全实时利息计算服务，多个单独处理进程进行抢占式地提供实时服务，可以减少利息计算服务提供的失误率，并且减低利息计算服务成本，使得原本需要使用昂贵硬件的利息计算服务在普通设备上即可实现。

实施例4：

一种数据批处理系统，如图5所示，包括：多个批处理模块401，每个所述批处理模块401均与数据中心402通讯连接，所述数据中心402能够同时接受多个批处理模块401对数据条目的读写操作。

所述批处理模块401如图6所示，包括：

顺序读取单元4011，用于按照预设顺序依次向数据中心读取用于进行批处理的数据条目；

处理状态获取单元4012，用于得到数据条目的处理状态；

判断单元4013，用于根据所述数据条目的处理状态，判断所述数据条目是否被成功处理过；

处理单元4014，用于对所述数据条目进行处理。

批处理模块401中由处理状态获取单元4012、判断单元4013和处理单元4014完成每条数据条目的处理，由顺序读取单元4011实现对于数据中心402中的数据条目的遍历。

进一步地，批处理模块401还包括：

批处理日志生成单元4015，用于在批处理模块执行的批处理进程结束后均生成批处理日志。

上报单元4016，用于将所述批处理日志至监控中心403。

所述系统还包括：

监控中心403，用于若在预设时间段内没有收到某个批处理进程上报的批处理日志，则立即判断所述批处理进程出现故障并对所述批处理进程进行远程修复；所述监控中心还用于若收到全部的批处理日志，则根据批处理日志具体内容分析各个批处理进程是否出现过故障。

批处理完成后，由批处理日志生成单元4015生成批处理日志并由上报单元4016将所述批处理日志上报至监控中心403。批处理模块401中运行批处理进程，监控中心403即可用于及时发现出现故障的批处理模块。

进一步地，所述系统还包括：

多个单独处理模块404，所述单独处理模块404如图7所示，包括：

监听单元4041，用于实时监听单独处理请求；

读取单元4042，用于读取所述数据条目；

处理状态获取单元4043，用于得到数据条目的处理状态；

判断单元4044，用于根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过；

处理模块4045，用于得到对于所述数据条目的处理结果，并返回所述处理结果。

进一步地，在其他实施例中，还可以包括：实时处理模块，所述实时处理模块包括多个所述实时处理单元404，并控制所述实时处理单元404的运行状态。

本实施例基于同样地发明构思，提供了一种数据批处理系统，本实施例能够用于实现上述实施例中提供的数据批处理方法。此外，本实施例提供的数据批处理系统应用于金融领域即可形成一个完善的利息计算系统，能够在普通服务器硬件上，完成高可靠，高性能的利息计算任务，并满足7*24小时无间断服务的要求，且成本低廉，在互联网金融行业中，能够以极大的成本优势，实现普惠金融。

实施例5：

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例实现数据批处理方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

每一个批处理进程均按照预设顺序依次从数据中心读取用于进行批处理的数据条目；根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

若否，则对所述数据条目进行处理并在处理成功后改变所述数据条目的处理状态；

若是，则跳过所述数据条目继续处理下一条数据条目；

所述数据中心能够同时接受多个批处理进程对数据条目的读写操作，并通过标记所述数据条目的处理状态记录对于所述数据条目的处理结果；多个批处理进程彼此之间不进行交互，并且均可同时对同一个数据条目进行读操作，当所述数据条目的处理状态被改变后，其它批处理进程对所述数据条目的处理均失败；每个批处理进程均按照预设顺序进行批处理，不同的批处理进程按照预设的时间间隔被依次启动。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

若批处理进程对数据条目进行数据处理失败，则按照预设顺序处理下一条数据条目；

若批处理进程对数据条目进行数据处理成功，则改变所述数据条目的处理状态并按照预设顺序处理下一条数据条目。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

每个批处理进程结束后均生成批处理日志，所述批处理日志包括批处理进程的唯一标识和批处理过程中每条数据条目的处理结果，并将所述批处理日志上报至监控中心。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

所述监控中心用于若在预设时间段内没有收到某个批处理进程上报的批处理日志，则立即判断所述批处理进程出现故障并对所述批处理进程进行远程修复；

所述监控中心还用于若收到全部的批处理日志，则根据批处理日志具体内容分析各个批处理进程是否出现过故障。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

设置单独处理进程，所述单独处理进程实时监听单独处理请求；

响应于针对某条数据条目的单独处理请求，判断批处理是否完成：

若否，则：

单独处理进程开启读取所述数据条目；

根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

若否，则对所述数据条目进行处理，改变所述数据条目的处理状态并返回处理结果，并继续监听单独处理请求；

若是，则直接返回处理结果，并继续监听单独处理请求。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

所述单独处理请求由一个或多个单独处理进程响应，每个单独处理进程均独立完成对数据条目的处理，彼此之间不进行交互；当所述数据条目被改变后，其它单独处理进程对所述数据条目的处理均失败。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

实施例6：

参见图8，本发明的实施例还提供一种数据批处理终端，所述终端包括数据批处理系统，也可以只包括数据批处理系统的一个或多个模块。该终端可以是移动终端等终端设备。可选地，在本实施例中，该终端也可以是计算机终端，还可以替换为计算机终端群中的任意一个计算机终端设备。

可选地，在本实施例中，上述计算机终端或移动终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，图8是根据本发明实施例的终端的结构框图。如图8所示，该终端可以包括：一个或多个(图中仅示出一个)处理器、存储器、以及传输装置。

其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端或移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置包括一个网络适配器，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置为射频模块，其用于通过无线方式与互联网进行通讯。

其中，具体地，存储器存储用于进行用于实现数据批处理的程序。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：

每一个批处理进程均按照预设顺序依次从数据中心读取用于进行批处理的数据条目；根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

若否，则对所述数据条目进行处理并在处理成功后改变所述数据条目的处理状态；

若是，则跳过所述数据条目继续处理下一条数据条目；

所述数据中心能够同时接受多个批处理进程对数据条目的读写操作，并通过标记所述数据条目的处理状态记录对于所述数据条目的处理结果；多个批处理进程彼此之间不进行交互，并且均可同时对同一个数据条目进行读操作，当所述数据条目的处理状态被改变后，其它批处理进程对所述数据条目的处理均失败；每个批处理进程均按照预设顺序进行批处理，不同的批处理进程按照预设的时间间隔被依次启动。

可选地，处理器还存储用于执行以下步骤的程序代码：

若批处理进程对数据条目进行数据处理失败，则按照预设顺序处理下一条数据条目；

若批处理进程对数据条目进行数据处理成功，则改变所述数据条目的处理状态并按照预设顺序处理下一条数据条目。

可选地，处理器还存储用于执行以下步骤的程序代码：

每个批处理进程结束后均生成批处理日志，所述批处理日志包括批处理进程的唯一标识和批处理过程中每条数据条目的处理结果，并将所述批处理日志上报至监控中心。

可选地，处理器还存储用于执行以下步骤的程序代码：

所述监控中心用于若在预设时间段内没有收到某个批处理进程上报的批处理日志，则立即判断所述批处理进程出现故障并对所述批处理进程进行远程修复；

所述监控中心还用于若收到全部的批处理日志，则根据批处理日志具体内容分析各个批处理进程是否出现过故障。

可选地，处理器还存储用于执行以下步骤的程序代码：

设置单独处理进程，所述单独处理进程实时监听单独处理请求；

响应于针对某条数据条目的单独处理请求，判断批处理是否完成：

若否，则：

单独处理进程开启读取所述数据条目；

根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

若否，则对所述数据条目进行处理，改变所述数据条目的处理状态并返回处理结果，并继续监听单独处理请求；

若是，则直接返回处理结果，并继续监听单独处理请求。

可选地，处理器还存储用于执行以下步骤的程序代码：

所述单独处理请求由一个或多个单独处理进程响应，每个单独处理进程均独立完成对数据条目的处理，彼此之间不进行交互；当所述数据条目被改变后，其它单独处理进程对所述数据条目的处理均失败。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台移动终端或计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

实施例7：

参见图9，图9是本发明实施例提供的一种服务器结构示意图。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器700上执行存储介质730中的一系列指令操作。服务器700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作系统741，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。上述实施例中用于进行数据批处理所执行的步骤可以基于该图9所示的服务器结构。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据批处理方法，其特征在于，所述方法包括：

每一个批处理进程均按照预设顺序依次从数据中心读取用于进行批处理的数据条目；根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

若否，则对所述数据条目进行处理并在处理成功后改变所述数据条目的处理状态；

若是，则跳过所述数据条目继续处理下一条数据条目；

所述数据中心能够同时接受多个批处理进程对数据条目的读写操作，并通过标记所述数据条目的处理状态记录对于所述数据条目的处理结果；多个批处理进程彼此之间不进行交互，并且均能够同时对同一个数据条目进行读操作，当所述数据条目的处理状态被改变后，其它批处理进程对所述数据条目的处理均失败；每个批处理进程均按照预设顺序进行批处理，不同的批处理进程按照预设的时间间隔被依次启动。

2.根据权利要求1所述的方法，其特征在于：

若批处理进程对数据条目进行数据处理失败，则按照预设顺序处理下一条数据条目；

若批处理进程对数据条目进行数据处理成功，则改变所述数据条目的处理状态并按照预设顺序处理下一条数据条目。

3.根据权利要求1所述的方法，其特征在于，还包括：

每个批处理进程结束后均生成批处理日志，所述批处理日志包括批处理进程的唯一标识和批处理过程中每条数据条目的处理结果，并将所述批处理日志上报至监控中心。

4.根据权利要求3所述的方法，其特征在于，还包括：

所述监控中心用于若在预设时间段内没有收到某个批处理进程上报的批处理日志，则立即判断所述批处理进程出现故障并对所述批处理进程进行远程修复；

所述监控中心还用于若收到全部的批处理日志，则根据批处理日志具体内容分析各个批处理进程是否出现过故障。

5.根据权利要求1所述的方法，其特征在于，还包括：

设置单独处理进程，所述单独处理进程实时监听单独处理请求；

响应于针对某条数据条目的单独处理请求，判断批处理是否完成：

若否，则：

单独处理进程开启读取所述数据条目；

根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过：

若否，则对所述数据条目进行处理，改变所述数据条目的处理状态并返回处理结果，并继续监听单独处理请求；

若是，则直接返回处理结果，并继续监听单独处理请求。

6.根据权利要求5所述的方法，其特征在于：

所述单独处理请求由一个或多个单独处理进程响应，每个单独处理进程均独立完成对数据条目的处理，彼此之间不进行交互；当所述数据条目被改变后，其它单独处理进程对所述数据条目的处理均失败。

7.一种数据批处理系统，其特征在于，包括：多个批处理模块，每个所述批处理模块均与数据中心通讯连接，所述数据中心能够同时接受多个批处理模块对数据条目的读写操作；

所述批处理模块包括：

顺序读取单元，用于按照预设顺序依次向数据中心读取用于进行批处理的数据条目；

处理状态获取单元，用于得到数据条目的处理状态；

判断单元，用于根据所述数据条目的处理状态，判断所述数据条目是否被成功处理过；

处理单元，用于对所述数据条目进行处理。

8.根据权利要求7所述的系统，其特征在于，所述批处理模块还包括：

批处理日志生成单元，用于在批处理模块执行的批处理进程结束后均生成批处理日志；

上报单元，用于将所述批处理日志上报至监控中心。

9.根据权利要求8所述的系统，其特征在于，还包括：

所述监控中心用于若在预设时间段内没有收到某个批处理进程上报的批处理日志，则立即判断所述批处理进程出现故障并对所述批处理进程进行远程修复；

所述监控中心还用于若收到全部的批处理日志，则根据批处理日志具体内容分析各个批处理进程是否出现过故障。

10.根据权利要求7所述的系统，其特征在于，还包括：

多个单独处理模块，所述单独处理模块包括：

监听单元，用于实时监听单独处理请求；

读取单元，用于读取所述数据条目；

处理状态获取单元，用于得到数据条目的处理状态；

判断单元，用于根据所述数据条目的处理状态，判断所述数据条目是否已经被成功处理过；

处理模块，用于得到对于所述数据条目的处理结果，并返回所述处理结果。