CN105700938A - 一种多线程处理数据的方法及装置 - Google Patents

Abstract

本发明提供了一种多线程处理数据的方法及装置，该方法包括：首先确定用于处理数据的线程的数量，并创建相应数量的线程，以及记录创建的每一个线程的状态信息；通过将待处理的数据分配至所述每一个线程，以使各线程处理与之相对应的数据；监控数据处理过程，以在监控到任一线程中存在处理失败的数据时，记录该数据的处理状态，同时对该线程的状态信息进行更新，并结束该线程。因此，本方案通过多线程的方式以处理数据，能够提高数据处理的效率。

Description

一种多线程处理数据的方法及装置

技术领域

本发明涉及计算机领域，特别涉及一种多线程处理数据的方法及装置。

背景技术

企业年金，是指企业及其职工在依法参加基本养老保险的基础上，自愿建立的补充养老保险制度。随着企业年金业务的发展，越来越多的企业开始参加企业年金项目，企业年金的业务量也开始逐年增多。

目前，在企业年金账户管理业务运营过程中，一般采用单线程数据处理方式，以对各待处理业务数据进行依次处理。

但是，由于单线程数据处理方式的时效性较低，尤其是当待处理业务数据的数量较多时，难免会影响数据处理的整体工作效率。

发明内容

本发明提供了一种多线程处理数据的方法及装置，能够提高数据处理的效率。

为了达到上述目的，本发明是通过如下技术方案实现的：

一方面，本发明提供了一种多线程处理数据的方法，预先确定线程池的大小和线程的第一数量，其中，所述线程的第一数量不大于所述线程池的大小，还包括：

初始化所述线程池，创建所述第一数量的线程；

针对所述第一数量的线程中的每一个目标线程，均执行：记录所述目标线程的状态信息；

将待处理的至少一个数据分配至所述目标线程，以使所述目标线程处理所述至少一个数据中的每一个目标数据；

监控所述目标线程中是否存在处理失败的所述目标数据，若存在，则记录所述目标数据的处理状态，更新所述目标线程的状态信息，并结束所述目标线程。

进一步地，在所述确定线程池的大小和线程的第一数量之前，还包括：首次创建线程参数配置规则，确定服务器的配置；

所述确定线程池的大小和线程的第一数量，包括：根据所述服务器的配置，利用所述线程参数配置规则，确定线程池的大小和线程的第一数量。

进一步地，所述确定线程池的大小和线程的第一数量，包括：确定所述线程池的大小等于所述服务器的CPU核心数再加1，所述线程的第一数量等于所述服务器的CPU核心数再减1。

进一步地，在所述记录所述目标线程的状态信息之前，还包括：首次创建线程状态记录规则；

所述记录所述目标线程的状态信息，包括：根据所述线程状态记录规则，记录所述目标线程的状态信息。

进一步地，所述将待处理的至少一个数据分配至所述目标线程，包括：根据所述线程的第一数量和企业实际应用需求，将待处理的至少一个数据分配至所述目标线程。

进一步地，所述目标数据，包括：企业年金账户管理系统中用于交易申购的业务单据。

另一方面，本发明提供了一种多线程处理数据的装置，包括：

第一确定单元，用于确定线程池的大小和线程的第一数量，其中，所述线程的第一数量不大于所述线程池的大小；

处理单元，用于初始化所述线程池，创建所述第一数量的线程，并向第一记录单元输出第一触发信号；在接收到由所述第一记录单元输出的第二触发信号之后，将待处理的至少一个数据分配至所述目标线程，以使所述目标线程处理所述至少一个数据中的每一个目标数据；监控所述目标线程中是否存在处理失败的所述目标数据，若存在，则向第二记录单元输出第三触发信号，以使所述第二记录单元记录所述目标数据的处理状态，向所述第一记录单元输出第四触发信号，以使所述第一记录单元更新所述目标线程的状态信息，并结束所述目标线程；

所述第一记录单元，用于在接收到由所述处理单元输出的第一触发信号之后，针对所述第一数量的线程中的每一个目标线程，均执行：记录所述目标线程的状态信息，并向所述处理单元输出第二触发信号；在接收到由所述处理单元输出的第四触发信号之后，更新所述目标线程的状态信息；

所述第二记录单元，用于在接收到由所述处理单元输出的第三触发信号之后，记录所述目标数据的处理状态。

进一步地，该装置还包括：

创建单元，用于首次创建线程参数配置规则；

第二确定单元，用于确定服务器的配置；

所述第一确定单元，具体用于根据所述服务器的配置，利用所述线程参数配置规则，确定线程池的大小和线程的第一数量。

进一步地，所述创建单元，还用于首次创建线程状态记录规则；

所述第一记录单元，具体用于根据所述线程状态记录规则，记录所述目标线程的状态信息。

进一步地，所述处理单元，具体用于根据所述线程的第一数量和企业实际应用需求，将待处理的至少一个数据分配至所述目标线程。

本发明提供了一种多线程处理数据的方法及装置，首先确定用于处理数据的线程的数量，并创建相应数量的线程，以及记录创建的每一个线程的状态信息；通过将待处理的数据分配至所述每一个线程，以使各线程处理与之相对应的数据；监控数据处理过程，以在监控到任一线程中存在处理失败的数据时，记录该数据的处理状态，同时对该线程的状态信息进行更新，并结束该线程。因此，本发明通过多线程的方式以处理数据，能够提高数据处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种多线程处理数据的方法的流程图；

图2是本发明一实施例提供的另一种多线程处理数据的方法的流程图；

图3是本发明一实施例提供的一种多线程处理数据的装置的示意图；

图4是本发明一实施例提供的另一种多线程处理数据的装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种多线程处理数据的方法，可以包括以下步骤：

步骤101：预先确定线程池的大小和线程的第一数量，其中，所述线程的第一数量不大于所述线程池的大小。

步骤102：初始化所述线程池，创建所述第一数量的线程。

步骤103：针对所述第一数量的线程中的每一个目标线程，均执行：记录所述目标线程的状态信息。

步骤104：将待处理的至少一个数据分配至所述目标线程，以使所述目标线程处理所述至少一个数据中的每一个目标数据。

步骤105：监控所述目标线程中是否存在处理失败的所述目标数据，若存在，则记录所述目标数据的处理状态，更新所述目标线程的状态信息，并结束所述目标线程。

本发明实施例提供了一种多线程处理数据的方法，首先确定用于处理数据的线程的数量，并创建相应数量的线程，以及记录创建的每一个线程的状态信息；通过将待处理的数据分配至所述每一个线程，以使各线程处理与之相对应的数据；监控数据处理过程，以在监控到任一线程中存在处理失败的数据时，记录该数据的处理状态，同时对该线程的状态信息进行更新，并结束该线程。因此，本发明实施例通过多线程的方式以处理数据，能够提高数据处理的效率。

在一种可能的实现方式中，为了能够在不改变系统程序的情况下，根据不同的实际应用需求，灵活设置合适的线程参数配置信息，所以，在所述确定线程池的大小和线程的第一数量之前，进一步包括：首次创建线程参数配置规则，确定服务器的配置；

所述确定线程池的大小和线程的第一数量，包括：根据所述服务器的配置，利用所述线程参数配置规则，确定线程池的大小和线程的第一数量。

在一种可能的实现方式中，为了能够最大限度的利用服务器的CPU资源，所以，所述确定线程池的大小和线程的第一数量，包括：确定所述线程池的大小等于所述服务器的CPU核心数再加1，所述线程的第一数量等于所述服务器的CPU核心数再减1。

在一种可能的实现方式中，为了使系统程序能够规范的记录各线程的状态信息，所以，在所述记录所述目标线程的状态信息之前，进一步包括：首次创建线程状态记录规则；

所述记录所述目标线程的状态信息，包括：根据所述线程状态记录规则，记录所述目标线程的状态信息。

在一种可能的实现方式中，为了能够将所有待处理数据合理的分配至每一个线程，所以，所述将待处理的至少一个数据分配至所述目标线程，包括：根据所述线程的第一数量和企业实际应用需求，将待处理的至少一个数据分配至所述目标线程。

在一种可能的实现方式中，为了说明多线程处理数据方法的可应用场景，所以，所述目标数据，包括：企业年金账户管理系统中用于交易申购的业务单据。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。

如图2所示，本发明一个实施例提供了多线程处理数据的方法，该方法可以包括以下步骤：

步骤201：首次创建线程参数配置规则，首次创建线程状态记录规则。

在本实施例中，为了能够灵活设置合适的线程参数配置信息，可以预先首次创建用于定义线程参数配置规则的线程参数配置表，如表1所示。

表1

在表1中，所述值可以用于设置线程的数量；所述说明可以用于表示线程池的大小；所述组织代码，和/或，所述键，均可以用作任一设置的线程的数量和线程池的大小的标识。

此外，为了能够规范化记录各线程的状态信息，可以预先首次创建用于定义线程状态记录规则的线程信息配置表，如表2所示。

表2

在表2中，所述业务日期可以用于表示线程的创建日期；所述业务名称可以用于表示线程所处理业务的名称；所述批次号可以用于表示新建线程的批次；所述线程号可以用于表示新建线程的系列号；所述状态可以用于表示线程处理数据的处理状态，其中，所述状态可以默认为未处理状态，或空置该项内容；所述日志可以用于表示当线程处理数据失败时所记录的系统日志；所述更新日期可以用于表示线程状态信息发生改变时的日期。

在本实施例中，所述线程参数配置表和所述线程信息配置表所使用的参数项目均可以配置到数据库中。

步骤202：确定服务器的CPU核心数。

步骤203：根据所述CPU核心数，利用所述线程参数配置规则，确定线程池的大小和线程的第一数量，其中，所述线程的第一数量不大于所述线程池的大小。

具体地，可以确定所述线程池的大小等于所述服务器的CPU核心数再加1，所述线程的第一数量等于所述服务器的CPU核心数再减1。

例如，当服务器的CPU核心数为8核时，可以确定所述线程池的大小为9，所述线程的第一数量为7，故可以根据表1进行设置，或调用已有的相同设置信息。

通过这一实现方式，可以根据预先首次设置的线程参数配置表和服务器配置信息，灵活调整线程配置参数以适用于不同的实际应用需求场合，且可以最大限度的利用服务器配置资源，以及提高大批量数据的处理效率。

步骤204：初始化所述线程池，创建所述第一数量的线程。

详细地，在本实施例中，可以执行ExecutorServicethreadPool＝Executors.newFixedThreadPool(threadPoolSize)；方法以实现初始化线程池。例如，初始化线程池并创建线程可以通过如下代码程序实现：

步骤205：针对所述第一数量的线程中的每一个目标线程，均执行：根据所述线程状态记录规则，记录所述目标线程的状态信息。

例如，在本实施例中，完成创建7个线程之后，可以根据表2，生成与该7个线程中的每一个线程相对应的线程状态的记录信息，以方便工作人员进行查询或利用。

步骤206：根据所述线程的第一数量和企业实际应用需求，将需要进行交易申购的至少一个业务单据分配至所述目标线程，以使所述目标线程处理所述至少一个业务单据中的每一个目标业务单据。

详细地，可以综合考虑线程的数量以及具体的实际应用需求，有选择性的将待处理的大量数据分配于每一个线程。

例如，在企业年金账户管理系统中，通常会有大量需要进行交易申购的业务单据，若无特殊需求，最简单的，可以将该大量业务单据平均分配于各个线程。

详细地，在本实施例中，在查询到配置的线程池大小和线程数量之后，可以调用getlist(rwdh,countThreadnum,clbz,bt,njjhbh,ywrq,conn)；方法，以按线程数量和企业计划进行分组。例如，初始化线程池并创建线程可以通过如下代码程序实现：

通过这一实现方式，可以提高企业年金账户管理系统的数据处理的时效性，从而有利于提高年金管理机构的服务质量，以及降低年金管理机构在信息化方面的投入成本。此外，除可以应用于企业年金账户管理系统外，还可以应用于企业年金受托管理系统、养老金综合业务管理平台等，或其他适宜应用环境。

步骤207：监控所述目标线程中是否存在处理失败的所述目标业务单据，若是，则记录所述目标业务单据的处理状态，更新所述目标线程的状态信息，并结束所述目标线程，否则，执行步骤208。

在本实施例中，由于待处理的业务单据数量较多且分布分散，有必要明确各业务单据是否被成功处理，故可以在多线程处理数据过程中，监控每一个线程中是否存在处理失败的业务单据。

其中，若某一线程中存在处理失败的业务单据，则可以将该业务单据在业务表中的状态记录为处理失败，以及将该线程中的其他未处理业务单据在业务表中的状态记录为等待处理，此外，还可以将创建该线程时所记录的状态信息进行相应的更新，以方便工作人员进行查询或利用。相应的，对于处理成功的业务单据，可以将该业务单据在业务表中的状态记录为处理成功，以及将相应线程的状态信息记录为处理成功，也可以不进行任何信息的记录或更新，以默认该业务单据处理成功。

在本实施例中，对于处理失败的业务单据，可以由工作人员确定失败原因并进行集中处理，例如，最简便的，可以针对全部处理失败的业务单据，再次进行多线程数据处理操作过程。

在本实施例中，可以对每一个新建线程进行标记、记录其状态信息及对其状态信息进行更新，以及可以记录各数据的处理状态，从而以方便工作人员快速确定各测试数据的处理状态、查看数据处理的进程、分析数据处理情况等，同时可以及时出具交易报告等相关数据信息。

步骤208：监控所述目标线程是否完成所述目标业务单据的处理，若是，则结束所述目标线程，以待监控到所述目标线程均完成所述目标业务单据的处理时，关闭所述线程池。

详细地，在本实施例中，可以调用WaitProcess(clbz,bt,countThreadnum,ywrq,blong,conn)；方法，以检查线程是否都已经处理完成。例如，初始化线程池并创建线程可以通过如下代码程序实现：

//检查任务是否都已完成

intbz＝WaitProcess(clbz,bt,countThreadnum,ywrq,blong,conn)；

//关闭线程池(线程都已经处理完成)

threadPool.shutdown()；

通过本实施例提供的多线程处理数据方法，可以大大提高企业年金账户管理系统的数据处理效率，及时完成大批量数据的处理，以及及时出具交易报告等相关数据信息，能够增强年金应用系统的适用性，降低等待数据处理的时间成本，满足企业客户需求，有益于提高企业参加年金的积极性，加快国家企业年金的普及，以及推动国家企业年金的快速、健康发展。

如图3所示，本发明实施例提供了一种多线程处理数据的装置，包括：

第一确定单元301，用于确定线程池的大小和线程的第一数量，其中，所述线程的第一数量不大于所述线程池的大小。

处理单元302，用于初始化所述线程池，创建所述第一数量的线程，并向第一记录单元303输出第一触发信号；在接收到由所述第一记录单元303输出的第二触发信号之后，将待处理的至少一个数据分配至所述目标线程，以使所述目标线程处理所述至少一个数据中的每一个目标数据；监控所述目标线程中是否存在处理失败的所述目标数据，若存在，则向第二记录单元304输出第三触发信号，以使所述第二记录单元304记录所述目标数据的处理状态，向所述第一记录单元303输出第四触发信号，以使所述第一记录单元303更新所述目标线程的状态信息，并结束所述目标线程。

所述第一记录单元303，用于在接收到由所述处理单元302输出的第一触发信号之后，针对所述第一数量的线程中的每一个目标线程，均执行：记录所述目标线程的状态信息，并向所述处理单元302输出第二触发信号；在接收到由所述处理单元302输出的第四触发信号之后，更新所述目标线程的状态信息。

所述第二记录单元304，用于在接收到由所述处理单元302输出的第三触发信号之后，记录所述目标数据的处理状态。

在一种可能的实现方式中，请参考图4，该装置还可以包括：

创建单元305，用于首次创建线程参数配置规则；

第二确定单元306，用于确定服务器的配置；

所述第一确定单元301，具体用于根据所述服务器的配置，利用所述线程参数配置规则，确定线程池的大小和线程的第一数量。

在一种可能的实现方式中，所述创建单元305，进一步用于首次创建线程状态记录规则；

所述第一记录单元303，具体用于根据所述线程状态记录规则，记录所述目标线程的状态信息。

在一种可能的实现方式中，所述处理单元302，具体用于根据所述线程的第一数量和企业实际应用需求，将待处理的至少一个数据分配至所述目标线程。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上所述，本发明实施例提供了一种多线程处理数据的方法及装置，本发明实施例可具有如下有益效果：

1、本发明实施例提供了一种多线程处理数据的方法及装置，首先确定用于处理数据的线程的数量，并创建相应数量的线程，以及记录创建的每一个线程的状态信息；通过将待处理的数据分配至所述每一个线程，以使各线程处理与之相对应的数据；监控数据处理过程，以在监控到任一线程中存在处理失败的数据时，记录该数据的处理状态，同时对该线程的状态信息进行更新，并结束该线程。因此，本发明实施例通过多线程的方式以处理数据，能够提高数据处理的效率。

2、本发明实施例提供了一种多线程处理数据的方法及装置，可以根据预先首次设置的线程参数配置表和服务器配置信息，灵活调整线程配置参数以适用于不同的实际应用需求场合，且可以最大限度的利用服务器配置资源，以及提高大批量数据的处理效率。

3、本发明实施例提供了一种多线程处理数据的方法及装置，可以提高企业年金账户管理系统的数据处理的时效性，从而有利于提高年金管理机构的服务质量，以及降低年金管理机构在信息化方面的投入成本。此外，除可以应用于企业年金账户管理系统外，还可以应用于企业年金受托管理系统、养老金综合业务管理平台等，或其他适宜应用环境。

4、本发明实施例提供了一种多线程处理数据的方法及装置，可以对每一个新建线程进行标记、记录其状态信息及对其状态信息进行更新，以及可以记录各数据的处理状态，从而以方便工作人员快速确定各测试数据的处理状态、查看数据处理的进程、分析数据处理情况等，同时可以及时出具交易报告等相关数据信息。

5、本发明实施例提供了一种多线程处理数据的方法及装置，可以大大提高企业年金账户管理系统的数据处理效率，及时完成大批量数据的处理，以及及时出具交易报告等相关数据信息，能够增强年金应用系统的适用性，降低等待数据处理的时间成本，满足企业客户需求，有益于提高企业参加年金的积极性，加快国家企业年金的普及，以及推动国家企业年金的快速、健康发展。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种多线程处理数据的方法，其特征在于，预先确定线程池的大小和线程的第一数量，其中，所述线程的第一数量不大于所述线程池的大小，该方法还包括：

初始化所述线程池，创建所述第一数量的线程；

针对所述第一数量的线程中的每一个目标线程，均执行：记录所述目标线程的状态信息；

将待处理的至少一个数据分配至所述目标线程，以使所述目标线程处理所述至少一个数据中的每一个目标数据；

监控所述目标线程中是否存在处理失败的所述目标数据，若存在，则记录所述目标数据的处理状态，更新所述目标线程的状态信息，并结束所述目标线程。

2.根据权利要求1所述的方法，其特征在于，

在所述确定线程池的大小和线程的第一数量之前，进一步包括：首次创建线程参数配置规则，确定服务器的配置；

所述确定线程池的大小和线程的第一数量，包括：根据所述服务器的配置，利用所述线程参数配置规则，确定线程池的大小和线程的第一数量。

3.根据权利要求2所述的方法，其特征在于，所述确定线程池的大小和线程的第一数量，包括：确定所述线程池的大小等于所述服务器的CPU核心数再加1，所述线程的第一数量等于所述服务器的CPU核心数再减1。

4.根据权利要求1所述的方法，其特征在于，在所述记录所述目标线程的状态信息之前，进一步包括：首次创建线程状态记录规则；

所述记录所述目标线程的状态信息，包括：根据所述线程状态记录规则，记录所述目标线程的状态信息。

5.根据权利要求1所述的方法，其特征在于，所述将待处理的至少一个数据分配至所述目标线程，包括：根据所述线程的第一数量和企业实际应用需求，将待处理的至少一个数据分配至所述目标线程。

6.根据权利要求1至5中任一所述的方法，其特征在于，所述目标数据，包括：企业年金账户管理系统中用于交易申购的业务单据。

7.一种多线程处理数据的装置，其特征在于，包括：

第一确定单元，用于确定线程池的大小和线程的第一数量，其中，所述线程的第一数量不大于所述线程池的大小；

处理单元，用于初始化所述线程池，创建所述第一数量的线程，并向第一记录单元输出第一触发信号；在接收到由所述第一记录单元输出的第二触发信号之后，将待处理的至少一个数据分配至所述目标线程，以使所述目标线程处理所述至少一个数据中的每一个目标数据；监控所述目标线程中是否存在处理失败的所述目标数据，若存在，则向第二记录单元输出第三触发信号，以使所述第二记录单元记录所述目标数据的处理状态，向所述第一记录单元输出第四触发信号，以使所述第一记录单元更新所述目标线程的状态信息，并结束所述目标线程；

所述第一记录单元，用于在接收到由所述处理单元输出的第一触发信号之后，针对所述第一数量的线程中的每一个目标线程，均执行：记录所述目标线程的状态信息，并向所述处理单元输出第二触发信号；在接收到由所述处理单元输出的第四触发信号之后，更新所述目标线程的状态信息；

所述第二记录单元，用于在接收到由所述处理单元输出的第三触发信号之后，记录所述目标数据的处理状态。

8.根据权利要求7所述的多线程处理数据的装置，其特征在于，还包括：

创建单元，用于首次创建线程参数配置规则；

第二确定单元，用于确定服务器的配置；

所述第一确定单元，具体用于根据所述服务器的配置，利用所述线程参数配置规则，确定线程池的大小和线程的第一数量。

9.根据权利要求7所述的多线程处理数据的装置，其特征在于，

所述创建单元，进一步用于首次创建线程状态记录规则；

所述第一记录单元，具体用于根据所述线程状态记录规则，记录所述目标线程的状态信息。

10.根据权利要求7至9中任一所述的多线程处理数据的装置，其特征在于，所述处理单元，具体用于根据所述线程的第一数量和企业实际应用需求，将待处理的至少一个数据分配至所述目标线程。