CN112269660B - 一种海量数据处理并发任务自适应测控方法及系统 - Google Patents

Abstract

本发明公开了一种海量数据处理并发任务自适应测控方法，包括通过参数扫描器对应用服务器群、数据库服务器群进行扫描，将步扫描到的硬件参数发送到性能指标匹配判定器内并进行工程匹配性判定，将通过累加获得的应用服务器群CPU线程总数和数据库服务器群CPU线程总数发送至群性能匹配判定器进行工程判定。通过数据分割器对待处理的数据表进行等值分割，通过并发任务控制器启动与其CPU线程数等量的并发数据处理任务，进行实时数据处理。优点是对关键服务器的最佳并发任务数与CPU核心数、线程数、内存容量等硬件性能进行自适应匹配，克服了服务器在处理海量数据时的处理任务轻载或过载问题，提高数据处理效率。

Description

一种海量数据处理并发任务自适应测控方法及系统

技术领域

本发明涉及并发任务处理领域，具体涉及一种海量数据处理并发任务自适应测控方法及系统。

背景技术

随着信息系统在人类社会各领域应用的不断深入，反映人类生活规律的各类数据的存储量越来越大，如：电子商务、交通出行、电子教育等。这些数据的快速、高效分析结果能够为各行各业的发展决策提供科学的依据。而如何从海量的日常数据中快速提取高价值商用信息是人类社会活动的迫切需求，现有计算机应对海量数据处理耗时长造成了高价值商用信息的应用延迟。长期以来，如何科学有效地提高应用程序并发任务数并且合理分割数据库来提高数据处理效率一直困扰着息处理行业的发展。并发任务的处理需要计算机系统各个模块之间的密切配合，否则将会造成并发任务无法及时处理，严重拖慢软件的运行，严重甚至会导致计算机系统的宕机。同时如何将加计算机系统内的硬件与并发任务之间进行匹配同样是现存的难题，通过并发任务与CPU核心数、内存等硬件之间的更好配合可有效实现并发任务的快速处理，同时降低硬件购置资金的浪费。

因此，探索信息处理网络提高信息处理效率，有效利用信息网络中关键节点设备的高性能、科学地优化各关键服务节点间的协作关系成为亟待解决的问题。

发明内容

本发明所要解决的技术问题是：提供一种海量数据处理并发任务自适应测控方法及系统，解决处理处理海量数据时并发任务数与CPU核心数、线程数的合理匹配问题，实现提高海量数据处理效率的目标。

本发明解决上述问题所采用的技术方案为：一种海量数据处理并发任务自适应测控方法，包括以下步骤：

步骤1、通过参数扫描器对网络系统中的应用服务器群、数据库服务器群进行扫描，记录每个应用服务器和数据库服务器的硬件参数，并将所述的硬件参数存储于硬件参数寄存器内，所述的硬件参数包括CPU核心数、线程数以及内存容量值；

步骤2、将步骤1中扫描到的硬件参数经性能指标提取器处理后发送到性能指标匹配判定器内并进行工程匹配性判定，若不符合参数要求，通过系统管理员对其进行硬件调整，使其符合参数要求；若符合参数要求，将符合参数要求的硬件参数值信息存储至群参数寄存器内；

步骤3、通过群性能指标统计器读取群参数寄存器内的硬件参数，并通过累加获得应用服务器群中所有应用服务器的CPU线程总数为NA_thread和数据库服务器群中所有数据库服务器的CPU线程总数为ND_thread；

步骤4、将步骤3中获得的应用服务器群CPU线程总数和数据库服务器群CPU线程总数发送至群性能匹配判定器进行工程判定，若不符合工程要求，通过系统管理员对应用服务器群相应的应用服务器的CPU核心数进行调整，使应用服务器群CPU线程总数大于等于数据库服务器群CPU线程总数，符合工程要求；若符合工程要求，将应用服务器群CPU线程总数及群中每个应用服务器的CPU线程数传递至数据库控制器；

步骤5、通过数据库控制器的数据分割器对数据库中待处理的数据表进行等值分割为NA_thread个分割表，对表名进行自动编号并记录保存在分割信息寄存器内；

步骤6、通过并发任务控制器在应用服务器群中的每个应用服务器上启动与其线程数等量的数据处理任务，并依次传递相应的表名，进行实时数据处理；

步骤7、通过步骤6完成任务处理的应用程序反馈任务结束状态信息给并发任务控制器。并发任务控制器收集全部反馈信息后，将信息发送至数控库控制器，数据库控制器的数据合并器对分割表的处理结果进行合并，并存储合并结果至合并结果存储器。当某个应用程序结束状态信息异常，数据库控制器会重新将处理异常的表名发送给并发任务控制器再次启动应用程序处理表中的数据。

优选地，所述的内存容量值为N_RAM，CPU核心数为N_CPU，所述步骤2中的参数要求为N_RAM/N_CPU≥4为符合参数要求，否则为不符合参数要求。

优选地，步骤4中的工程要求关系为应用服务器群CPU线程总数为NA_thread与数据库服务器群CPU线程总数为ND_thread相比，当NA_thread≥ND_thread时为符合工程要求，否则为不符合工程要求。

优选地，所述的参数扫描器包括CPU硬件特征检测器和内存硬件特征检测器，所述的CPU硬件特征检测器用于检测CPU核心数、线程数。所述的内存硬件特征检测器用于检测应用服务器群、数据库服务器群每个成员服务器的内存容量值。

优选地，所述步骤2通过性能指标提取器对硬件参数寄存器内的硬件参数进行提取，并通过性能指标提取器将硬件参数处理后发送至性能指标匹配判定器。

海量数据处理并发任务自适应测控系统，包括由多个应用服务器构成的应用服务器群、多个数据库服务器构成的数据库服务器群以及单服务器参数检测单元、服务器群并发任务管控单元。所述的单服务器参数检测单元用于扫描、处理、存储应用服务器群和数据库服务器群中每个成员服务器的硬件参数信息，以及判定应用服务器、数据库服务器的CPU核心数与内存容量值是否匹配，并将匹配的硬件参数信息输送至服务器群并发任务管控单元。所述的服务器群并发任务管控单元用于判定应用服务器群CPU线程总数与数据库服务器群CPU线程总数是否匹配，并完成对数据库中待处理数据的等值分割以及合并 。

优选地，所述的单服务器参数检测单元包括参数扫描器、硬件参数寄存器、性能指标提取器和性能指标匹配判定器。所述的参数扫描器用于扫描应用服务器、数据库服务器对应的硬件参数信息。所述的硬件参数寄存器用于存储参数扫描器获取的硬件参数信息。所述的性能指标提取器用于读取、处理硬件参数寄存器内存储的硬件参数信息，并将处理结果发送至性能指标匹配判定器。所述的性能指标匹配判定器用于判定每个应用服务器、数据库服务器的CPU核心数与内存容量值是否匹配，并将相匹配的参数信息存储至群参数寄存器。

优选地，所述的服务器群并发任务管控单元包括群性能指标统计器、群性能匹配判定器、数据库控制器和分割信息寄存器。所述的群性能指标统计器用于读取群参数寄存器内的参数信息，并进行累加处理获得应用服务器群CPU线程总数和数据库服务器群CPU线程总数。所述的群性能匹配判定器用于判定应用服务器群CPU线程总数与数据库服务器群CPU线程总数是否匹配，并将相匹配的应用服务器群CPU线程总数以及每个应用服务器的CPU线程数发送至数据库控制器。所述的数据库控制器用于将数据库中待处理的数据表拆分成多个分割表，并将分割表的表名编号及每个应用服务器的CPU线程数存储至分割信息寄存器。

优选地，所述的服务器群并发任务管控单元还包括并发任务控制器。所述的并发任务控制器包括任务启动器和任务状态检测器。所述的任务启动器依据分割信息寄存器内的信息依次控制每个应用服务器启动与其自身CPU线程数相等数量的数据处理任务。所述的任务状态检测器用于检测执行数据处理任务的应用程序的结束状态，并在数据处理任务全部完成后发送全体任务完成指令信息至数据库控制器。

优选地，所述的数据库控制器包括数据分割器和数据合并器。所述的数据分割器用于将数据库中待处理的数据表等值分割成NA_thread个分割表。所述的数据合并器用于在数据库控制器接收到全体任务完成指令后对每个分割表的处理结果进行合并，并将合并后的结果存储至合并结果存储器中。

与现有技术相比，本发明的优点之一是从信息系统关键数据处理设备的性能获取入手，对关键服务器的最佳并发任务数与CPU核心数、线程数、内存容量等硬件性能的自适应匹配关系给出了明确的实用性结果，每台服务器根据自身的硬件性能自适应的匹配并发任务数，克服了服务器在处理海量数据时的处理任务轻载获过载问题，使得负载均衡效果及数据处理效率大幅度提高。本发明的优点之二是对决定海量数据处理效率的应用服务器群和数据库服务器群的CPU总线程数匹配关系给出了具体要求，要求应用服务器群的CPU总线程数大于等于数据库服务器群的CPU总线程数，以便于应用服务器群执行高并发数据处理任务时，数据库服务器群在群集后可自行实现任务负载均衡且不会出现性能瓶颈问题。本发明的优点之三是根据应用服务器群CPU总线程数来等值分割存储海量数据的数据库中的数据表，为应用服务器群中的每个并发任务提供独立的数据处理单元，由于每个并发任务属于同一个应用程序的不同副本，所以任务处理程序与其所处理的数据为一对一关系，随着CPU核心数及线程数的提高，系统可并发的任务数随之提高，数据的处理效率随着应用服务器群总线程数的提高而同步提高。本发明的优点之四是对于单服务器在最佳并发任务数时CPU核心数、线程数与内存容量的不匹配给出报警。对于应用服务器群在最佳并发任务数时CPU线程数与数据库服务器群的CPU线程数不匹配时给出报警，保证了关键数据处理节点在最优的高效率状态下运行并提供最佳的处理能力。数据分割的数量按照应用服务器群CPU总线程数来确定更加科学合理。

附图说明

图1为海量数据处理并发任务自适应测控方法的工作流程图；

图2为海量数据处理并发任务自适应测控系统的系统连接框架图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

一种海量数据处理并发任务自适应测控方法，包括以下步骤：

步骤1、通过参数扫描器S对网络系统中的应用服务器群AF、数据库服务器群DF进行扫描，记录各个应用服务器和数据库服务器的硬件参数。硬件参数存储于硬件参数寄存器R内，硬件参数包括CPU核心数、线程数以及内存容量值；其中参数扫描器S包括CPU硬件特征检测器和内存硬件特征检测器，CPU硬件特征检测器用于检测CPU核心数、线程数。内存硬件特征检测器用于检测应用服务器群AF、数据库服务器群DF对应的内存容量值。

步骤2、过性能指标提取器C对硬件参数寄存器R内的硬件参数进行提取，并通过性能指标提取器C将硬件参数发送至性能指标匹配判定器L，通过性能指标匹配判定器L进行工程匹配性判定，若不符合参数要求，通过报警器A发出报警信息，并通过系统管理员对其进行硬件调整，即通过系统管理员对内存容量进行重新调整，使其符合参数要求；若符合参数要求，将符合参数要求的硬件参数值对应的信息存储至群参数寄存器CR内；其中内存容量值为N_RAM(单位：GB)，CPU核心数为N_CPU(单位：个)，参数要求为N_RAM/N_CPU≥4为符合参数要求，否则为不符合参数要求。

步骤3、通过群性能指标统计器CC读取群参数寄存器CR内的硬件参数，并通过累加获得应用服务器群AF中所有应用服务器的CPU线程总数为NA_thread和数据库服务器群DF中所有数据库服务器的CPU线程总数为ND_thread；

步骤4、将步骤3中获得的应用服务器群AF的CPU线程总数和数据库服务器群DF的CPU线程总数发送至群性能匹配判定器CL进行工程判定，若不符合工程要求，通过报警器AC发出报警信息，并通过系统管理员对应用服务器群AF中相应的应用服务器的CPU核心数进行调整，使应用服务器群AF的CPU线程总数大于等于数据库服务器群DF中CPU线程总数，符合工程要求；若符合工程要求，将应用服务器群AF的CPU线程总数及对应的每个成员应用服务器的CPU线程数传递至数据库控制器DC；其中工程要求关系为应用服务器群AF的CPU线程总数为NA_thread与数据库群CPU线程总数为ND_thread相比，当NA_thread≥ND_thread时为符合工程要求，否则为不符合工程要求。

步骤5、通过数据库控制器DC的数据分割器对数据库中待处理的数据表进行等值分割为NA_thread个分割表，对表名进行自动编号并记录保存在分割信息寄存器SR内；同时数据库控制器DC的数据合并器实时监听并发任务控制器返回的指令；

步骤6、通过并发任务控制器TC依次在应用服务器群AF的每个成员应用服务器中启动与其CPU线程数等量的数据处理任务，并依次传递响应的表名，进行实时并发数据处理；

步骤7、通过步骤6完成任务处理完成后，并发任务控制器TC收集每个数据处理任务结束的反馈信息，反馈信息收集完成后发送至数控库控制器DC。当数据库控制器DC接收到并发任务控制返回的所有任务正常结束的指令时，数据库控制器DC的数据合并器对分割表的处理结果进行合并，并存储至结果存储器，结束任务。当并发任务控制器TC反馈了数据处理任务非正常结束信息时，数据库控制器DC再次调用任务启动器在非正常结束任务的服务器上重新启动任务处理程序。

适配上述方法的海量数据处理并发任务自适应测控系统，主要包括由多个应用服务器构成的应用服务器群AF、多个数据库服务器构成的数据库服务器群DF以及单服务器参数检测单元、服务器群并发任务管控单元。单服务器参数检测单元用于扫描、存储、处理应用服务器群AF和数据库服务器群DF的硬件参数信息，以及判定应用服务器、数据库服务器的CPU核心数与内存容量值是否匹配，并将匹配的硬件参数信息输送至服务器群并发任务管控单元。服务器群并发任务管控单元用于判定应用服务器群AF的CPU线程总数与数据库服务器群DF的CPU线程总数是否匹配，并完成对数据库中待处理数据的等值分割以及处理结果合并 。

其中，单服务器参数检测单元包括参数扫描器S、硬件参数寄存器R、性能指标提取器C、性能指标匹配判定器L和群参数寄存器CR。参数扫描器S用于扫描应用服务器、数据库服务器的硬件参数信息，硬件参数寄存器R用于存储参数扫描器S获取的硬件参数信息，性能指标提取器C用于处理、提取硬件参数寄存器R内存储的硬件参数信息，并将处理后的参数发送至性能指标匹配判定器L，性能指标匹配判定器L用于判定应用服务器、数据库服务器的CPU核心数与内存容量值是否匹配，并将相匹配的参数信息存储至群参数寄存器CR。

服务器群并发任务管控单元包括群性能指标统计器CC、群性能匹配判定器CL、数据库控制器DC、分割信息寄存器SR、并发任务管理器和合并结果存储器DR。群性能指标统计器CC用于读取群参数寄存器CR内的参数信息，并进行累加处理获得应用服务器群AF的CPU线程总数和数据库群DF的CPU线程总数。群性能匹配判定器CL用于判定应用服务器群AF的CPU线程总数与数据库服务器群DF的CPU线程总数是否匹配，并将相匹配的应用服务器群AF的CPU线程总数以及每个成员应用服务器的CPU线程数发送至数据库控制器DC，数据库控制器DC用于将数据库中待处理的数据表分割成多个分割表，并通过分割信息寄存器SR对分割表的编号以及每个应用服务器的CPU线程数进行存储。上述的服务器群并发任务管控单元中包括的并发任务控制器TC中还包括任务启动器和任务状态检测器，任务启动器依据分割信息寄存器SR内的信息依次控制每个应用服务器启动与其自身CPU线程数相等数量的数据处理任务，任务状态检测器用于检测每个并发任务的结束状态，并在数据处理任务处理完成后发送所有任务的结束状态信息至数据库控制器DC。

上述的数据库控制器DC包括数据分割器和数据合并器，数据分割器用于将数据库中待处理的数据表等值分割成NA_thread个分割表，合并器用于在数据库控制器DC接收到全体任务正常结束信息后对每个分割表被处理的结果进行合并，并将合并后的结果存储至合并结果存储器DR中。

上述的参数扫描器S包括CPU硬件特征检测器和内存硬件特征检测器，CPU硬件特征检测器用于检测应用服务器群AF、数据库服务器群DF中每个服务器的CPU核心数、线程数。内存硬件特征检测器用于检测应用服务器群AF、数据库服务器群DF中每个服务器的内存容量值；硬件参数寄存器R为文本文件，用于存储参数扫描器S所扫描识别出的硬件参数信息；群参数寄存器CR由两个文本文件构成，分别用于存储处理后的应用服务器群AF内所有应用服务器参数值，以及数据库服务器群DF内所有数据库服务器参数值。

海量数据处理并发任务自适应测控系统的工作过程为：单服务器参数监测单元的参数扫描器S分别扫描应用服务器群AF和数据库服务器群DF的每个对应的服务器CPU核心数、线程数以及内存容量值，每个成员服务器的CPU核心数与内存容量值进行工程匹配性判定，若这两个值不符合参数要求就提示系统管理员进行硬件调整，若这两个值符合参数要求就将群名称、服务器名称、CPU核心数、CPU线程数和内存容量值保存在群参数寄存器CR中。

在服务器群并发任务管控单元中，群性能指标统计器CC分别统计应用服务器群AF和数据库服务器群DF的总体核心数、线程数值，将两个服务器群的总的CPU线程数值按照工程要求进行匹配性比对。若两个服务器群的CPU线程数值不满足工程要求，就提示系统管理员调整数据库服务器硬件配置。若两个服务器群的CPU线程数值满足工程要求，数据库控制器DC根据应用服务器群AF的总线程数对数据库DB进行多表分割，并将分割后的表名信息记录在分割信息寄存器SR中。并发任务控制器TC在每个应用服务器中启动与其CPU线程数等量的数据处理任务数，同时依次传递相应的表名，实施数据处理。应用服务器中每个数据处理任务完成后反馈信息给并发任务控制器TC，所有任务正常结束后，并发任务控制器TC反馈信息给数据库控制器DC，数据合并器合并数据库DB中分割数据表处理的结果，放入合并结果存储器DR中。若应用服务器中某个数据处理任务异常终止，应用服务器反馈信息给并发任务控制器TC。数据库控制器DC接收到任务异常结束信息后，重新发送任务处理指令给并发任务控制器TC，重新启动数据处理任务完成上次异常终止的数据表的处理。

以上所述实施例仅为本发明的优选实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干的变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种海量数据处理并发任务自适应测控方法，其特征在于，包括以下步骤：

步骤1、通过参数扫描器对网络系统中的应用服务器群、数据库服务器群进行扫描，记录各个应用服务器和数据库服务器的硬件参数，并所述的硬件参数存储于硬件参数寄存器内，所述的硬件参数包括CPU核心数、线程数以及内存容量值；

步骤2、将步骤1中扫描到的硬件参数发送到性能指标匹配判定器内并进行工程匹配性判定，若不符合参数要求通过系统管理员对其进行硬件调整，使其符合参数要求；若符合参数要求，将符合参数要求的硬件参数值对应的信息存储至群参数寄存器内；

步骤3、通过群性能指标统计器读取群参数寄存器内的硬件参数，并通过累加获得应用服务器群中所有应用服务器的CPU线程总数为NA_thread和数据库服务器群中所有数据库服务器的CPU线程总数为ND_thread；

步骤4、将步骤3中获得的应用服务器群CPU线程总数和数据库服务器群CPU线程总数发送至群性能匹配判定器进行工程判定，若不符合工程要求通过系统管理员对应用服务器群对应的应用服务器的CPU核心数进行调整，使应用服务器群CPU线程总数大于等于数据库服务器群CPU线程总数，符合工程要求；若符合工程要求，将应用服务器群CPU线程总数及对应的应用服务器的CPU线程数传递至数据库控制器；

步骤5、通过数据库控制器的数据分割器对数据库中待处理的数据表进行等值分割为NA_thread个分割表，对表名进行自动编号并记录保存在分割信息寄存器内；

步骤6、通过并发任务控制器在应用服务器群的各成员服务器中启动与其CPU线程数等量的并发数据处理任务，并依次传递相应的表名，进行实时数据处理；

步骤7、通过步骤6完成数据任务的每个应用程序在任务结束后，反馈应用程序正常结束信息给并发任务控制器，当全部应用程序都正常结束后，并发任务控制器发送任务结束指令至数据库控制器，数据库控制器的数据合并器对分割表的处理结果进行合并，并存储至合并结果存储器，当应用服务器有未正常结束的应用程序时，并发任务控制器发送反馈信息至数据库控制器，数据库控制器重新发送表名给并发任务控制器单独启动应用服务器的应用程序重新处理未完成处理的数据表。

2.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，所述的内存容量值为N_RAM，CPU核心数为N_CPU，所述步骤2中的参数要求为N_RAM/N_CPU≥4为符合参数要求，否则为不符合参数要求。

3.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，步骤4中的工程要求关系为应用服务器群CPU线程总数为NA_thread与数据库群CPU线程总数为ND_thread相比，当NA_thread≥ND_thread时为符合工程要求，否则为不符合工程要求。

4.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，所述的参数扫描器包括CPU硬件特征检测器和内存硬件特征检测器，所述的CPU硬件特征检测器用于检测CPU核心数、线程数，所述的内存硬件特征检测器用于检测应用服务器群、数据库服务器群中所有成员服务器的内存容量值。

5.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，所述步骤2通过性能指标提取器对硬件参数寄存器内的硬件参数进行提取，并通过性能指标提取器处理后将硬件参数发送至性能指标匹配判定器。

6.用于适配权利要求1所述一种海量数据处理并发任务自适应测控方法的海量数据处理并发任务自适应测控系统，其特征在于，包括由多个应用服务器构成的应用服务器群、多个数据库服务器构成的数据库服务器群以及单服务器参数检测单元、服务器群并发任务管控单元，所述的单服务器参数检测单元用于扫描应用服务器群和数据库服务器群各服务器的硬件参数信息，以及判定应用服务器、数据库服务器对应的CPU核心数与内存容量值是否匹配，并将匹配的硬件参数信息输送至服务器群并发任务管控单元，所述的服务器群并发任务管控单元用于判定应用服务器群CPU线程总数与数据库服务器群CPU线程总数是否匹配，并完成对数据库中待处理数据的等值分割以及合并 。

7.如权利要求6所述的海量数据处理并发任务自适应测控系统，其特征在于，所述的单服务器参数检测单元包括CPU和内存参数扫描器、硬件参数寄存器、性能指标提取器、性能指标匹配判定器和群参数寄存器，所述的参数扫描器用于扫描每个应用服务器、数据库服务器的硬件参数信息，所述的硬件参数寄存器用于存储参数扫描器获取的硬件参数信息，所述的性能指标提取器用于读取和处理硬件参数寄存器内存储的硬件参数信息，并将处理结果发送至性能指标匹配判定器，所述的性能指标匹配判定器用于判定应用服务器、数据库服务器的CPU核心数与内存容量值是否匹配，并将相匹配的参数信息存储至群参数寄存器。

8.如权利要求7所述的海量数据处理并发任务自适应测控系统，其特征在于，所述的服务器群并发任务管控单元包括群性能指标统计器、群性能匹配判定器、数据库控制器和分割信息寄存器，所述的群性能指标统计器用于读取群参数寄存器内的参数信息，并进行累加处理获得应用服务器群CPU线程总数和数据库群CPU线程总数，所述的群性能匹配判定器用于判定应用服务器群CPU线程总数与数据库服务器群CPU线程总数是否匹配，并将相匹配的应用服务器群CPU线程总数以及各个应用服务器的线程数发送至数据库控制器，所述的数据库控制器用于将数据库中待处理的数据表分割成多个分割表，并通过分割信息寄存器对分割表的编号以及每个应用服务器的线程数进行存储。

9.如权利要求8所述的海量数据处理并发任务自适应测控系统，其特征在于，所述的服务器群并发任务管控单元还包括并发任务控制器，所述的并发任务控制器包括任务启动器和任务状态检测器，所述的任务启动器依据分割信息寄存器内的信息依次控制每个应用服务器启动与其自身CPU线程数相等数量的数据处理任务，所述的任务状态检测器用于检测应用服务器中承担数据处理任务的应用程序的结束状态，并在所有数据处理任务正常结束后发送全体任务结束指令至数据库控制器。

10.如权利要求9所述的海量数据处理并发任务自适应测控系统，其特征在于，所述的数据库控制器包括数据分割器和数据合并器，所述的数据分割器用于将数据库中待处理的数据表等值分割成NA_thread个分割表，所述的合并器用于在数据库控制器接收到全体任务完成指令后对每个分割表被处理的结果进行合并，并将合并后的结果存储至合并结果存储器中。

Images