CN108256120B - 数据采集和文件下传的控制方法和装置 - Google Patents

Abstract

本发明公开一种数据采集和文件下传的控制方法和装置，所述方法包括：解析命令参数；所述命令参数包括采集配置文件的名称；解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程。本发明提供的技术方案，使数据采集进程与文件下传进程能够并行执行，从而显著提高执行效率，能够适用于需要采集的源表多、下传文件多的场景。

Description

数据采集和文件下传的控制方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据采集和文件下传的控制方法和装置。

背景技术

当前，全球化进程日益加深，金融机构的业务逐渐遍及海内外，这就要求金融机构的信息化系统要适应不断扩大的业务需求，从而导致外围系统日益繁多，系统间批处理交互日益频繁。金融机构业务系统普遍面临大量数据采集和相对有限的服务器资源间的矛盾，如果没有高效方便的数据采集手段，短时间内的数据采集量会造成服务器的批处理拥堵，甚至严重消耗计算资源和内存资源，导致其他批处理无法正常执行。从上述分析可以确定，不能简单的通过增加服务器硬件资源来解决问题，还需要从软件系统的架构和数据采集算法上来解决问题。

目前的技术中，数据采集和文件下传在同一个进程中执行，先采集完数据，再调用传输脚本下传文件，然后再继续采集数据，该方案适合采集的源表数据少，下传文件少的情况，如果需要采集的源表多，下传文件多时，此种方案有很大的缺陷，效率很低。

发明内容

有鉴于此，本发明提供了一种数据采集和文件下传的控制方法和装置，使数据采集进程与文件下传进程能够并行执行，从而显著提高执行效率，能够适用于需要采集的源表多、下传文件多的场景。

为实现上述目的，本发明提供如下技术方案：

一种数据采集和文件下传的控制方法，包括：

解析命令参数；所述命令参数包括采集配置文件的名称；

解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；

创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；

基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程。

进一步的，所述解析所述采集配置文件，包括：

解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；

所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；

其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句。

进一步的，所述创建数据采集池和文件下传池，包括：

创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池；

所述基于所述数据采集池启动数据采集子进程，包括：

获取采集任务，所述采集任务位于所述数据采集请求池；

采集源数据表数据，根据采集配置参数生成下传文件；

将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态；

所述基于所述文件下传池启动文件下传子进程，包括：

获取文件下传任务；

根据下传配置参数使用下传脚本下发文件；

将下传结果添加至文件下传回复池。

进一步的，所述基于所述数据采集池启动数据采集子进程之前，还包括：

依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。

进一步的，还包括：

创建结果处理线程；

检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；

若批量任务结束，释放资源。

进一步的，所述解析系统配置文件和所述采集配置文件，生成总采集文件任务列表之前，还包括：

创建日志文件。

一种数据采集和文件下传的控制装置，包括：

第一解析模块，用于解析命令参数；所述命令参数包括采集配置文件的名称；

第二解析模块，用于解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；

第一创建模块，用于创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；

第一启动模块，用于基于所述数据采集池启动数据采集子进程；

第二启动模块，用于基于所述文件下传池启动文件下传子进程。

进一步的，所述第二解析模块解析所述采集配置文件的过程，具体包括：

解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；

所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；

其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句。

进一步的，所述第一创建模块具体用于创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池；

所述第一启动模块具体用于：

获取采集任务，所述采集任务位于所述数据采集请求池；

采集源数据表数据，根据采集配置参数生成下传文件；

将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态；

所述第二启动模块具体用于：

获取文件下传任务；

根据下传配置参数使用下传脚本下发文件；

将下传结果添加至文件下传回复池。

进一步的，还包括：

添加模块，用于依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。

进一步的，还包括：

第二创建模块，用于创建结果处理线程；

记录模块，用于检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；

资源释放模块，用于若批量任务结束，释放资源。

进一步的，还包括：

第三创建模块，用于创建日志文件。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种数据采集和文件下传的控制方法和装置。本发明提供的技术方案，首先解析命令参数，所述命令参数包括采集配置文件的名称，然后解析系统配置文件和所述采集配置文件，生成总采集文件任务列表，创建数据采集池和文件下传池，其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存，然后基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程，从而使数据采集进程与文件下传进程能够并行执行，能够显著提高处理效率，从而能够适用于需要采集的源表多、下传文件多的场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据采集和文件下传的控制方法的流程图；

图2为本发明实施例提供的一种数据采集和文件下传的控制装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

首先，对现有技术做简单介绍：

现有应用系统中，一般采用静态SQL(Structured Query Language，结构化查询语言)和单进程进行数据采集和文件下传，分别说明如下：

1、查询数据库的SQL语句是静态的，即数据库查询语句事先写好在程序里，编译后不可更改，如要更改SQL语句，比如增加字段名称，需要重新编译程序才能生效，灵活性不够；

2、单进程处理数据采集和文件生成，即先采集完某个表数据，生成文件下传给下游系统后再继续采集下一个表，这种数据采集和文件下传在同一进程内执行的强耦合方案，吞吐量小，效率极低。

为了解决现有技术中的上述缺陷，本发明公开了下述实施例。

实施例

请参阅图1，图1为本发明实施例提供的一种数据采集和文件下传的控制方法的流程图。如图1所示，该方法包括：

步骤S101，解析命令参数；

具体的，解析命令参数属于初始化操作。

其中，解析的所述命令参数包括：

采集配置文件的名称；还可以包括银行号，会计日期，和数据库源。

步骤S102，解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；

可选的，系统配置文件，包括：

系统标识，数据库账户信息，数据库事务大小，数据文件下传脚本，日志存放路径和数据文件存放路径信息。

可选的，所述采集配置文件，包括：

银行类型，采集的数据表个数和类型，数据表类型表示采集时是分省或是不分省，是全量或是增量。采集配置文件还设置了每个数据表的定义信息，比如筛选字段的数量，数据表名称，数据表主键，生成文件后缀，全量采集的限定条件个数，全量查询的SQL语句，增量采集的限定条件个数，增量查询的SQL语句。

相应的，所述解析所述采集配置文件，包括：

解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；

所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的SQL语句、增量采集的限定条件个数和增量查询的SQL语句。

其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句可以为结构化查询语言SQL4语句。

也就是说，本实施例中用到的所述SQL语句可以为oracle动态SQL4语句。

步骤S103，创建数据采集池和文件下传池；

具体的，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存。即这两种类型的池是独立创建的，各自在内存中开辟一块共享内存中，该共享内存会被多个进程访问，对共享内存的访问由信号量控制，以保证访问能安全有序进行。

可选的，所述创建数据采集池和文件下传池，包括：

创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池。

步骤S104，基于所述数据采集池启动数据采集子进程；

可选的，所述步骤S104包括：

获取采集任务，所述采集任务位于所述数据采集请求池；

采集源数据表数据，根据采集配置参数生成下传文件；

将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态。

具体的，数据采集子进程主要用来从数据采集请求池获取数据采集任务，每采集处理一个任务完后生成一个数据文件，通过数据采集回复池通知系统主进程的数据采集回复线程更新总采集文件任务列表的任务状态，同时通过文件下传请求池通知文件下传子进程下传文件。

步骤S105，基于所述文件下传池启动文件下传子进程；

可选的，所述步骤S105包括：

获取文件下传任务；

具体的，文件下传子进程从文件下传请求池获取文件下传任务。

根据下传配置参数使用下传脚本下发文件；

将下传结果添加至文件下传回复池。

具体的，文件下传子进程主要用来从文件下传请求池获取文件下传任务，每处理一个任务完后就在文件下传回复池登记文件下传结果。

本发明实施例提供的技术方案，首先解析命令参数，所述命令参数包括采集配置文件的名称，然后解析系统配置文件和所述采集配置文件，生成总采集文件任务列表，创建数据采集池和文件下传池，其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存，然后基于所述数据采集池启动数据采集子进程，基于文件下传池启动文件下传子进程，从而使数据采集进程与文件下传进程能够并行执行，能够显著提高处理效率，从而能够适用于需要采集的源表多、下传文件多的场景。

此外，本发明实施例提供的技术方案，使用了oracle动态SQL4，SQL4可以灵活的接受用户输入的查询语句，并在执行后将返回结果写入文本文件中，以实现数据提取功能，这种动态SQL技术具有很好地通用性，功能强大，且灵活方便。

可选的，本发明另外一个实施例提供的数据采集和文件下传的控制方法，所述步骤S104之前，还包括：

依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。

可选的，依据所述总采集文件任务列表，将所述步骤S102中解析到的任务信息存放到数据采集请求池中，供数据采集子进程处理，其中，解析到的任务信息可以包括：

任务初始状态，任务号，筛选字段数，采集类型，分省标志，数据表名，银行号，银行类型，省行号，联行号，文件名，会计日期，sql语句，数据表主键存放到数据采集请求池中，供数据采集子进程处理。

可选的，本发明另外一个实施例提供的数据采集和文件下传的控制方法，还包括：

创建结果处理线程；

可选的，采集任务处理结果子线程由主进程创建，子线程在共享内存数据采集回复池中获取采集任务结果，统计采集任务处理完成数。

检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；

可选的，主进程轮询检查批量采集完成情况，如果任务完成数等于任务数即可退出轮询，把完成采集的表名记录在成功采集表清单文本中，把完成下传的文件名记录在成功下传文件清单中。

若批量任务结束，释放资源；

可选的，释放资源包括：

释放配置文件解析中所创建的动态内存，释放数据采集信号量，数据采集任务共享内存，文件下传信号量，文件下传任务共享内存。

可选的，本发明另外一个实施例提供的数据采集和文件下传的控制方法，所述步骤S102之前，还包括：

创建日志文件。

此外，本发明实施例提供的技术方案，其对应的任务管理算法步骤如下：

步骤(1)：向任务存放算法模块传入共享内存池地址，请求/回复类型，任务对象指针；

步骤(2)：判断请求/回复类型；

步骤(3)：

3.1如果是请求类型，获取请求池地址；

3.2如果是回复类型，获取回复池地址；

步骤(4)：无阻塞获取任务信号量，如果无任务信号量，等待10毫秒后继续无阻塞获取任务信号量；如有任务信号量，继续下一步骤；

步骤(5)：无阻塞获取生产者/消费者锁，如果无生产者/消费者锁，等待10毫秒后继续无阻塞获取生产者/消费者锁；如有生产者/消费者锁，继续下一步骤；

步骤(6)：往请求/回复池生产/消费任务对象；

步骤(7)：指针移动到下一个生产/消费任务对象的位置地址；

步骤(8)：给生产者/消费者解锁，主进程才能继续往池里生产/消费下一个任务对象；

步骤(9)：增加一个任务信号量，相当于给采集进程或文件下传进程发信号，有任务需要处理。

为了更加全面地阐述本发明提供的技术方案，对应于本发明实施例提供的数据采集和文件下传的控制方法，本发明公开一种数据采集和文件下传的控制装置。

请参阅图2，图2为本发明实施例提供的一种数据采集和文件下传的控制装置的结构图。如图2所示，该装置包括：

第一解析模块201，用于解析命令参数；所述命令参数包括采集配置文件的名称；

具体的，解析的所述命令参数包括：

采集配置文件的名称，银行号，会计日期，和数据库源。

第二解析模块202，用于解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；

可选的，系统配置文件，包括：

系统标识，数据库账户信息，数据库事务大小，数据文件下传脚本，日志存放路径和数据文件存放路径信息。

可选的，所述第二解析模块202解析所述采集配置文件的过程，具体包括：

解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；

所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；

其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句。

也就是说，本实施例中用到的所述SQL语句可以为oracle动态SQL4语句。

第一创建模块203，用于创建数据采集池和文件下传池；

具体的，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存，即这两种类型的池是独立创建的，各自在内存中开辟一块共享内存中，该共享内存会被多个进程访问，对共享内存的访问由信号量控制，以保证访问能安全有序进行。

可选的，所述第一创建模块具体用于创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池。

第一启动模块204，用于基于所述数据采集池启动数据采集子进程；

可选的，第一启动模块204具体用于：

获取采集任务，所述采集任务位于所述数据采集请求池；

采集源数据表数据，根据采集配置参数生成下传文件；

将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态。

第二启动模块205，用于基于所述文件下传池启动文件下传子进程；

可选的，所述第二启动模块205具体用于：

获取文件下传任务；

根据下传配置参数使用下传脚本下发文件；

将下传结果添加至文件下传回复池。

应用本发明实施例提供的数据采集和文件下传的控制装置，第一解析模块解析命令参数，所述命令参数包括采集配置文件的名称，第二解析模块解析系统配置文件和所述采集配置文件，生成总采集文件任务列表，第一创建模块创建数据采集池和文件下传池，其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存，第一启动模块基于所述数据采集池启动数据采集子进程，第二启动模块基于文件下传池启动文件下传子进程，从而使数据采集进程与文件下传进程能够并行执行，能够显著提高处理效率，从而能够适用于需要采集的源表多、下传文件多的场景。

此外，本发明实施例提供的技术方案，使用了oracle动态SQL4，SQL4可以灵活的接受用户输入的查询语句，并在执行后将返回结果写入文本文件中，以实现数据提取功能，这种动态SQL技术具有很好地通用性，功能强大，且灵活方便。

可选的，本发明另外一个实施例提供的数据采集和文件下传的控制装置，还包括：

添加模块，用于依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。

可选的，依据所述总采集文件任务列表，将所述第二解析模块202中解析到的任务信息存放到数据采集请求池中，供数据采集子进程处理，其中，解析到的任务信息可以包括：

任务初始状态，任务号，筛选字段数，采集类型，分省标志，数据表名，银行号，银行类型，省行号，联行号，文件名，会计日期，sql语句，数据表主键存放到数据采集请求池中，供数据采集子进程处理。

可选的，本发明另外一个实施例提供的数据采集和文件下传的控制装置，还包括：

第二创建模块，用于创建结果处理线程；

记录模块，用于检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；

资源释放模块，用于若批量任务结束，释放资源。

可选的，本发明另外一个实施例提供的数据采集和文件下传的控制装置，还包括：

第三创建模块，用于创建日志文件。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种数据采集和文件下传的控制方法和装置。本发明提供的技术方案，首先解析命令参数，所述命令参数包括采集配置文件的名称，然后解析系统配置文件和所述采集配置文件，生成总采集文件任务列表，创建数据采集池和文件下传池，其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存，然后基于所述数据采集池启动数据采集子进程，基于文件下传池启动文件下传子进程，从而使数据采集进程与文件下传进程能够并行执行，能够显著提高处理效率，从而能够适用于需要采集的源表多、下传文件多的场景。

此外，本发明实施例提供的技术方案，使用了oracle动态SQL4，SQL4可以灵活的接受用户输入的查询语句，并在执行后将返回结果写入文本文件中，以实现数据提取功能，这种动态SQL技术具有很好地通用性，功能强大，且灵活方便。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据采集和文件下传的控制方法，其特征在于，包括：

解析命令参数；所述命令参数包括采集配置文件的名称；

解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；

创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；

基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程，使数据采集进程与文件下传进程并行执行；

其中，所述解析所述采集配置文件，包括：

解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；

所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；

其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句；

其中，所述创建数据采集池和文件下传池，包括：

创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池；

所述基于所述数据采集池启动数据采集子进程，包括：

获取采集任务，所述采集任务位于所述数据采集请求池；

采集源数据表数据，根据采集配置参数生成下传文件；

将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态；

所述基于所述文件下传池启动文件下传子进程，包括：

获取文件下传任务；

根据下传配置参数使用下传脚本下发文件；

将下传结果添加至文件下传回复池。

2.根据权利要求1所述的方法，其特征在于，所述基于所述数据采集池启动数据采集子进程之前，还包括：

依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。

3.根据权利要求1所述的方法，其特征在于，还包括：

创建结果处理线程；

检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；

若批量任务结束，释放资源。

4.根据权利要求3所述的方法，其特征在于，所述解析系统配置文件和所述采集配置文件，生成总采集文件任务列表之前，还包括：

创建日志文件。

5.一种数据采集和文件下传的控制装置，其特征在于，包括：

第一解析模块，用于解析命令参数；所述命令参数包括采集配置文件的名称；

第二解析模块，用于解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；

第一创建模块，用于创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；

第一启动模块，用于基于所述数据采集池启动数据采集子进程；

第二启动模块，用于基于所述文件下传池启动文件下传子进程，使数据采集进程与文件下传进程并行执行；

其中，所述第二解析模块解析所述采集配置文件的过程，具体包括：

解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；

所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；

其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句；

其中，所述第一创建模块具体用于创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池；

所述第一启动模块具体用于：

获取采集任务，所述采集任务位于所述数据采集请求池；

采集源数据表数据，根据采集配置参数生成下传文件；

将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态；

所述第二启动模块具体用于：

获取文件下传任务；

根据下传配置参数使用下传脚本下发文件；

将下传结果添加至文件下传回复池。

6.根据权利要求5所述的装置，其特征在于，还包括：

添加模块，用于依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。

7.根据权利要求5所述的装置，其特征在于，还包括：

第二创建模块，用于创建结果处理线程；

记录模块，用于检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；

资源释放模块，用于若批量任务结束，释放资源。

8.根据权利要求7所述的装置，其特征在于，还包括：

第三创建模块，用于创建日志文件。

Images