CN102456026A - 一种数据采集装置和方法 - Google Patents

Abstract

本发明提供了一种数据采集装置和方法。该装置包括变量存储模块、配置模块和执行模块；所述变量存储模块，用于存储各种数据采集操作对应的变量；所述配置模块，用于配置需要执行的数据采集操作的参数；所述执行模块，用于根据所述配置模块的配置信息，从所述变量存储模块获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列，通过执行所述语句序列完成数据采集操作。应用本发明能够提高数据采集的灵活性。

Description

一种数据采集装置和方法

技术领域

本发明涉及通信技术领域，尤其涉及一种数据采集装置和方法。

背景技术

在现有的数据采集装置中，都是以固定方式采集固定的数据库和表。

具体地，现有的数据采集装置和方法一般都根据数据库中表格的具体形式以及具体的数据采集操作，采用SQL语言等用于实现数据采集的语言编写相应的数据采集程序，利用该确定的数据采集程序进行数据采集。

可见，现有的数据采集装置和方法不能灵活的适应数据导入导出操作变化的情况，灵活性较差。

另外，现有的数据库数据采集装置和方法，都是针对特定的数据库类型，特定的数据库接口，实现数据的采集操作。因此，针对不同类型的源数据库或目的数据库，需要开发对应的数据采集装置和方法。数据采集装置和方法的扩展性也较差。

发明内容

有鉴于此，本发明提供了一种数据采集装置和方法，以便提高数据采集的灵活性。

本发明采用的技术方案具体是这样实现的：

一种数据采集装置，该装置包括变量存储模块、配置模块和执行模块；

所述变量存储模块，用于存储各种数据采集操作对应的变量；

所述配置模块，用于配置需要执行的数据采集操作的参数；

所述执行模块，用于根据所述配置模块的配置信息，从所述变量存储模块获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列，通过执行所述语句序列完成数据采集操作。

一种数据采集方法，该方法包括：

预先存储各种数据采集操作对应的变量；

获取需要执行的数据采集操作的配置信息；

根据所述配置信息获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列；

通过执行所述语句序列完成数据采集操作。

由上述技术方案可见，本发明预先存储各种数据采集操作对应的变量，获取需要执行的数据采集操作的配置信息，通过获取需要执行的数据采集操作对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列，通过执行所述语句序列完成数据采集操作。

由于本发明是根据当前需要执行的数据采集操作来获取对应的变量，然后根据需要执行的数据采集操作之间的关系对获取的变量进行处理来得到数据采集语句序列，因此，在需要执行的数据操作发生变化时，只需要更改相应的配置信息即可，不需要重新编写进行数据采集的软件，使得数据采集装置和方法能够适应各种数据采集操作，大大提高了数据采集的灵活性。

附图说明

图1是本发明提供的数据采集装置结构图。

图2是本发明提供的数据采集方法流程图。

具体实施方式

图1是本发明提供的数据采集装置结构图。

如图1所示，该装置包括变量存储模块101、配置模块102和执行模块103。

变量存储模块101，用于存储各种数据采集操作对应的变量。

配置模块102，用于配置需要执行的数据采集操作的参数。

执行模块103，用于根据配置模块102的配置信息，从变量存储模块101获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列，通过执行所述语句序列完成数据采集操作。

其中的执行模块103可以包括数据采集语句序列生成模块和数据采集模块。

所述数据采集语句序列生成模块，用于根据所述配置模块的配置信息，从所述变量存储模块获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列。

所述数据采集模块，用于通过执行所述语句序列完成数据采集操作。

其中，变量存储模块101可以包括：

第一存储模块，用于存储执行数据导出操作的变量。

第二存储模块，用于存储执行数据导入操作的变量。

第三存储模块，用于存储对所述执行数据导入操作的变量、所述执行数据导出操作的变量和/或数据进行逻辑处理的变量。

其中，第一存储模块和第二存储模块中存储的变量一般是采用SQL等数据采集语言实现的变量。第三存储模块中存储的所述进行逻辑处理的变量可以称之为辅助变量，其能够完成SQL等数据采集语言无法完成的逻辑处理。通过所述辅助变量连接执行数据导入操作的变量和执行数据导出操作的变量，可以实现SQL等数据采集语言无法完成的复杂度较高的数据采集操作。

其中，进行逻辑处理的变量可以包括但不限于以下的变量：

SQL类变量，用于将返回值付给预定变量。

存储类变量，用于将上一次计算出的变量值保存到预定文件中。

字符串类变量，用于制定含有变量的字符串。

计算表达式类变量，用于对多个变量进行算术运算来计算出最终结果，将计算出的最终结果付给预定变量。

逻辑表达式类变量，用于计算逻辑表达式。

时间格式类变量，用于按照预定时间格式存储时间信息。

其中，执行数据导出操作的变量一般是SQL语句，包括选择语句和/或查询复合语句。该执行数据导出操作SQL中的变量的字段名、表名和条件语句中都可以配置辅助变量，以便完成逻辑上较复杂的数据导出操作。

导出SQL语句导出的数据一般以数组链表的形式存在内存中，以便提高导入数据的效率。

执行数据导入操作的变量一般也是SQL语句，例如可以是插入语句(insert)语句，在insert语句前后还可以执行如删除、一次性删除(TRUNCATE)、更新或存储等不返回数据的语句，以便完成完整的入库处理逻辑。

可见，由于本发明是根据当前需要执行的数据采集操作来获取对应的变量，然后根据需要执行的数据采集操作之间的关系对获取的变量进行处理来得到数据采集语句序列，因此，在需要执行的数据操作发生变化时，只需要更改当前需要执行的数据采集操作的配置信息即可，不需要重新编写进行数据采集的软件，使得数据采集装置和方法能够适应各种数据采集操作，大大提高了数据采集的灵活性。

为了进一步提高数据采集方法的灵活性，使其能够适用于多种源数据库和目的数据库，具有良好的可扩展性，本发明进一步提出：

配置模块102还可以进一步包括用于配置源数据库连接方式和目的数据库连接方式的模块。

相应地，数据采集执行模块103还包括一模块，用于根据配置模块102中配置的源数据库连接方式和目的数据库连接方式建立与源数据库和目的数据库的连接。

配置模块102还可以进一步包括用于配置变量存储模块101的路径名的模块，相应地，数据采集执行模块103还包括用于根据所述路径名查找变量存储模块101的模块。

可见，本发明提供的数据采集装置实现了与数据库类型的解耦，提高了数据采集装置的扩展性：当需要针对不同连接方式的数据库时，不需要重新开发数据采集装置，只需配置本发明提供的数据采集装置中的数据库连接方式(一般以连接串的形式存储)即可，例如，本发明的数据采集装置可以提供基于PERL的DBI接口，然后根据数据库类型等环境变量，加载针对不同数据库系统的驱动，从而自动地连接不同的数据库。

在本发明的优选实施例中，配置模块102可以包含多个配置项，下面针对比较重要的配置项进行说明：

SRC_DB_DSN：配置需要导出数据的源数据库的连接方式，这里可以根据不同类型、不同数据库实例，预先配置不同的数据库连接串和驱动，串的书写方式和标准的命令行连接数据库一致。

SRC_DB_USER、SRC_DB_PASSWD：连接源数据库的用户名和密码。

DES_DB_DSN：和上面SRC_DB_DSN类似，DES_DB_DSN是连接要导入数据的目的数据库的连接串。

VARS_DEF_FILE：这个配置项就是指定出变量存储模块101的路径名。以便找到具体的变量存储文件。

SELECT_SQL_VAR_NAME：配置导出数据的SQL语句的变量名，以便找到导出数据的SQL语句。

INPUT_SQL_VAR_NAME：配置导入数据的SQL语句的变量名，以便找到采集数据的SQL语句。

ONLY_RESULT_SET_INDEX：如果数据读取语句返回多个结果集合，使用这个选项能指定处理哪个结果集合。

LOGING、LOG_TYPE、LOG_FILE：日志相关的配置，包括是否记录日志，记录日志的形式(例如替换日志、追加日志等)以及日志路径名。

POST_COMMIT_CMD：这里可以定义每次程序被调用执行后执行的命令行。这里可调用其他的系统命令或者自定义的程序命令行。

除了以上一些主要或常用到的配置项，还有一些例如指定大小写、指定数据插入时间间隔的配置，总之，通过配置模块102可以实现灵活的配置，以完成不同的数据采集任务。

其中的变量存储模块101使用迷你语言(mini-language)、即起配置作用的不完整语言的设计思想，通过将存储的变量划分为辅助变量、导出数据的SQL语句和导入数据的SQL语句，使得通过灵活配置辅助变量、导出数据的SQL语句和导入数据的SQL语句，实现灵活采集数据库的目的，即能够灵活地执行不同的数据采集任务，实现对数据库的不同采集操作。

其中的辅助变量起到很重要的作用，是灵活处理数据导出和导入的关键所在，通过这些辅助变量的组合应用，能够完成SQL等数据采集语言不能完成的逻辑处理，提高数据采集逻辑处理的灵活性。下面举几个典型的辅助变量进行说明：

SQL类变量：这类变量一般是通过配置一个选择(select)语句，将返回值付给相应的变量。当然这里要求这个select语句只返回一个字段一个值。

SAV类变量：格式为[$value_name]？default_value，其作用是将上次计算出的变量值，保存到一个特定的变量文件里面。SAV类变量将上次计算出的变量值存到特定的变量文件中以后，在下一周期该SAV类变量被调用时读取该上次计算出的变量值。

SAV类变量典型的应用是，如果想获取某个表的最新数据，则通过上次保存该表的时间，就可以方便的查出从上次保存时间之后入表的新数据。

STR类变量：这种变量是制定含有变量的字符串。很多时候导出SQL语句和导入SQL语句都会用到变量，通过STR类变量可以灵活地改变导出SQL语句和导入SQL语句中用到的处理逻辑，从而实现灵活配置导出SQL语句和导入SQL语句。

EXP类变量：计算表达式类的变量，此类变量可以通过各种变量的算术运算来计算出最终结果，赋值给相应的变量。

CON类变量：逻辑表达式计算的变量。

另外还有时间格式类变量，通过这些辅助变量的组合应用，能够达到很灵活的数据采集逻辑的处理。

图2是本发明提供的数据采集方法流程图。

如图2所示，该方法包括：

步骤201，预先存储各种数据采集操作对应的变量。

步骤202，获取需要执行的数据采集操作的配置信息。

步骤203，根据所述配置信息获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列。

步骤204，通过执行所述语句序列完成数据采集操作。

图2所示方法中，步骤201是预先完成的准备工作，每次一般从步骤202或步骤204开始执行数据采集任务，具体地，如果当前需要执行的数据采集任务的数据采集语句序列还没有生成，则从步骤202开始执行，通过步骤202-203生成所述语句序列，后续执行该数据采集任务时，可以直接执行步骤204。

其中，所述各种数据采集操作对应的变量包括：执行数据导出操作的变量、执行数据导入操作的变量、以及对所述执行数据导入操作的变量、所述执行数据导出操作的变量和/或数据进行逻辑处理的变量。

所述进行逻辑处理的变量包括：SQL类变量，用于将返回值付给预定变量；和/或，存储类变量，用于将上一次计算出的变量值保存到预定文件中；和/或，字符串类变量，用于制定含有变量的字符串；和/或，计算表达式类变量，用于对多个变量进行算术运算来计算出最终结果，将计算出的最终结果付给预定变量；和/或，逻辑表达式类变量，用于计算逻辑表达式；和/或，时间格式类变量，用于按照预定时间格式存储时间信息。

所述执行数据导出操作的变量一般是SQL语句，包括选择语句和/或查询复合语句，该执行数据导出操作的变量的字段名、标明和where条件中能够配置所述进行逻辑处理的变量。

所述执行数据导入操作的变量一般也是SQL语句，包括插入语句、删除语句和/或更新语句。

为了提高数据采集方法的可扩展性，图2所示方法还可以包括：

获取源数据库连接方式和目的数据库连接方式的配置信息，根据配置的源数据库连接方式和目的数据库连接方式建立与源数据库和目的数据库的连接。

下面举一个比较典型的数据采集的例子对本发明进行示例性说明，其中关于配置模块和变量存储模块不赘述，重点对执行模块进行详细介绍。

作为示例性地，执行模块中存储有如下的程序：

    $col_time:sql；src＝select to_date(sysdate，′yy-mm-dd:hh24:mi:ss′)from dual

    $max_time:sql:src＝select max(org_time)from provup.iptcn_error_return

    $last_max_time:sav＝[$max_time]；2007-05-501:01:01

    $int_id:sql；des＝select ipf_get_int_id(′BOSS_ACCOUNT_PROVUP-FILE′)

from dual

    $select_sql:str＝SELECT max(org_time)as ORG_TIME，\

                      sysdate as COL_TIME，\

                      ′10.70.60.36′as Ip_Addr，\

                      ′99′as user_name，\

                      ′99′as table_name，\

                      ′99′as expression，\

                      count(*)as result_number，\

                      ′[$int_id]′as int_id\

                      FROM provup.iptcn_error_return\

                           where

org_time＞to_date(′[$last_max_time]′，′yyyy-mm-dd hh24:mi:ss′)\

    $input_sql:str＝insert into ipnms.Iptpc_db_shengbu_jiankong(\

                                    ORG_TIME，\

                                    COL_TIME，\

                                    IP_ADDR，\

                                    USER_NAME，\

                                    TABLE_NAME，\

    EXPRES SION，\

                                    RESULT_NUMBER，\

                                    INDB_TIME，\

                            INT_ID\

                            )\

                 values(\

                            to_date([#Col_Time]，′yyyy-mm-dd

hh24:mi:ss′)，\

                            to_date([#Col_Time]，′yyyy-mm-dd

hh24:mi:ss′)，\

                            [#IP_ADDR]，\

                            [#USER_NAME]，\

                            [#TABLE_NAME]，\

                            [#EXPRESSION]，\

                            [#RESULT_NUMBER]，\

                            to_date([#INSERT_TIME]，′yyyy-mm-dd

hh24:mi:ss′)，\

                            [#int_id])\

该执行模块的执行流程如下：

执行模块先计算上面程序开始几行定义的变量，这些变量包含较多辅助变量，例如sql类变量(:sql)、sav类变量(:sav)等，另外变量后面的″:src″或者″:des″标明变量是在源数据库上执行或目标数据库上执行。执行模块将这些变量“＝”后面的表达式或者sql语句进行计算执行，将结果存到对应变量的内存中，以便下面执行sql时，将含有变量的sql进行转换和拼接，最终形成可执行的sql语句。

其中，可以看出上面程序中的$select_sql和$input_sql变量，就是定义了从源数据库中获取数据的sql语句和将获取的数据经过处理并入到目标数据库的sql语句。语句中带″[]″的变量，就是需要上面计算后进行替换的和拼接的变量，拼接后，就是一个完整的可以执行的sql。

之后，执行模块执行$select_sql变量定义的sql，将源数据库的数据取出放到内存中，然后根据$input_sql变量定义的sql，将获取的数据以目标数据库的格式，入到目标数据库中。这两个变量分别可以是由多条sql语句组成，程序就会根据多条sql语句依次执行完成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种数据采集装置，其特征在于，该装置包括变量存储模块、配置模块和执行模块；

所述变量存储模块，用于存储各种数据采集操作对应的变量；

所述配置模块，用于配置需要执行的数据采集操作的参数；

所述执行模块，用于根据所述配置模块的配置信息，从所述变量存储模块获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列，通过执行所述语句序列完成数据采集操作。

2.根据权利要求1所述的数据采集装置，其特征在于，所述执行模块包括数据采集语句序列生成模块和数据采集模块；

所述数据采集语句序列生成模块，用于根据所述配置模块的配置信息，从所述变量存储模块获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列；

所述数据采集模块，用于通过执行所述语句序列完成数据采集操作。

3.根据权利要求1所述的数据采集装置，其特征在于，所述变量存储模块包括：

第一存储模块，用于存储执行数据导出操作的变量；

第二存储模块，用于存储执行数据导入操作的变量；

第三存储模块，用于存储对所述执行数据导入操作的变量、所述执行数据导出操作的变量和/或数据进行逻辑处理的变量。

4.根据权利要求3所述的数据采集装置，其特征在于，所述进行逻辑处理的变量包括：

SQL类变量，用于将返回值付给预定变量；

和/或，存储类变量，用于将上一次计算出的变量值保存到预定文件中；

和/或，字符串类变量，用于制定含有变量的字符串；

和/或，计算表达式类变量，用于对多个变量进行算术运算来计算出最终结果，将计算出的最终结果付给预定变量；

和/或，逻辑表达式类变量，用于计算逻辑表达式；

和/或，时间格式类变量，用于按照预定时间格式存储时间信息。

5.根据权利要求3所述的数据采集装置，其特征在于，

所述执行数据导出操作的变量是SQL语句，包括选择语句和/或查询复合语句，该执行数据导出操作的变量的字段名、标明和where条件中能够配置所述进行逻辑处理的变量；

所述执行数据导入操作的变量是SQL语句，包括插入语句、删除语句和/或更新语句。

6.根据权利要求1所述的数据采集装置，其特征在于，

所述配置模块，进一步包括用于配置源数据库连接方式和目的数据库连接方式的模块；

所述数据采集执行模块，还包括一模块，用于根据所述配置模块中配置的源数据库连接方式和目的数据库连接方式建立与源数据库和目的数据库的连接。

7.一种数据采集方法，其特征在于，该方法包括：

预先存储各种数据采集操作对应的变量；

获取需要执行的数据采集操作的配置信息；

根据所述配置信息获取对应的变量，根据需要执行的数据采集操作之间的关系，对获取的各个变量进行处理，得到数据采集语句序列；

通过执行所述语句序列完成数据采集操作。

8.根据权利要求7所述的数据采集方法，其特征在于，所述各种数据采集操作对应的变量包括：执行数据导出操作的变量、执行数据导入操作的变量、以及对所述执行数据导入操作的变量、所述执行数据导出操作的变量和/或数据进行逻辑处理的变量。

9.根据权利要求8所述的数据采集方法，其特征在于，所述进行逻辑处理的变量包括：

SQL类变量，用于将返回值付给预定变量；

和/或，存储类变量，用于将上一次计算出的变量值保存到预定文件中；

和/或，字符串类变量，用于制定含有变量的字符串；

和/或，计算表达式类变量，用于对多个变量进行算术运算来计算出最终结果，将计算出的最终结果付给预定变量；

和/或，逻辑表达式类变量，用于计算逻辑表达式；

和/或，时间格式类变量，用于按照预定时间格式存储时间信息。

10.根据权利要求8所述的数据采集方法，其特征在于，

所述执行数据导出操作的变量是SQL语句，包括选择语句和/或查询复合语句，该执行数据导出操作的变量的字段名、标明和where条件中能够配置所述进行逻辑处理的变量；

所述执行数据导入操作的变量是SQL语句，包括插入语句、删除语句和/或更新语句。

11.根据权利要求7所述的数据采集方法，其特征在于，该方法还包括：

获取源数据库连接方式和目的数据库连接方式的配置信息；

根据配置的源数据库连接方式和目的数据库连接方式建立与源数据库和目的数据库的连接。

Images