CN103927327A - 一种信息系统协同作业的数据库数据捕捉策略配置方法 - Google Patents

Abstract

本发明涉及一种信息系统协同作业的数据库数据捕捉策略配置方法，所述的信息系统协同作业的数据库数据捕捉策略配置方法包括协同系统配置、协同策略配置、信息项定义，协同平台配置，其中协同策略配置包括：协同系统对应关系、字典策略、表映射关系、信息项映射关系配置、源主表与子表关联关系配置、目标主表与子表关联关系配置。本发明提出的策略配置方法可以配置数据协同方案的数据映射关系和数据处理业务逻辑。本发明提供一种异构数据库动态捕捉的策略和技术。

Description

一种信息系统协同作业的数据库数据捕捉策略配置方法

技术领域

本发明涉及一种数据库配置方法，尤其涉及一种信息系统协同作业的数据库数据捕捉策略配置方法。

背景技术

随着信息化技术的普遍推广，各个行业都实现了各自的信息化工程。由于开发背景的不同，开发目的不同以及选定的开发商不同，导致每个行业的信息系统呈现各种模式和状态，以致于各个行业各个系统的信息处于完全分离割裂状态，更为甚者同一行业的各个信息系统的信息都无发实现共享和数据的同步。而且，各个信息系统信息的同步往往存在着某种或多种业务逻辑，导致各个信息系统的信息同步出现困难。所以如何发明一种通用的数据库数据捕捉策略配置方法去约定各个系统的信息同步业务逻辑尤为重要。

而现有技术中，实现多个信息系统协同作业采用的一般方式是按照各个信息系统所约定的业务逻辑去重新开发系统，以新的信息系统取代原有的信息系统，这种方式开发周期长，投入成本大，并造成资源的严重浪费，而且在通用性和灵活性上有些欠缺。

因此，如何开发一种通用的信息系统协同作业的数据库数据捕捉策略配置方法仍是需要解决的问题。

发明内容

鉴于以上内容，本发明提出一种信息系统协同作业的数据库数据捕捉策略配置方法。

本发明的目的是克服现有技术中数据协同方案通用性和灵活性问题，提供一种信息系统协同作业的数据库数据捕捉策略配置方法，并按照数据库策略配置方法完成源数据库数据到目标数据数据库的同步。

本发明提出的信息系统协同作业的数据库数据捕捉策略配置方法包括：对需要协同作业的信息系统之间的协同系统配置步骤；对所述需要协同作业的信息系统的协同策略配置步骤；对需要协同作业的信息系统的信息项定义步骤；及对协同平台的配置步骤。

进一步地，所述协同策略配置用于确定相应的映射规则，类型映射、数据类型转换、数据操作主键、数据表现形式、数据转换函数。

进一步地，所述的协同策略配置包括捕捉器的管理模块，所述捕捉器管理模块包括检测捕捉器侦测时间频率的变更，以及根据捕捉器侦测频率，读取相应设置的数据协同策略，并检查对应的捕捉器是否符合此策略，如果不符合策略，则相应地重建或调整不符合策略的捕捉器以适应数据协同策略。

进一步地，所述捕捉器自动捕捉并记录信息的变更，将信息变更记录保存在自身信息系统数据库中的信息数据整合信息表中，该捕捉器在源数据库中以触发器的形式存在，由系统管理模块动态生成和维护，并根据数据捕捉策略动态生成待整合信息。

进一步地，所述对所述需要协同作业的信息系统的协同策略配置步骤包括：配置协同系统对应关系；配置字典策略；配置表映射关系；配置信息项映射关系；配置源主表与子表关联关系；及配置目标主表与子表关联关系。

进一步地，所述配置协同系统对应关系步骤包括：将源数据库、目标数据库、中间数据库配置为一个整体的主导策略；激活主策略，将根据已商定的协同策略动态生成捕捉器，并将协同策略模型保存到所述中间数据库中；失效主策略，将根据失效的主策略标示符移除捕捉器，并在中间数据库中删除相应的协同策略模型；整合频率，在信息整合过程中获取单位时间内信息整合的次数；同步频率，在信息同步过程中获取单位时间内信息同步的次数；及信息初始化，对静态数据进行同步。

进一步地，所述配置字典策略步骤包括：将源系统和目标系统的字典代码加入到系统中，使源系统和目标系统的字典表对应；及数据同步过程中将按照所配置的字典策略去处理数据。

进一步地，所述配置表映射关系步骤包括：将目标系统数据库表与源数据库表建立映射关系；及设置是否捕捉新增数据、是否捕获修改数据、是否捕获删除数据、及告知系统是否需要动态生成相应的捕捉器。

进一步地，所述配置信息项映射关系步骤包括：将目标数据库中的字段与源数据库字段相对应，其中表中的数据项包括源表和目标表之间要整合的信息项、信息项映射的函数、字典策略编号、缺省值、是否以目标为参考、及字段是否计算。

进一步地，所述配置源主表与子表关联关系步骤包括：根据关联关系将子表和源主表的数据同步到目标系统中；及捕捉器根据此配置动态生成源主表与子表到目标表的信息映射模块。

进一步地，所述配置目标主表与子表关联关系步骤包括：根据关联关系将子表与目标主表的数据同步到目标系统中。

进一步地，所述对需要协同作业的信息系统的信息项定义步骤包括：将源数据库和目标数据库中对于策略所要应用的字段进行保存到中间数据库中。

进一步地，所述对协同平台的配置步骤包括：设置网络节点中数据协同中间装置，使多台设备同时分担数据协同任务。

与现有技术相比，所述信息系统协同作业的数据库数据捕捉策略配置方法，提供了一种异构数据库动态捕捉的策略和技术，不需要重新开发系统，只需要配置协同作业策略，投入成本小，具有较好通用性和灵活性，按照该信息系统数据库数据捕捉策略配置方法完成源数据库数据到目标数据库的数据同步。

附图说明

下面结合具体实施例和附图对本发明进行详细的说明，其中：

图1是本发明信息系统协同作业的数据库数据捕捉策略配置方法的新增数据提供者的参数配置较佳实施例流程图；

图2是本发明信息系统协同作业的数据库数据捕捉策略配置方法的新修改数据提供者的参数配置较佳实施例流程图；

图3是本发明信息系统协同作业的数据库数据捕捉策略配置方法的新删除数据提供者的参数配置较佳实施例流程图；

图4是本发明信息系统协同作业的数据库数据捕捉策略配置方法的获取信息项的元数据较佳实施例流程图；

图5是本发明信息系统协同作业的数据库数据捕捉策略配置方法的新增数据协同策略配置较佳实施例流程图；

图6是本发明信息系统协同作业的数据库数据捕捉策略配置方法的修改数据协同策略配置较佳实施例流程图；

图7是本发明信息系统协同作业的数据库数据捕捉策略配置方法的删除数据协同策略配置较佳实施例流程图；

图8是本发明信息系统协同作业的数据库数据捕捉策略配置方法的捕捉器管理的较佳实施例流程；

图9是本发明信息系统协同作业的数据库数据捕捉策略配置方法的主流程图；

图10是图9中步骤S92的具体细化流程图。

具体实施方式

以新增数据、修改数据、删除数据、获取信息项的元数据、新增数据协同策略配置、修改数据协同策略配置、删除数据协同策略配置及捕捉器管理来说明书本发明提出的一种信息系统协同作业的数据库数据捕捉策略配置方法，具体如下：

1.数据提供者的参数配置,完整的协同策略应包含源数据库、中间数据库、目标数据库提供程序。

a)新增数据提供者的参数配置，如图1所示，为信息系统协同作业的数据库数据捕捉策略配置方法进行新增数据提供者的参数配置的步骤：

1)选择不同数据库类型的提供程序（步骤S101），该数据库类型包括：Oracle，SqlServer，DB2，Informix，SysBase等。

2)输入需要配置的参数（步骤S102至步骤S106），本实施例中，该需要配置的参数包括：相应数据库类型、系统名称、时间格式、数据库名称、数据库地址、字符串编码、数据库用户名、数据库密码。

3)测试连接，连接成功，则保存数据提供者的配置（步骤S107至步骤S108）。

4)支持离线配置，如果连接测试不成功，检测并确认输入的项无误，则保存数据提供者的配置（步骤S109至步骤S110）。如果输入有误，返回执行步骤S101。

b)修改数据提供者的参数配置，如图2所示，为本发明信息系统协同作业的数据库数据捕捉策略配置方法的修改数据提供者的参数配置的流程图，步骤如下：

1)选择数据提供者的配置，检测是否有包含此配置的策略正在执行（步骤S201）。

2)没有策略正在执行，则直接修改数据提供者的相应配置的数据项，进行保存，并检测输入是否正确（步骤S202至步骤S207）。

3)若有数据提供者的正在执行的策略，则提示需要停止执行此策略（步骤S208至步骤S209），再进行修改保存。

c)删除数据提供者的参数配置，如图3所示，为本发明信息系统协同作业的数据库数据捕捉策略配置方法的策略模块进行删除数据提供者的参数配置的步骤：

1)选择数据提供者的配置（步骤S301）。

2)检测是否有包含当前数据提供者的策略（步骤S302）。

3)如果不包含当前数据提供者的策略，则直接删除数据提供者的配置（步骤S318）。

4)如果包含当前数据提供者的策略，则判断是否是源数据提供者的配置（步骤S303）。

5)如果不是源数据提供者的配置，则检查策略是否是正在运行状态（步骤S304）。

6)如果是源数据提供者的配置，则连接源数据提供者（步骤S305），并判定连接是否成功（步骤S306）。如果连接不成功，则返回执行步骤S305。

7)如果连接成功，则检查源数据提供者是否有相应的触发器和整合信息表（步骤S307至步骤S308）。如果没有相应的捕捉器和整合信息表，则执行步骤S318。

8)如果有相应的捕捉器和整合信息表，则删除或修改相应的捕捉器，删除整合信息表（步骤S309至步骤S310），并检查整合信息表中是否有数据存在（步骤S311）。

9)整合信息表中如果有数据存在，则提示必须等待数据同步完成后才可以删除整合信息表（步骤S312至步骤S313），然后执行步骤S304。

10)整合信息表中如果没有数据存在，则直接删除整合信息表，然后执行步骤S304。

11)检查策略是否是正在运行状态（步骤S304），如果正在运行，则必须先停止策略执行（步骤S314至步骤S315）。

12)检查策略如果不是运行状态，则删除策略（步骤S316至步骤S317）。

13)删除策略后即可直接删除数据提供者的配置（步骤S318）。

2.获取信息项的元数据，如图4所示，是本发明信息系统协同作业的数据库数据捕捉策略配置方法的获取信息项的元数据较佳实施例流程图，包括如下步骤：

1)检查数据提供者的配置（步骤S401）。

2)选择具体的数据提供者的配置，并判断该选择的数据提供者的配置是否存在（步骤S402至步骤S403）。如果选择的数据提供者的配置不存在，则继续获取数据提供者的配置（步骤S404）。

3)如果选择的数据提供者的配置存在，则连接数据提供者，并判断连接是否成功（步骤S405至步骤S406）。如果连接不成功，则检查数据提供者的配置是否正确（步骤S401）。

4)如果连接成功，则自动获取所需的数据提供者的元数据（步骤S407）。参阅图4所示，该元数据包括，但不限于，表结构、表字段约束、捕捉器名称（或触发器名称）、捕捉器代码（或触发器代码）等。

3.数据协同策略

a)新增数据协同策略配置，如图5所示，是本发明信息系统协同作业的数据库数据捕捉策略配置方法的新增数据协同策略配置较佳实施例流程图，包括如下步骤：

1)选择源数据提供者的配置，并判断源数据提供者的配置是否存在（步骤S501步骤S502）。如果源数据提供者的配置不存在，则继续寻找配置数据提供者（步骤S511）。

2)选择目的数据提供者的配置，并判断目的数据提供者的配置是否存在（步骤S506步骤S507）。如果目的数据提供者的配置不存在，同样继续寻找配置数据提供者（步骤S511）。

3)如果源数据提供者的配置存在，则获取源数据提供者的元数据（步骤S503）。

4)如果目的数据提供者的配置存在，则获取目的数据提供者的元数据（步骤S508）。

5)选择源数据提供者的相应数据表（步骤S504）。

6)选择目的数据提供者的相应数据表（步骤S509）。

7)选择对应的源、目的数据项（步骤S505与步骤S510）。

8)确定相应的映射规则（步骤S512）。参阅图5所示，所述映射规则包括，但不限于，操作类型映射、数据类型转换映射、数据操作主键映射、数据表现形式映射、数据转换函数映射。

9)根据所述映射规则生成完整的数据协同策略，即完整的映射规则，并保存该数据协同策略至中间数据库（步骤S513至步骤S514）。

10)连接源数据提供者，并判断连接是否成功（步骤S515）。如果连接不成功，则返回步骤S501。

11)如果连接成功，则生成相应的整合信息表，及生成或修改相应的捕捉器（步骤S516）。

b)修改数据协同策略配置，如图6所示，是本发明信息系统协同作业的数据库数据捕捉策略配置方法的修改数据协同策略配置较佳实施例流程图，包括如下步骤：

1)选择数据协同策略，并判断所选择的数据协同策略是否在执行（步骤S601至步骤S602）。如果所选择的数据协同策略在执行，则停止执行选择的数据协同策略（步骤S603），然后执行步骤S604。如果所选择的数据协同策略没有执行，则直接进入修改操作（步骤S604）。

2)获取源数据提供者的配置、源数据库元数据、选择源数据提供者的配置的相应数据表、选择对应的源数据项（步骤S605至步骤S608）。

3)获取目的数据提供者的配置、目的数据库元数据、选择目的数据提供者的配置的相应数据表、选择对应的目的数据项（步骤S609至步骤S612）。

4)确定相应的映射规则（步骤S613）。参阅图6所示，所述映射规则包括，但不限于，操作类型映射、数据类型转换映射、数据操作主键映射、数据表现形式映射、数据转换函数映射。

5)根据所述映射规则生成完整的数据协同策略，即完整的映射规则，并保存该数据协同策略至中间数据库（步骤S614至步骤S615）。

6)连接源数据提供者，并判断连接是否成功（步骤S616）。如果连接不成功，则返回步骤S605。

7）如果连接成功，则生成相应的修改整合信息表，及生成或修改相应的捕捉器（步骤S617）。

c)删除数据协同策略配置，如图7所示，是本发明信息系统协同作业的数据库数据捕捉策略配置方法的删除数据协同策略配置较佳实施例流程图，包括如下步骤：

1)选择数据协同策略（步骤S701）。

2)判断策略是否执行，如果是，则停止执行数据协同策略，如果不是，则删除数据协同策略（步骤S702至步骤S704）。

3)连接源数据提供者的配置，并判断是否成功连接到源数据提供者的配置（步骤S705至步骤S706）。

4)如果成功连接源数据提供者的配置，则修改或删除捕捉器（步骤S707）。

5)判断整合信息表中是否有数据（步骤S708）。

6)如果整合信息表中没有数据，则直接删除整合信息表及数据协同策略（步骤S709）。

7)如果整合信息表中有数据，则先等待数据协同策略执行完毕（步骤S710），然后删除整合信息表及数据协同策略。

4.在源数据库生成或修改原有捕捉器，如图8所示，是本发明信息系统协同作业的数据库数据捕捉策略配置方法的捕捉器管理的较佳实施例流程图，包括如下步骤：

1)连接源数据提供者的配置，并判断是否成功连接源数据提供者的配置（步骤S801至步骤S803）。

2)如果成功连接源数据提供者的配置，则检测已有的捕捉器（步骤S804）。

3)判断是否存在相应的捕捉器（步骤S805），如果存在，则直接生成相应的捕捉器（步骤S806）。

4)如果不存在，则获取原有的捕捉器（步骤S807）。

5)分析原有捕捉器的语法（步骤S808）。

6)修改原有的捕捉器，添加与数据协同策略一致的代码（步骤S809）。

7)判断修改是否成功（步骤S810），如果修改成功，执行修改后的捕捉器（步骤S811）。

8)如果修改不成功，则进行异常处理（步骤S812），例如，捕捉器已经被加密，无法获取原有捕捉器的代码；捕捉器代码复杂，语法无法分析；其他异常等。

5.捕捉器管理

捕捉器自动捕捉并记录信息的变更，将信息变更记录保存在自身信息系统数据库中的信息数据整合信息表中，在源数据库中以触发器的形式存在。捕捉器管理包括检测捕捉器侦测时间频率的变更，以及根据捕捉器侦测频率，读取相应设置的数据协同策略，并检查对应的捕捉器是否符合此数据协同策略，如果不符合数据协同策略，则必须相应的重建或调整不符合数据协同策略的捕捉器以适应数据协同策略。

以下通过图9及图10的描述，介绍本发明信息系统协同作业的数据库数据捕捉策略配置方法的具体实现技术流程。

如图9所示，是本发明信息系统协同作业的数据库数据捕捉策略配置方法的主流程图。

步骤S91，对需要协同作业的信息系统之间进行协同系统配置。具体可参考前述数据提供者的参数配置的相关描述对参数进行设置。

步骤S92，对所述需要协同作业的信息系统进行协同策略配置，具体过程参阅图10的描述。

步骤S93，对需要协同作业的信息系统进行信息项定义，具体包括：将源数据库和目标数据库中数据捕捉策略所要应用的字段保存到中间数据库中。

步骤S94，对协同平台进行配置，具体包括：设置网络节点中数据协同中间装置，使多台设备同时分担数据协同任务。

在本实施例中，所述信息系统协同作业的数据库数据捕捉策略配置（以下简称为“协同策略配置”）用于确定相应的映射规则，类型映射、数据类型转换、数据操作主键、数据表现形式、数据转换函数。

在本实施例中，所述的协同策略配置包括捕捉器的管理模块。进一步地，所述捕捉器管理模块包括检测捕捉器侦测时间频率的变更，以及根据捕捉器侦测频率，读取相应设置的数据协同策略，并检查对应的捕捉器是否符合此策略，如果不符合策略，则相应地重建或调整不符合策略的捕捉器以适应数据协同策略。

在本实施例中，所述捕捉器自动捕捉并记录信息的变更，将信息变更记录保存在自身信息系统数据库中的信息数据整合到信息表中，该捕捉器在源数据库中以触发器的形式存在，由系统管理模块动态生成和维护，并根据数据捕捉策略动态生成待整合信息。

如图10所示，是图9中步骤S92的具体细化流程图。

步骤S921，配置协同系统对应关系，具体包括：

将源数据库、目标数据库、中间数据库配置为一个整体的主导策略；

激活主策略，将根据已商定的协同策略动态生成捕捉器，并将协同策略模型保存到所述中间数据库中；

失效主策略，将根据失效的主策略标示符移除捕捉器，并在中间数据库中删除相应的协同策略模型；

整合频率，在信息整合过程中获取单位时间内信息整合的次数；

同步频率，在信息同步过程中获取单位时间内信息同步的次数；及

信息初始化，对静态数据进行同步。

步骤S922，配置字典策略，具体包括：

将源系统和目标系统的字典代码加入到系统中，使源系统和目标系统的字典表对应；及

数据同步过程中将按照所配置的字典策略去处理数据。

步骤S923，配置表映射关系，具体包括：

将目标系统数据库表与源数据库表建立映射关系；及

设置是否捕捉新增数据、是否捕获修改数据、是否捕获删除数据、及告知系统是否需要动态生成相应的捕捉器。

步骤S924，配置信息项映射关系，具体包括：将目标数据库中的字段与源数据库字段相对应，其中表中的数据项包括源表和目标表之间要整合的信息项、信息项映射的函数、字典策略编号、缺省值、是否以目标为参考、及字段是否计算。

步骤S925，配置源主表与子表关联关系，具体包括：

根据关联关系将子表和源主表的数据同步到目标系统中；及

捕捉器根据此配置动态生成源主表与子表到目标表的信息映射模块。

步骤S926，配置目标主表与子表关联关系，具体包括：根据关联关系将子表与目标主表的数据同步到目标系统中。

Claims (10)

1.一种信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，该方法包括如下步骤：

对需要协同作业的信息系统之间的协同系统配置步骤；

对所述需要协同作业的信息系统的协同策略配置步骤；

对需要协同作业的信息系统的信息项定义步骤；及

对协同平台的配置步骤。

2.如权利要求1所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述的协同策略配置用于确定相应的映射规则，类型映射、数据类型转换、数据操作主键、数据表现形式、数据转换函数；所述的协同策略配置包括捕捉器的管理模块，所述捕捉器管理模块包括检测捕捉器侦测时间频率的变更，以及根据捕捉器侦测频率，读取相应设置的数据协同策略，并检查对应的捕捉器是否符合此数据协同策略，如果不符合此数据协同策略，则相应地重建或调整不符合此数据协同策略的捕捉器以适应此数据协同策略。

3.如权利要求2所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述捕捉器自动捕捉并记录信息的变更，将信息变更记录保存在自身信息系统数据库中的信息数据整合到信息表中，该捕捉器在源数据库中以触发器的形式存在，由系统管理模块动态生成和维护，并根据数据捕捉策略动态生成待整合信息。

4.如权利要求1所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述对所述需要协同作业的信息系统的协同策略配置步骤包括：

配置协同系统对应关系；

配置字典策略；

配置表映射关系；

配置信息项映射关系；

配置源主表与子表关联关系；及

配置目标主表与子表关联关系。

5.如权利要求4所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述配置协同系统对应关系的步骤包括：

将源数据库、目标数据库、中间数据库配置为一个整体的主导策略；

激活主策略，将根据已商定的协同策略动态生成捕捉器，并将协同策略模型保存到所述中间数据库中；

失效主策略，将根据失效的主策略标示符移除捕捉器，并在中间数据库中删除相应的协同策略模型；

整合频率，在信息整合过程中获取单位时间内信息整合的次数；

同步频率，在信息同步过程中获取单位时间内信息同步的次数；及

信息初始化，对静态数据进行同步。

6.如权利要求4所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述配置字典策略的步骤包括：

将源系统和目标系统的字典代码加入到系统中，使源系统和目标系统的字典表对应；及

数据同步过程中将按照所配置的字典策略去处理数据。

7.如权利要求4所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述配置表映射关系的步骤包括：

将目标系统数据库表与源数据库表建立映射关系；及

设置是否捕捉新增数据、是否捕获修改数据、是否捕获删除数据、及告知系统是否需要动态生成相应的捕捉器。

8.如权利要求4所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述配置信息项映射关系的步骤包括：

将目标数据库中的字段与源数据库字段相对应，其中表中的数据项包括源表和目标表之间要整合的信息项、信息项映射的函数、字典策略编号、缺省值、是否以目标为参考、及字段是否计算。

9.如权利要求4所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述配置源主表与子表关联关系的步骤包括：

根据关联关系将子表和源主表的数据同步到目标系统中；及

捕捉器根据此配置动态生成源主表与子表到目标表的信息映射模块。

10.如权利要求4所述的信息系统协同作业的数据库数据捕捉策略配置方法，其特征在于，所述配置目标主表与子表关联关系的步骤包括：

根据关联关系将子表与目标主表的数据同步到目标系统中。