CN103186610A - 数据同步方法和装置 - Google Patents

Abstract

一种数据同步方法，包括以下步骤：加载配置文件，所述配置文件中存储了预先配置的第一信息系统数据和第二信息系统数据的关键信息以及拆分融合计算式；根据所述第一信息系统数据的关键信息获取第一信息系统数据；根据所述拆分融合计算式拆分融合所述第一信息系统数据；根据所述第二信息系统数据的关键信息将所述拆分融合得到的第一信息系统数据写入第二信息系统中。上述数据同步方法，根据配置文件中的信息完成第一信息系统数据与第二信息系统数据的同步，不需要用户手动修改系统内部封装同步数据的程序代码，节约了用户的时间，减少了用户的工作量，从而提高了用户的操作便利性。此外，还提供一种数据同步装置。

Description

数据同步方法和装置

【技术领域】

本发明涉及计算机技术领域，特别的涉及一种数据同步方法和装置。

【背景技术】

随着业务的不断变化发展，企业业务系统需要升级，升级前的业务系统的数据需要同步到升级后的业务系统中；另外，不同的业务系统之间也存在数据同步的需求。但是，需要进行数据同步的系统之间的数据结构有可能存在差异。

传统的数据同步的方法为：输出系统按照输入系统的数据结构封装需要同步的数据，并将封装好的数据传递给输入系统。

传统的方法需要用户熟悉输出系统和输入系统的数据结构，并且根据两个系统的数据结构开发程序代码用于封装数据。传统的方法中，用户开发程序代码所需的工作量相对于同步数据数量成几何倍数增长，而且该程序代码的可移植性差，当系统再次升级或者面向不同的系统同步数据时，用户必须重新修改代码，从而导致同步系统间的数据需要花费用户大量的时间和工作量，使用户的操作非常繁琐。

【发明内容】

基于此，有必要提供一种能提高用户操作便利性的数据同步方法。

一种数据同步方法，包括以下步骤：

加载配置文件，所述配置文件中存储了预先配置的第一信息系统数据和第二信息系统数据的关键信息以及拆分融合计算式；

根据所述第一信息系统数据的关键信息获取第一信息系统数据；

根据所述拆分融合计算式拆分融合所述第一信息系统数据；

根据所述第二信息系统数据的关键信息将所述拆分融合得到的第一信息系统数据写入第二信息系统中。

优选的，所述关键信息包括数据名称、数据类型、数据格式信息、数据长度、数据所属的数据源信息。

优选的，所述数据源的信息包括数据源的名称、数据源的类型、数据源的连接信息。

优选的，所述根据所述第一信息系统数据的关键信息获取所述第一信息系统数据的步骤为：

根据所述第一信息系统数据所属的数据源信息获取所述第一信息系统数据所属的数据源；

根据所述第一信息系统数据的数据名称获取所述数据源中的数据。

优选的，所述根据所述第二信息系统数据的关键信息将所述拆分融合得到的第一信息系统数据写入第二信息系统中的步骤包括：

根据所述第二信息系统数据的数据类型、数据长度、数据格式信息转换补充所述拆分融合得到的第一信息系统数据；

根据所述第二信息系统数据所属的数据源信息获取所述第二信息系统数据所属的数据源；

将所述根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充后的第一信息系统数据写入所述第二信息系统数据所属的数据源。

基于此，还有必要提供一种能提高用户操作便利性的数据同步装置。

一种数据同步装置，包括：

初始化模块，用于加载配置文件，所述配置文件中存储了预先配置的第一信息系统数据和第二信息系统数据的关键信息以及拆分融合计算式；

数据获取模块，用于根据所述第一信息系统数据的关键信息获取第一信息系统数据；

拆分融合模块，用于根据所述拆分融合计算式拆分融合所述第一信息系统数据；

数据输出模块，用于根据所述第二信息系统数据的关键信息将所述拆分融合得到的第一信息系统数据写入第二信息系统中。

优选的，所述关键信息包括数据名称、数据类型、数据格式信息、数据长度、数据所属的数据源信息。

优选的，所述数据源的信息包括数据源的名称、数据源的类型、数据源的连接信息。

优选的，所述数据获取模块包括：

第一数据源获取模块，用于根据所述第一信息系统数据所属的数据源信息获取所述第一信息系统数据所属的数据源；

读取模块，用于根据所述第一信息系统数据的数据名称获取所述数据源中的数据。

优选的，所述数据输出模块包括：

转换补充模块，用于根据所述第二信息系统数据的数据类型、数据长度、数据格式信息转换补充所述拆分融合得到的第一信息系统数据；

第二数据源获取模块，用于根据所述第二信息系统数据所属的数据源信息获取所述第二信息系统的数据所属的数据源；

写入模块，用于将所述根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充后的第一信息系统数据写入所述第二信息系统数据所属的数据源。

上述数据同步方法和装置，根据用户配置的第一信息系统数据的关键信息获取第一信息系统数据，并根据用户配置的拆分融合计算式对第一信息系统数据进行拆分融合，进一步的根据用户配置的第二信息系统数据的关键信息将拆分融合处理后的第一信息系统数据写入第二信息系统中，完成第一信息系统数据与第二信息系统数据的同步，不需要用户手动修改系统内部封装同步数据的程序代码，节约了用户的时间，减少了用户的工作量，从而提高了用户的操作便利性。

【附图说明】

图1为一个实施例中的数据同步方法的流程示意图；

图2为一个实施例中的根据第一信息系统数据的关键信息获取第一信息系统数据的流程示意图；

图3为一个实施例中的根据第二信息系统数据的关键信息将拆分融合得到的第一信息系统数据写入第二信息系统中的流程示意图；

图4为一个实施例中的数据同步装置的结构示意图；

图5为一个实施例中的数据获取模块的结构示意图；

图6为一个实施例中的数据输出模块的结构示意图。

【具体实施方式】

如图1所示，在一个实施例中，一种数据同步方法，包括以下步骤：

步骤S101，加载配置文件，所述配置文件中存储了预先配置的第一信息系统数据和第二信息系统数据的关键信息以及拆分融合计算式。

具体的，可在系统启动时加载配置文件，从配置文件中解析出数据的关键信息。在一个实施例中，需要进行数据同步的第一信息系统数据和第二信息系统数据的关键信息可由系统管理员预先在配置文件中配置。

优选的，数据的关键信息包括数据名称、数据类型、数据格式信息、数据长度、数据所属的数据源的信息等。优选的，数据格式信息包括数据的前缀信息、后缀信息、子字符串连接符信息等。优选的，数据格式信息还包括数据为明文形式还是密文形式，若数据为密文形式，则数据格式信息中还包括密文种类、密钥信息等。优选的，数据所属的数据源的信息包括数据源的名称、数据源的类型、数据源的连接信息等。具体的，数据源的类型包括数据库中的数据表、Excel文件、文本文件等；数据源的连接信息包括数据库的连接句柄、文件的路径信息等。

例如，如表1所示，第一信息系统的数据结构中，姓名分为两个字段“姓”、“名”来存储，而第二信息系统的数据结构中，姓名存储在一个字段“姓名”中，第一信息系统的“姓”、“名”字段的数据要同步第二信息系统的“姓名”字段中，则可在配置文件中配置第一信息系统的数据的名称为“姓”、“名”，数据的类型为字符型、长度为20，数据所属的数据源为数据库中的数据表，配置文件中还可配置数据库和数据表的名称、数据库的连接句柄等信息。同样的，配置文件中还可配置与第一信息系统的数据“姓”、“名”(即输入字段)对应的第二信息系统的数据(即写入字段)的名称、类型、长度、数据所属的数据源信息等。

第一信息系统	第二信息系统	计算
			姓、名	姓名	融合
邮箱地址	用户名、邮箱类型	拆分

表1

进一步的，可从配置文件中解析出数据的拆分融合计算式。本实施例中，数据的拆分融合计算式可由系统管理员预先在配置文件中配置。

优选的，配置文件中包括融合计算式，如[字段1(20)]+[字段2(20)]，表示将“字段1”与“字段2”的数据进行融合计算。在一个实施例中，[]用于标记数据名称；()用于标记数据要转换的长度，对于字符类型的数据，()可表示截取数据的前标记长度字符部分，对于整型、浮点型等数值类型的数据，()可表示将数据转换为该标记长度的数据类型；+则表示融合计算，对于字符类型的数据，+表示将两字符串拼成一个字符串，对于整型、浮点型等数值类型的数据，+表示获取两数据的和。

优选的，拆分融合计算式中还可包括优先级符号{}，例如，拆分融合计算式[字段1(20)]+{[字段2(20)]+[字段3(20)]}，表示先进行字段“字段2”、“字段3”数据的融合计算，再将融合结果与“字段1”的数据进行融合计算。

优选的，配置文件中还包括数据的拆分计算式，如[字段1(20)]-[字段2(20)]，表示将“字段1”与“字段2”的数据进行拆分计算。在一个实施例中，-表示拆分计算，对于字符类型的数据，-表示获取第一字符串中与第二字符串不同的部分，即剔除第一字符串中与第二字符串相同的部分；对于整型、浮点型等数值类型的数据，-表示获取两数据的差。

具体的，如上表1，第一信息系统的“姓”、“名”字段的数据要同步到第二信息系统的“姓名”字段，则需要对第一信息系统的“姓”、“名”字段的数据进行融合计算，即可在配置文件中配置融合计算式：[姓(20)]+[名(20)]，“姓”、“名”的数据类型为字符型，则该融合计算式表示：截取“姓”、“名”字符串中的前20个字符拼接成一个字符串。又例如，第一信息系统的“邮箱地址”字段的数据要同步到第二信息系统的“用户名”、“邮箱类型”字段，“邮箱地址”的数据类型为字符型，则可将字段“邮箱地址”的数据进行拆分。由于邮箱地址信息中一般都包括“”字符，例如，“zhangsan163.com”，则可配置拆分计算式[邮箱地址(40)]-[“％”]，通过该拆分计算式可计算得到邮箱地址“”前的字符串，即用户名，如“zhangsan”。进一步的，可从邮箱地址中剔除用户名的部分，获取剩余的部分作为邮箱类型，即可配置拆分计算式[邮箱地址(40)]-{[邮箱地址(40)]-[“％”]}，通过该拆分计算式可计算得到包括邮箱类型的字符串，如“163.com”。

步骤S102，根据第一信息系统数据的关键信息获取第一信息系统数据。

如图2所示，在一个实施例中，步骤S102包括：

步骤S112，根据第一信息系统数据所属的数据源信息获取第一信息系统数据所属的数据源。

具体的，可先判断数据源的类型。若数据所属的数据源为数据库中的数据表，则可根据数据源的连接信息，即数据库的连接句柄，连接数据库，建立数据库表对象。若数据所属的数据源为Excel文件或文本文件，则可根据数据源的连接信息即文件的路径信息，获取该Excel文件或文本文件，并将该文件二进制流化处理后读取至计算机内存，并读取计算机内存形成系统对象

步骤S122，根据第一信息系统数据的数据名称从第一信息系统数据所属的数据源中获取数据。

具体的，可从已经获取的数据源，如数据库表对象或系统对象中读取数据。

步骤S103，根据拆分融合计算式拆分融合第一信息系统数据。

具体的，可根据拆分融合计算式中的计算符号以及预设的该计算符号对应的计算操作对第一信息系统数据进行拆分或融合处理。

步骤S104，根据第二信息系统数据的关键信息将拆分融合得到的第一信息系统数据写入第二信息系统中。

如图3所示，在一个实施例中，步骤S104包括：

步骤S114，根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充拆分融合得到的第一信息系统数据。

具体的，可将步骤S103拆分融合得到的第一信息系统数据按照第二信息系统数据的数据类型、数据长度、数据格式信息进行转换补充，使得第一信息系统数据的类型、长度和格式信息与其要写入的第二信息系统数据的类型、长度和格式信息相匹配。例如，将整型数据转换为字符型数据；或截取字符串中的子字符串，使数据长度变小；或根据第二信息系统数据格式信息中的后缀信息(如“163.com”)补充字符串数据“zhangsan”为“zhangsan163.com”；或根据第二信息系统数据格式信息中的密文种类、密钥信息加密第一信息系统的数据，等等。

步骤S124，根据第二信息系统数据所属的数据源信息获取第二信息系统数据所属的数据源。

具体的，可根据数据源的连接信息获取数据源，并将数据源转换成便于读取数据对象，如数据库表对象或系统对象等。

步骤S134，将根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充后的第一信息系统数据写入第二信息系统数据所属的数据源。

具体的，可向已经获取的数据源，如数据库表对象或系统对象中写入处理后的第一信息系统数据。

如图4所示，在一个实施例中，一种数据同步系统，包括初始化模块401、数据获取模块402、拆分融合模块403、数据输出模块404，其中：

初始化模块401用于加载配置文件，所述配置文件中存储了预先配置的第一信息系统数据和第二信息系统数据的关键信息以及拆分融合计算式。

具体的，初始化模块401可在系统启动时加载配置文件，从配置文件中解析出数据的关键信息。在一个实施例中，需要进行数据同步的第一信息系统数据和第二信息系统数据的关键信息可由系统管理员预先在配置文件中配置。

优选的，数据的关键信息包括数据名称、数据类型、数据格式信息、数据长度、数据所属的数据源的信息等。优选的，数据格式信息包括数据的前缀信息、后缀信息、子字符串连接符信息等。优选的，数据格式信息还包括数据为明文形式还是密文形式，若数据为密文形式，则数据格式信息中还包括密文种类、密钥信息等。优选的，数据所属的数据源的信息包括数据源的名称、数据源的类型、数据源的连接信息等。具体的，数据源的类型包括数据库中的数据表、Excel文件、文本文件等；数据源的连接信息包括数据库的连接句柄、文件的路径信息等。

例如，如上表1所示，第一信息系统的数据结构中，姓名分为两个字段“姓”、“名”来存储，而第二信息系统的数据结构中，姓名存储在一个字段“姓名”中，第一信息系统的“姓”、“名”字段的数据要同步第二信息系统的“姓名”字段中，则可在配置文件中配置第一信息系统的数据的名称为“姓”、“名”，数据的类型为字符型、长度为20，数据所属的数据源为数据库中的数据表，配置文件中还可配置数据库和数据表的名称、数据库的连接句柄等信息。同样的，配置文件中还可配置与第一信息系统的数据“姓”、“名”(即输入字段)对应的第二信息系统的数据(即写入字段)的名称、类型、长度、数据所属的数据源信息等。

进一步的，初始化模块401可从配置文件中解析出数据的拆分融合计算式。本实施例中，数据的拆分融合计算式可由系统管理员预先在配置文件中配置。

优选的，配置文件中包括融合计算式，如[字段1(20)]+[字段2(20)]，表示将“字段1”与“字段2”的数据进行融合计算。在一个实施例中，[]用于标记数据名称；()用于标记数据要转换的长度，对于字符类型的数据，()可表示截取数据的前标记长度字符部分，对于整型、浮点型等数值类型的数据，()可表示将数据转换为该标记长度的数据类型；+则表示融合计算，对于字符类型的数据，+表示将两字符串拼成一个字符串，对于整型、浮点型等数值类型的数据，+表示获取两数据的和。

优选的，拆分融合计算式中还可包括优先级符号{}，例如，拆分融合计算式[字段1(20)]+{[字段2(20)]+[字段3(20)]}，表示先进行字段“字段2”、“字段3”数据的融合计算，再将融合结果与“字段1”的数据进行融合计算。

优选的，配置文件中还包括数据的拆分计算式，如[字段1(20)]-[字段2(20)]，表示将“字段1”与“字段2”的数据进行拆分计算。在一个实施例中，-表示拆分计算，对于字符类型的数据，-表示获取第一字符串中与第二字符串不同的部分，即剔除第一字符串中与第二字符串相同的部分；对于整型、浮点型等数值类型的数据，-表示获取两数据的差。

具体的，如上表1，第一信息系统的“姓”、“名”字段的数据要同步到第二信息系统的“姓名”字段，则需要对第一信息系统的“姓”、“名”字段的数据进行融合计算，即可在配置文件中配置融合计算式：[姓(20)]+[名(20)]，“姓”、“名”的数据类型为字符型，则该融合计算式表示：截取“姓”、“名”字符串中的前20个字符拼接成一个字符串。又例如，第一信息系统的“邮箱地址”字段的数据要同步到第二信息系统的“用户名”、“邮箱类型”字段，“邮箱地址”的数据类型为字符型，则可将字段“邮箱地址”的数据进行拆分。由于邮箱地址信息中一般都包括“”字符，例如，“zhangsan163.com”，则可配置拆分计算式[邮箱地址(40)]-[“％”]，通过该拆分计算式可计算得到邮箱地址“”前的字符串，即用户名，如“zhangsan”。进一步的，可从邮箱地址中剔除用户名的部分，获取剩余的部分作为邮箱类型，即可配置拆分计算式[邮箱地址(40)]-{[邮箱地址(40)]-[“％”]}，通过该拆分计算式可计算得到包括邮箱类型的字符串，如“163.com”。

数据获取模块402用于根据第一信息系统数据的关键信息获取第一信息系统数据。

如图5所示，在一个实施例中，数据获取模块402包括第一数据源获取模块412、读取模块422，其中：

第一数据源获取模块412用于根据第一信息系统数据所属的数据源信息获取第一信息系统数据所属的数据源。

具体的，第一数据源获取模块412可先判断数据源的类型。若数据所属的数据源为数据库中的数据表，则第一数据源获取模块412可根据数据源的连接信息，即数据库的连接句柄，连接数据库，建立数据库表对象。若数据所属的数据源为Excel文件或文本文件，则第一数据源获取模块412可根据数据源的连接信息即文件的路径信息，获取该Excel文件或文本文件，并将该文件二进制流化处理后读取至计算机内存，并读取计算机内存形成系统对象

读取模块422用于根据第一信息系统数据的数据名称从第一信息系统数据所属的数据源中获取数据。

具体的，读取模块422可从已经获取的数据源，如数据库表对象或系统对象中读取数据。

拆分融合模块403用于根据拆分融合计算式拆分融合第一信息系统数据。

具体的，拆分融合模块403可根据拆分融合计算式中的计算符号以及预设的该计算符号对应的计算操作对第一信息系统数据进行拆分或融合处理。

数据输出模块404用于根据第二信息系统数据的关键信息将拆分融合得到的第一信息系统数据写入第二信息系统中。

如图6所示，在一个实施例中，数据输出模块404包括转换补充模块414、第二数据源获取模块424、写入模块434，其中：

转换补充模块414用于根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充拆分融合得到的第一信息系统数据。

具体的，转换补充模块414可将拆分融合模块403拆分融合得到的第一信息系统数据按照第二信息系统数据的数据类型、数据长度、数据格式信息进行转换补充，使得第一信息系统数据的类型、长度和格式信息与其要写入的第二信息系统数据的类型、长度和格式信息相匹配。例如，将整型数据转换为字符型数据；或截取字符串中的子字符串，使数据长度变小；或根据第二信息系统数据格式信息中的后缀信息(如“163.com”)补充字符串数据“zhangsan”为“zhangsan163.com”；或根据第二信息系统数据格式信息中的密文种类、密钥信息加密第一信息系统的数据，等等。

第二数据源获取模块424用于根据第二信息系统数据所属的数据源信息获取第二信息系统数据所属的数据源。

具体的，第二数据源获取模块424可根据数据源的连接信息获取数据源，并将数据源转换成便于读取数据对象，如数据库表对象或系统对象等。

写入模块434用于将根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充后的第一信息系统数据写入第二信息系统数据所属的数据源。

具体的，可向已经获取的数据源，如数据库表对象或系统对象中写入转换补充模块414处理后的第一信息系统数据。

上述数据同步方法和装置，根据用户配置的第一信息系统数据的关键信息获取第一信息系统数据，并根据用户配置的拆分融合计算式对第一信息系统数据进行拆分融合，进一步的根据用户配置的第二信息系统数据的关键信息将拆分融合处理后的第一信息系统数据写入第二信息系统中，完成第一信息系统数据与第二信息系统数据的同步，不需要用户手动修改系统内部封装同步数据的程序代码，节约了用户的时间，减少了用户的工作量，从而提高了用户的操作便利性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据同步方法，包括以下步骤：

加载配置文件，所述配置文件中存储了预先配置的第一信息系统数据和第二信息系统数据的关键信息以及拆分融合计算式；

根据所述第一信息系统数据的关键信息获取第一信息系统数据；

根据所述拆分融合计算式拆分融合所述第一信息系统数据；

根据所述第二信息系统数据的关键信息将所述拆分融合得到的第一信息系统数据写入第二信息系统中。

2.根据权利要求1所述的数据同步方法，其特征在于，所述关键信息包括数据名称、数据类型、数据格式信息、数据长度、数据所属的数据源信息。

3.根据权利要求2所述的数据同步方法，其特征在于，所述数据源的信息包括数据源的名称、数据源的类型、数据源的连接信息。

4.根据权利要求2或3所述的数据同步方法，其特征在于，所述根据所述第一信息系统数据的关键信息获取所述第一信息系统数据的步骤为：

根据所述第一信息系统数据所属的数据源信息获取所述第一信息系统数据所属的数据源；

根据所述第一信息系统数据的数据名称获取所述数据源中的数据。

5.根据权利要求2或3所述的数据同步方法，其特征在于，所述根据所述第二信息系统数据的关键信息将所述拆分融合得到的第一信息系统数据写入第二信息系统中的步骤包括：

根据所述第二信息系统数据的数据类型、数据长度、数据格式信息转换补充所述拆分融合得到的第一信息系统数据；

根据所述第二信息系统数据所属的数据源信息获取所述第二信息系统数据所属的数据源；

将所述根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充后的第一信息系统数据写入所述第二信息系统数据所属的数据源。

6.一种数据同步装置，其特征在于，包括：

初始化模块，用于加载配置文件，所述配置文件中存储了预先配置的第一信息系统数据和第二信息系统数据的关键信息以及拆分融合计算式；

数据获取模块，用于根据所述第一信息系统数据的关键信息获取第一信息系统数据；

拆分融合模块，用于根据所述拆分融合计算式拆分融合所述第一信息系统数据；

数据输出模块，用于根据所述第二信息系统数据的关键信息将所述拆分融合得到的第一信息系统数据写入第二信息系统中。

7.根据权利要求6所述的数据同步装置，其特征在于，所述关键信息包括数据名称、数据类型、数据格式信息、数据长度、数据所属的数据源信息。

8.根据权利要求7所述的数据同步装置，其特征在于，所述数据源的信息包括数据源的名称、数据源的类型、数据源的连接信息。

9.根据权利要求7或8所述的数据同步装置，其特征在于，所述数据获取模块包括：

第一数据源获取模块，用于根据所述第一信息系统数据所属的数据源信息获取所述第一信息系统数据所属的数据源；

读取模块，用于根据所述第一信息系统数据的数据名称获取所述数据源中的数据。

10.根据权利要求7或8所述的数据同步装置，其特征在于，所述数据输出模块包括：

转换补充模块，用于根据所述第二信息系统数据的数据类型、数据长度、数据格式信息转换补充所述拆分融合得到的第一信息系统数据；

第二数据源获取模块，用于根据所述第二信息系统数据所属的数据源信息获取所述第二信息系统的数据所属的数据源；

写入模块，用于将所述根据第二信息系统数据的数据类型、数据长度、数据格式信息转换补充后的第一信息系统数据写入所述第二信息系统数据所属的数据源。

Images