CN110825800A - 一种多点异构环境下的业务数据自动传输校验方法 - Google Patents

Abstract

本发明公开了一种多点异构环境下的业务数据自动传输校验方法，该方法步骤包括：RDBMS→Java对象→XML→Java对象→RDBMS，Hibernate能够利用自身的Dialect属性设置，让Hibernate来处理各异构数据库平台的异构性问题，在系统的实现中，建立数据库与Hibernate的接口,其过程如下：连接数据库，用到Hibernate的配置文件hibernate.cfg.xml，执行以下操作即可完成数据库的连接,同时提供hibernate的对外接口：Configuration cfg＝new Configuration().configure(“/conf/hibernate.cfg.xml”)；SessionFactory sessionFactory＝createSessionFactory(cfg)；写出有关的Hibernate QL语句,然后调用查询方法。简化了为处理数据库平台异构的处理机的编写过程，解决了传统方案中动态数据源获取难、异构数据不能访问、数据冲突与同步实时性的问题。

Description

一种多点异构环境下的业务数据自动传输校验方法

技术领域

本发明涉及业务传输数据技术领域，特别涉及一种多点异构环境下的业务数据自动传输校验方法。

背景技术

随着计算机技术的不断发展，各种不同数据结构类型的数据库深入到不同的应用领域，尤其是那些地域上分散而管理上又相对集中的跨地域集团公司或者企业单位。虽然使用数据同步技术可以提高数据信息的集中管理，提高整个分布式数据库系统的响应速度和可靠性，但是由于数据的异构性和多样性，数据同步复制仍存在许多问题。

当前，分布式数据库技术已经成熟，并且因计算机成本下降以及通信费用降低而得到了广泛的应用。然而，分布式数据库系统既要提供局部自治又要实现全局控制，给数据同步带来了很大的困难，为此，引入数据库复制机制。数据库复制依赖于分布式数据库技术但又可以提供分布式数据库所不具备的功能，特别是由于在存取数据时有可选的数据副本，因此可以改进系统的性能和保护应用的可用性。通过使用数据库的复制技术可以实现集中和自治相结合的控制机制，并可大大提高整个分布式数据库系统的可靠性和响应速度。现有的异构数据库复制方案优势突出，比如在运行性能和整体性方面都有着明显的优势，而且产商大多提供了一些辅助工具可以协助用户更好地完成复制任务等；但同时也存在问题，数据库产商提供的复制方案依赖于产商自己的DBMS(Data base ManagementSystem)核心关系紧密的实现技术，不一定适用于其它DBMS，也就是说复制方案不是完全异构的。

数据自动化传输传统的解决方法是将数据库中的记录转换为XML文档格式,通过对XML文档进行解析,对被解析出来的数据进行操纵和编辑以处理数据库平台之间的异构性问题,最后再将XML文档转换为数据库记录,以实现对不同数据源间数据的转换,也就是RDBMS→XML→RDBMS的过程,XML是转换的中介也是数据操纵的核心。然而,XML始终是一种文档格式,对其数据的操作不仅效率不高,而且不符合大多编程人员的习惯。

发明内容

针对现有技术中的上述不足，本发明提供了一种多点异构环境下的业务数据自动传输校验方法，简化了为处理数据库平台异构的处理机的编写过程，解决了传统方案中动态数据源获取难、异构数据不能访问、数据冲突与同步实时性的问题，对异构数据库数据转换的解决方案为数据集成,建立一个内聚高耦合、外联一体化的企业级应用指明了方向。

为了达到上述发明目的，本发明采用的技术方案为：

一种多点异构环境下的业务数据自动传输校验方法，该方法步骤包括：RDBMS→Java对象→XML→Java对象→RDBMS，Hibernate能够利用自身的Dialect属性设置，让Hibernate来处理各异构数据库平台的异构性问题，在系统的实现中，建立数据库与Hibernate的接口,其过程如下：连接数据库，用到Hibernate的配置文件hibernate.cfg.xml，执行以下操作即可完成数据库的连接,同时提供hibernate的对外接口：Configurationcfg＝newConfiguration().configure(“/conf/hibernate.cfg.xml”)；SessionFactory sessionFactory＝createSessionFactory(cfg)；得到全局的SessionFactory,从中获取session,进行对象的query、load、insert、delete一系列操作，写出有关的HibernateQL语句,然后调用查询方法。

进一步，RDBMS→Java对象,即一个O/RMapping的过程，Hibernate利用reflection机制,在系统启动时生成SQL语句,进行对象的持久管理。

进一步，Castor绑定技术用于XML数据和Java对象数据之间的映射，对Java数据对象操作，即对XML数据操作，利用Castor技术实现我们的Java对象→XML这一步的转换过程。

进一步，提到的所述的Java对象都是指JavaBean对象，即是每一个对象都具有public属性的setter和getter方法，并且命名符合Bean对象的命名规则，在Hibernate和castor技术中我们所使用到的Java对象都是JavaBean对象。

进一步，XML是由SGML发展而来，是SGML的一个简化子集，在描述数据内容的同时能突出对结构的描述，从而体现出数据之间的关系。

进一步，数据传输要解决包括：

(1)异构数据库的访问：采用ADO技术访问数据库，其连接数据库的形式为：“Provider＝SQLOLEDB.1/SQLNCLI10.1；DataSource＝％s；PresistSecurityInfo＝False；UserID＝％s；Password＝％s；InitialCatalog＝％s”，其中：Provider针对数据源不同，选择SQLOLEDB.1和SQLNCLI10.1两种驱动方式；

(2)数据的获取与复制：数据的获取与复制指从下级源数据库中读取数据，然后将所读取的数据复制到上级数据库中并标记同步完成的过程，根据下级数据源中表结构有可修改与不可修改两种情况，分别设计方案：表结构可修改时，在下级数据库的表中增加新字段intsendok，并设置字段的默认值为0，每同步成功一条数据，将sendok字段的值设置为1，若没有同步成功，仍设置为0；表结构不允许修改时，在上级数据库中新建辅助表来记录下级数据库的同步操作过程，设置同步跟踪记录的表名为Track，在同步过程中，下级数据库中的数据是不断更新的，需要设置定时同步复制机制来完成同步，首先需要获取当前的系统时间和最近一次上传的结束时间，若当前系统时间小于上次上传的结束时间，则放弃本次更新，等待下次更新，若当前系统时间大于上次结束时间，则进行该时间段内新数据的同步操作，同步后，判断此次操作是否成功，成功置1，否则置0，并在追踪表中记录操作；

(3)动态数据源的处理：在下级数据库中，由于不同数据库中表的创建方式不同，有些下级是按日或按月来动态生成新表，会增加上级对下级数据源的查找难度，此时需根据表形成的规律来查找，例如有些数据源中表是以固定字符加年月日作为表名，需获取表的名称，再根据表形成的规律自动拼装来获取日期信息，同步复制前，系统需要检测是否有新表，若存在新表则进行数据同步的操作，不存在则退出；

(4)数据冲突与同步实时性：由于网络异常造成的重复同步，以及为了保证数据一致性而不断检查与复制下级数据源等造成的，因此在设计上级数据库中表的属性时，设定表的主键，对每条数据同步时先检查相同主键的记录是否存在，如果存在则返回，同步的实时性取决于数据上传的时间间隔，时间间隔越短，实时性越好，但计算机与网络负荷越大；反之，实时性差，计算机与网络负荷就小，采用动态缓存机制提高同步的实时性，即将已同步数据的主键及关键字段信息，动态地保存在内存缓存中，从而有效地减少了计算机与网络的负担。

本发明的有益效果为：

数据库记录与XML文档结构的转换过程比较简单，程序员只需要简单的调用一些接口就可以完成，而省去了常用的方法中需要在数据库记录与XML文档结构转换之间编写处理数据库异构的处理机的烦琐过程；再者由于使用了Hibernate使得编写的程序具有了通用性，只需要设置其Dialect属性，使得编写的软件具有了更好的可移植性和平台独立性；XML文档结构虽然具有通用性的优点，但其本质上还是文档，操作起来效率不高也不方便，在上面提到的方案中由于使用了Java对象，所以对数据的操作可以通过对对象的操作来实现，简化了程序的编写过程同时也提高了运行效率。

附图说明

图1为本发明的结构示意图；

图2为本发明的结构允许修改的数据同步流程图；

图3为本发明的追踪表中记录操作流程图；

图4为本发明的高速公路监控系统数据同步复制的软件结构图；

图5为本发明的高速公路车辆数据采集系统主界面。

具体实施方式

为了使本发明的内容更容易被清楚地理解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1至图5所示，一种多点异构环境下的业务数据自动传输校验方法，该方法步骤包括：RDBMS→Java对象→XML→Java对象→RDBMS，Hibernate能够利用自身的Dialect属性设置，让Hibernate来处理各异构数据库平台的异构性问题，在系统的实现中，建立数据库与Hibernate的接口,其过程如下：连接数据库，用到Hibernate的配置文件hibernate.cfg.xml，执行以下操作即可完成数据库的连接,同时提供hibernate的对外接口：Configurationcfg＝newConfiguration().configure(“/conf/hibernate.cfg.xml”)；SessionFactorysessionFactory＝createSessionFactory(cfg)；得到全局的SessionFactory,从中获取session,进行对象的query、load、insert、delete一系列操作，写出有关的HibernateQL语句,然后调用查询方法。

RDBMS→Java对象,即一个O/RMapping的过程，Hibernate利用reflection机制,在系统启动时生成SQL语句,进行对象的持久管理。

Castor绑定技术用于XML数据和Java对象数据之间的映射，对Java数据对象操作，即对XML数据操作，利用Castor技术实现我们的Java对象→XML这一步的转换过程。

提到的所述的Java对象都是指JavaBean对象，即是每一个对象都具有public属性的setter和getter方法，并且命名符合Bean对象的命名规则，在Hibernate和castor技术中我们所使用到的Java对象都是JavaBean对象。

XML是由SGML发展而来，是SGML的一个简化子集，在描述数据内容的同时能突出对结构的描述，从而体现出数据之间的关系。

数据传输要解决包括：

(1)异构数据库的访问：采用ADO技术访问数据库，其连接数据库的形式为：“Provider＝SQLOLEDB.1/SQLNCLI10.1；DataSource＝％s；PresistSecurityInfo＝False；UserID＝％s；Password＝％s；InitialCatalog＝％s”，其中：Provider针对数据源不同，选择SQLOLEDB.1和SQLNCLI10.1两种驱动方式；

(2)数据的获取与复制：数据的获取与复制指从下级源数据库中读取数据，然后将所读取的数据复制到上级数据库中并标记同步完成的过程，根据下级数据源中表结构有可修改与不可修改两种情况，分别设计方案：表结构可修改时，在下级数据库的表中增加新字段intsendok，并设置字段的默认值为0，每同步成功一条数据，将sendok字段的值设置为1，若没有同步成功，仍设置为0；表结构不允许修改时，在上级数据库中新建辅助表来记录下级数据库的同步操作过程，设置同步跟踪记录的表名为Track，在同步过程中，下级数据库中的数据是不断更新的，需要设置定时同步复制机制来完成同步，首先需要获取当前的系统时间和最近一次上传的结束时间，若当前系统时间小于上次上传的结束时间，则放弃本次更新，等待下次更新，若当前系统时间大于上次结束时间，则进行该时间段内新数据的同步操作，同步后，判断此次操作是否成功，成功置1，否则置0，并在追踪表中记录操作；

(3)动态数据源的处理：在下级数据库中，由于不同数据库中表的创建方式不同，有些下级是按日或按月来动态生成新表，会增加上级对下级数据源的查找难度，此时需根据表形成的规律来查找，例如有些数据源中表是以固定字符加年月日作为表名，需获取表的名称，再根据表形成的规律自动拼装来获取日期信息，同步复制前，系统需要检测是否有新表，若存在新表则进行数据同步的操作，不存在则退出；

(4)数据冲突与同步实时性：由于网络异常造成的重复同步，以及为了保证数据一致性而不断检查与复制下级数据源等造成的，因此在设计上级数据库中表的属性时，设定表的主键，对每条数据同步时先检查相同主键的记录是否存在，如果存在则返回，同步的实时性取决于数据上传的时间间隔，时间间隔越短，实时性越好，但计算机与网络负荷越大；反之，实时性差，计算机与网络负荷就小，采用动态缓存机制提高同步的实时性，即将已同步数据的主键及关键字段信息，动态地保存在内存缓存中，从而有效地减少了计算机与网络的负担。

实施例1：通过分析，高速公路系统数据源可归纳为三类：收费站、主线卡口和服务区，其特点如下：(1)存在的数据库管理系统有SQLServer2000、SQLServer2008、Oracle9i；(2)数据存放的方式多样，包括单一表、按月生成表、按日生成表等；(3)有些表结构可修改，有些表结构不能修改，比如按月生成表的情况，因此无法获得生成表的源代码。

为了实现对以上情况的灵活处理，软件以XML格式的方式配置数据源的情况，同时利用多线程技术实现对多个数据源的同时处理，整个软件的总体结构如图4所示。

高速公路车辆数据采集系统提供对全线各子系统中的车辆流水数据的实时收集功能，即实现对各个分散数据源的异构数据的同步复制。该软件系统以VisualC++语言进行开发，利用本文提出的多源异构下数据同步复制方案，并结合多线程技术提升软件的运行效率。整个系统的运行界面如图5所示。

从图5可以看出，该系统可同时将多个下级数据源的数据同步复制到一个上级数据库服务器中，实现对车辆流水数据的集中整合。该系统经实际测试，已实现了23h不间断运行，数据同步复制未发现多出一条记录或者少一条记录，数据正确率100％，在系统可靠性与数据完整性方面均达到了数据同步复制的要求。

“预置”复制技术只需根据用户需求预先在用户端定义复制规则，等到用户定义进行同步复制时，再根据所定义复制规则进行数据变化捕获。变化捕获的内容为复制规则所定义的源表关键字段，一般以数据入库时间为关键条件进行捕获；捕获内容通过ADO(ActiveXDataObjects)方式存入计算机缓存，随后就断开对源数据库的连接(这样可以减轻数据库的负担)；最后由数据同步部分对缓存内的数据进行分类入库。

数据同步是指将源表的变化信息实施到相应的目标表中的过程。“预置”复制技术对变化信息实施到相应的目标表中的过程所用的分类规则亦在定义复制规则时一并定义。在定义规则时要根据复制形式进行定义。在数据同步进行完毕后，系统会对参数设置文件中的关键字段(时间)进行自动更新，所更新的内容为最近一次源数据入库时的唯一标签，为下一次软件的执行定义新的条件。

以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (6)

1.一种多点异构环境下的业务数据自动传输校验方法，其特征在于，该方法步骤包括：RDBMS→Java对象→XML→Java对象→RDBMS，Hibernate能够利用自身的Dialect属性设置，让Hibernate来处理各异构数据库平台的异构性问题，在系统的实现中，建立数据库与Hibernate的接口,其过程如下：连接数据库，用到Hibernate的配置文件hibernate.cfg.xml，执行以下操作即可完成数据库的连接,同时提供hibernate的对外接口：Configuration cfg＝new Configuration().configure(“/conf/hibernate.cfg.xml”)；SessionFactory sessionFactory＝createSessionFactory(cfg)；得到全局的SessionFactory,从中获取session,进行对象的query、load、insert、delete一系列操作，写出有关的H ibernate QL语句,然后调用查询方法。

2.根据权利要求1所述的一种多点异构环境下的业务数据自动传输校验方法，其特征在于：RDBMS→Java对象,即一个O/R Mapping的过程，Hibernate利用reflection机制,在系统启动时生成SQL语句,进行对象的持久管理。

3.根据权利要求1所述的一种多点异构环境下的业务数据自动传输校验方法，其特征在于：Castor绑定技术用于XML数据和Java对象数据之间的映射，对Java数据对象操作，即对XML数据操作，利用Castor技术实现我们的Java对象→XML这一步的转换过程。

4.根据权利要求1所述的一种多点异构环境下的业务数据自动传输校验方法，其特征在于：提到的所述的Java对象都是指Java Bean对象，即是每一个对象都具有public属性的setter和getter方法，并且命名符合Bean对象的命名规则，在Hibernate和castor技术中我们所使用到的Java对象都是Java Bean对象。

5.根据权利要求1所述的一种多点异构环境下的业务数据自动传输校验方法，其特征在于：XML是由SGML发展而来，是SGML的一个简化子集，在描述数据内容的同时能突出对结构的描述，从而体现出数据之间的关系。

6.根据权利要求1所述的一种多点异构环境下的业务数据自动传输校验方法，其特征在于：数据传输要解决包括：

(1)异构数据库的访问：采用ADO技术访问数据库，其连接数据库的形式为：“Provider＝SQLOLEDB.1/SQLNCLI10.1；Data Source＝％s；Presist Security Info＝False；UserID＝％s；Password＝％s；InitialCatalog＝％s”，其中：Provider针对数据源不同，选择SQLOLEDB.1和SQLNCLI10.1两种驱动方式；

(2)数据的获取与复制：数据的获取与复制指从下级源数据库中读取数据，然后将所读取的数据复制到上级数据库中并标记同步完成的过程，根据下级数据源中表结构有可修改与不可修改两种情况，分别设计方案：表结构可修改时，在下级数据库的表中增加新字段intsendok，并设置字段的默认值为0，每同步成功一条数据，将sendok字段的值设置为1，若没有同步成功，仍设置为0；表结构不允许修改时，在上级数据库中新建辅助表来记录下级数据库的同步操作过程，设置同步跟踪记录的表名为Track，在同步过程中，下级数据库中的数据是不断更新的，需要设置定时同步复制机制来完成同步，首先需要获取当前的系统时间和最近一次上传的结束时间，若当前系统时间小于上次上传的结束时间，则放弃本次更新，等待下次更新，若当前系统时间大于上次结束时间，则进行该时间段内新数据的同步操作，同步后，判断此次操作是否成功，成功置1，否则置0，并在追踪表中记录操作；

(3)动态数据源的处理：在下级数据库中，由于不同数据库中表的创建方式不同，有些下级是按日或按月来动态生成新表，会增加上级对下级数据源的查找难度，此时需根据表形成的规律来查找，例如有些数据源中表是以固定字符加年月日作为表名，需获取表的名称，再根据表形成的规律自动拼装来获取日期信息，同步复制前，系统需要检测是否有新表，若存在新表则进行数据同步的操作，不存在则退出；

(4)数据冲突与同步实时性：由于网络异常造成的重复同步，以及为了保证数据一致性而不断检查与复制下级数据源等造成的，因此在设计上级数据库中表的属性时，设定表的主键，对每条数据同步时先检查相同主键的记录是否存在，如果存在则返回，同步的实时性取决于数据上传的时间间隔，时间间隔越短，实时性越好，但计算机与网络负荷越大；反之，实时性差，计算机与网络负荷就小，采用动态缓存机制提高同步的实时性，即将已同步数据的主键及关键字段信息，动态地保存在内存缓存中，从而有效地减少了计算机与网络的负担。

Images