CN104598840A - 基于Http协议的多数据源的数据处理方法及系统 - Google Patents

Abstract

本发明公开了基于Http协议的多数据源的数据处理方法及系统，包括：应用项目通过Http协议提交数据处理请求到所述多数据源的集成系统，所述处理请求包括：数据源实例、数据表实体模型和操作指令；所述集成系统根据数据源统一管理中心分发系统的配置信息，将所述处理请求分发给目标数据库；所述目标数据库执行分发来的指令，返回处理结果给所述集成系统；所述集成系统将所述处理结果转换为应用项目可识别的对象，并将转换结果返回给所述应用项目。通过本发明，减少了数据碎片，减轻了开发人员的数据处理压力，降低了数据库查询执行编码成本，同时将数据库安全信息与应用项目分离，加固了数据库安全性，减低被破译风险。

Description

基于Http协议的多数据源的数据处理方法及系统

技术领域

本发明涉及数据集成和数据处理技术领域，特别涉及基于Http协议的多数据源的数据处理方法及系统。

背景技术

随着信息化技术的推进及新的实例单元的不断发布、融入和集成，企业级应用系统中多个数据库存储介质并存的现象已越来越普遍。而拥有了多数据源的数据库，也使企业数据碎片化日趋恶化，导致了企业内信息孤岛现象越来越严重。此外，对多数据源的数据处理操作，传统项目开发连接数据库的方式都是通过在项目配置数据源信息，由相应的数据源提供返回的数据库实例，然后项目直接对数据库进行读写操作。使用此类方式会将目标数据源的账号密码等安全信息暴露在项目的配置文件中，容易被破译入侵数据库。

发明内容

本发明的目的在于提供一种基于Http协议的多数据源的数据处理方法及系统，以解决上述技术问题的至少一个。

根据本发明的一个方面，提供了一种基于Http协议的多数据源的数据处理方法，包括：应用项目通过Http协议提交数据处理请求到多数据源的集成系统，处理请求的信息包括：数据源实例、数据表实体模型和操作指令；集成系统根据数据源统一管理中心分发系统的配置信息，将处理请求分发给目标数据库；目标数据库执行分发来的指令，返回处理结果给集成系统；集成系统将处理结果转换为应用项目可识别的对象，并将转换结果返回给应用项目。

通过本发明的方法，开发人员只需要根据应用项目的需求提出数据处理请求即可得到应用项目可识别的返回对象，具体数据源事务全部由集成系统处理，减轻了开发人员的数据处理压力，简化了数据库处理执行编码成本。

在一些实施方式中，应用项目通过spring提供的远程代理工厂调用Http彼端的远程数据源将请求信息提交给集成系统，集成系统通过spring事务管理拦截应用项目的处理请求信息。由此，可以实现数据源的远程调用，将数据库和应用项目分离，加固数据库的安全性。

在一些实施方式中，数据源统一管理中心通过独立的存储介质存储已经注册的数据源信息，当集成系统接收到应用项目的数据处理请求时，将其中包含的数据源实例提交给数据源统一管理中心，以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库；集成系统根据数据源统一管理中心各数据源的独立线程池管理操作线程进行判断，以将所述数据处理请求分发给所述目标数据库的操作指令结构化引擎，生成SQL语句。由此，可以实现对多种数据源的统一管理，无需在应用项目中对不同的数据源信息单独进行配置，减少了数据碎片，减低数据库的被破译风险。

在一些实施方式中，应用项目向集成系统提交的请求信息还可以增加条件实体选项，对数据表的数据作进一步筛选。由此，还可以具有方便应用层灵活控制数据处理的筛选条件以实现程序的更好扩展的效果。

在一些实施方式中，集成系统还可以对处理结果进行排序、去重、比较操作。由此，可以对处理结果进行一层过滤，去掉重复的冗余数据，并将数据有序的返回给应用，进一步减轻研发人员的数据处理负担，降低编码成本。

另外，本发明还公开了一种基于Http协议的多数据源的数据处理系统。该系统包括：应用项目单元，设置为通过Http协议向集成系统提交数据处理请求，处理请求的信息包括：数据源实例、数据表实体模型和操作指令；集成系统，包括信息接收模块、数据源统一管理中心及数据转换模块，信息接收模块接收到应用项目单元的处理请求后，提交请求信息给数据源统一管理中心，数据源统一管理中心根据中心分发系统的配置信息将处理请求分发给数据库集群中的目标数据库，由目标数据库执行分发来的指令，返回处理结果；数据转换模块将处理结果转化为应用项目单元可识别的对象，并将转换结果返回给应用项目单元。

通过本发明的系统，开发人员只需要根据应用项目的需求提出数据处理请求即可得到应用项目可识别的返回对象，具体数据源事务全部由集成系统处理，减轻了开发人员的数据处理压力，简化了数据库处理执行编码成本。

在一些实施方式中，应用项目单元通过spring提供的远程代理工厂调用Http彼端的远程数据源将处理请求提交给集成系统，集成系统通过spring事务管理拦截应用项目单元的数据处理请求。由此，可以实现数据源的远程调用，将数据库和应用项目单元分离，加强数据库的安全性。

在一些实施方式中，数据源统一管理中心包括独立的存储介质及至少一个已经注册的数据源。其中，独立的存储介质用于存储已经注册的数据源信息，当信息接收模块接收到应用项目单元的处理请求时，将其中包含的数据源实例提交给数据源统一管理中心，以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库。指令分发系统根据各数据源的独立线程池管理操作线程进行判断，以将请求的信息分发给目标数据库的操作指令结构化引擎生成SQL语句。由此，可以实现对多种数据源的统一管理，无需在应用项目单元中对不同的数据源信息单独进行配置，减少了数据碎片，减低数据库的被破译风险。

在一些实施方式中，处理请求的信息还包括条件实体。由此，还可以具有方便应用层灵活控制数据处理的筛选条件以实现程序的更好扩展的效果。

在一些实施方式中，操作指令包括：对数据进行增加、删除、修改、排序、去重、比较。由此，可以对处理结果进行一层过滤，去掉重复的冗余数据，并将数据有序的返回给应用，进一步减轻研发人员的数据处理负担，降低编码成本。

通过本发明提供的方法和系统，减轻了开发人员的数据处理压力，降低了数据库查询执行编码成本，同时将数据库安全信息与应用项目分离，加固了数据库安全性，减低被破译风险。

附图说明

图1为本发明一实施方式的基于Http协议的多数据源的数据处理系统的示意图；

图2为本发明另一实施方式的基于Http协议的多数据源的数据处理方法的流程示意图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

图1示意性的显示了根据本发明一种实施方式的基于Http协议的多数据源的数据处理系统。如图1所示，该系统包括应用项目单元101和集成系统102。其中，集成系统102包括信息接收模块1021、数据源统一管理中心1022及数据转换模块1023。信息接收模块1021配置成接收应用项目单元101的处理请求消息，包括数据源实例、数据表实体模型和操作指令；数据源统一管理中心1022配置成根据中心分发系统10221的配置信息将处理请求分发给数据库集群中的目标数据库，由目标数据库执行分发来的指令，返回处理结果；数据转换模块1023配置成将处理结果转化为应用项目单元101可识别的对象，并将转换结果返回给应用项目单元101。

应用项目单元101中包含数据处理模块1011。在需要数据库操作时，应用项目单元101首先在数据处理模块1011中对数据源实例、数据表实体模型、条件实体和操作指令信息进行设定，再利用spring提供的远程代理工厂org.springframework.remoting.httpinvoker.HttpInvokerProxyFactoryBean向集成系统102发起数据处理请求，进行数据库操作。

spring是由Rod Johnson创建的一个开源框架，它提供了一个轻量级的控制反转和面向切面的容器框架。spring框架是一个分层的框架，由7个已定义的模块组成。spring模块构建在核心容器之上，核心容器定义了创建、配置和管理Bean的方式。组成spring框架的每个模块都可以单独存在，或者与其他一个或多个模块联合实现。核心容器提供spring框架的基本功能，其主要组件是BeanFactory，它是工厂模式的实现。BeanFactory使用控制反转模式将应用程序的配置和依赖性规范与实际的应用程序代码分开。而远程代理工厂类HttpInvokerProxyFactoryBean就是spring代理工厂中提供的一个远程连接服务，通过该服务可以实现Bean实例的远程调用。Bean是实体对象类，通过定义一个个的Bean实体，可以将数据库操作抽象成对类的操作，从而实现面向对象的编程。例如，在本实施例通过在应用项目单元101的数据源实例配置文件中定义以下实例Bean：

通过此配置文件的信息，应用项目单元101就通过HTTP协议在自己的DBEnter和挂载在HTTP彼端的远程数据源之间建立了通信关系。则在数据处理模块1011中，应用项目单元101通过以下方式注入数据源实例：

Resource(name＝"DBEnter")

public AladdinDataCenter dbEnter；

假设在数据源实例对应的数据库中定义有表名为“ucenter_access”的数据表，在数据处理模块1011中，应用项目单元101通过以下方式定义数据表实体模型：

AladdinTable(name＝"ucenter_access")

public class Access{…}

Access ac＝new Access()；

之后，选择需要对数据库进行的操作指令，例如当需要入库时，数据源实例通过指令调用：dbEnter.insert(ac)；向集成系统102提出数据插入请求。这时，根据配置文件中提供的调用地址serviceUrl和本地接口类serviceInterface的值，应用项目单元101就可以利用远程代理工厂HttpInvokerProxyFactoryBean调用挂载在HTTP彼端的远程数据源实体aladdinDataCenter。应用项目单元101的指令调用启动后，集成系统102的信息接收模块1021使用spring事务管理对请求信息进行拦截，接收到包括数据源实例dbEnter、数据表实体模型ac及操作指令insert的处理请求的信息，并把该信息提供给数据源统一管理中心1022进行下一步处理。这里可以进一步，根据应用项目单元101的数据需求对数据表中的数据设置进行筛选的条件实体，例如：

DataConditions condition＝new DataConditions()；

dbEnter.setConditions＝condition；

数据源统一管理中心1022具有独立的存储介质10222以供存储已经注册的数据源信息。对于每个已经注册的数据源10223，其信息可包括：数据库名、数据库类型、数据库编码、数据库真实访问路径、数据库访问用户名、数据库访问密码、访问池信息、并发限制、等待线程数、释放时间等。当集成系统102启动时，将根据数据源统一管理中心存储介质10222中所注册的数据源信息注册成数据库服务。例如，有三个已注册的数据源10223，那么在系统启动完成后，将会产生以下三个对外数据库服务：

http://data.center.server/db1server

http://data.center.server/db2server

http://data.center.server/db3server

数据源统一管理中心1022获得数据源实例dbEnter信息后，首先根据提供的调用地址serviceUrl，判断数据源实例对应的数据源类型是否已经注册。例如serviceURL为http://data.center.server/db1server/aladdinDataCenter，表示数据源已经注册，则将根据提供的aladdinDataCenter实例以及已经存储的数据源信息的数据库名从业务集群数据库中找到匹配的目标数据库。数据源统一管理中心1022的每个数据源10223都有独立的线程池事务管理操作线程。通过线程池事务管理操作线程的配置信息，设置每个数据源的线程事务管理的操作识别信息。由此，当找到目标数据库后，就可以根据数据源实例的操作指令识别管理操作线程实际要到达和执行的节点的目标数据库，从而实现在数据库集群状态下的负载均衡。

例如，对MySQL数据源的线程管理通过以下配置信息设置写入节点和读取节点的操作识别信息：

当处理请求到达时，数据源统一管理中心1022的指令分发系统10221根据配置信息中的写入节点setMasterDataSource和读取节点setSlaveDataSource下的操作识别信息对数据库集群中每个节点的性能进行判断，并根据处理请求中的操作指令是读取指令还是写入指令，把处理请求指令分发到相应节点的目标数据库，以实现读写分离，均衡集群中数据库的负载能力。目标数据库的操作指令结构化引擎会根据分发来的指令和数据表实体模型ac及条件实体condition信息生成SQL语句，并根据其解析进行相应的数据处理，得到处理结果集。

以JDBC为基础的查询，返回的数据库处理结果集都是一个ResultSet对象。数据转换模块1023运用spring提供的queryForObject方法对其进行XML格式的转换，返回一个xsql:request集合给应用项目单元101。例如，在目标数据库中查到一个返回结果有以下属性：lastname字段的值为dongwen、job字段的值为coder、firstname属性的值为chen，通过queryForObject方法，就可以将这个查询结果转换为以下格式返回给应用项目单元101：

<request>

<parameters>

<lastname>dongwen</lastname>

<job>coder</job>

<firstname>chen</firstname>

</parameters>

</request>

由此，应用项目单元101能够直接运用xstl和xml编写前端页面，而无需对传统的结果集进行循环和遍历解释渲染网页数据。

由此，应用项目单元101通过HTTP协议实现了对数据源10223的远程访问，实现了应用项目与数据库操作的分离，减少了编码成本和开发人员的数据处理压力。同时，通过数据源统一管理中心1022对数据源10223进行统一注册存储，实行统一管理，减少了数据碎片，增加了数据库的安全性，减低被破译风险。进一步，通过数据转换模块1023以及对操作指令的设置，实现了应用项目的灵活数据处理，使项目具有很好的可扩展性。

图2示意性地显示了根据本发明的一种实施方式的基于Http协议的多数据源的数据处理方法。如图2所示，该方法包括：

步骤S201：接收应用项目单元传递过来的请求信息。

应用项目单元中包含数据处理模块。在需要进行数据库操作时，将在数据处理模块中向集成系统发出数据处理请求。具体过程如下：

应用项目单元在其配置文件中定义有数据源实例Bean，该数据源实例Bean提供了应用项目单元访问集成系统的远程代理工厂org.springframework.remoting.httpinvoker.HttpInvokerProxyFactoryBean、使用的本地接口类以及集成系统数据源实体的调用地址。当应用项目单元需要进行数据库操作时，将根据配置文件中提供的调用地址和本地接口类，利用spring提供的远程代理工厂即可调用挂靠在HTTP彼端的远程数据源实体Bean。而集成系统使用spring事务管理拦截应用项目单元提供的数据处理请求信息：数据源实例、数据表实体模型、条件实体和操作指令。

其中，请求信息中的条件实体是可选项，如果应用项目单元不需要设定数据筛选的条件，可以不设定条件实体的值。这种情况下将不会根据条件对数据表的数据作进一步筛选，而是直接根据操作指令的内容对数据库进行相应操作得到处理结果。

步骤S202：数据源筛选。

集成系统的数据源统一管理中心拥有独立的存储介质以存储已经注册的数据源信息。对于每个已经注册的数据源，其信息可包括：数据库名、数据库类型、数据库编码、数据库真实访问路径、数据库访问用户名、数据库访问密码、访问池信息、并发限制、等待线程数、释放时间等信息。当集成系统启动时，将根据数据源统一管理中心存储介质中所注册的数据源信息注册成对外的数据库服务。

当集成系统接收到应用项目单元的处理请求时，将该请求提交给系统中的数据源统一管理中心。数据源统一管理中心根据提供的数据源实例的调用地址，判断数据源实例对应的数据源类型是否已经注册。如果是已经注册的数据源，则将根据提供的调用地址下的实例以及已经存储的数据源信息的数据库名从业务集群数据库中找到匹配的目标数据库。如果不是已经注册的数据源，则直接结束处理，返回异常信息。

步骤S203：目标数据库的操作指令结构化引擎生成SQL语句。

找到实例目标数据库之后，集成系统根据数据源统一管理中心各数据源的独立线程池管理操作线程的配置信息进行判断，将对应的操作指令分发给目标数据库，交由目标数据库的操作指令结构化引擎根据数据表实体模型、条件实体和操作指令信息，生成SQL语句。

步骤S204：查询目标数据库得到数据库处理结果集。

目标数据库执行生成的SQL语句得到数据库处理结果集，并将处理结果集返回给集成系统进行数据转换处理。其中，目标数据库在执行SQL语句时，会根据应用项目单元中注入的数据表实体模型描述的表名及表关联映射关系，找到目标数据库中对应的需要进行操作的数据表，然后根据条件实体的内容对数据表的数据作进一步筛选。最终根据操作指令的内容对数据表进行相应操作得到处理结果。例如根据操作指令对数据表进行增加、删除、修改、删除、排序、去重、比较的操作。

步骤S205：数据转换。

以JDBC为基础的查询，返回的结果集都是一个ResultSet对象，集成系统通过spring提供的queryForObject方法，将返回的数据库处理结果集转化为应用项目单元所需的数据对象，并将经过转化的可识别数据实体或数据实体集返回给应用项目单元。如，可以运用spring提供的queryForObject方法对结果集进行XML格式的转换，返回一个xsql:request集合给应用项目单元，使应用项目单元能够直接运用xstl和xml编写前端页面，而无需对传统的结果集进行循环和遍历解释渲染网页数据。

通过本发明的系统和方法，在应用项目单元中通过已知的数据源服务名注入数据库实例即可接入数据，无需在应用项目单元中进行繁琐配置，也不必知道数据源存放的物理位置，不必直接将数据源存放的物理位置暴露在配置文件中。由此，实现了将数据库安全信息与应用项目分离，加强了数据库安全性，减低被破译风险。同时该系统通过数据源统一管理中心将分布式业务数据库集群纳入统一管理和配置，减少了数据碎片，解决了信息孤岛日益严重的问题，减轻了业务开发人员的数据处理压力和简化数据库查询执行编码成本。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.基于Http协议的多数据源的数据处理方法，包括：

A、应用项目基于Http协议向多数据源的集成系统提交数据处理请求，所述处理请求包括：数据源实例、数据表实体模型和操作指令；

B、所述集成系统根据数据源统一管理中心分发系统的配置信息，将所述处理请求分发给目标数据库；

C、所述目标数据库执行分发来的指令，返回处理结果给所述集成系统；

D、所述集成系统将所述处理结果转换为所述应用项目可识别的对象，并将转换结果返回给所述应用项目。

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：

所述应用项目通过spring提供的远程代理工厂调用Http彼端的远程数据源将请求信息提交给所述集成系统，所述集成系统通过spring事务管理拦截所述应用项目的处理请求信息。

3.根据权利要求1所述的方法，其特征在于，所述步骤B包括：

所述数据源统一管理中心通过独立的存储介质存储已经注册的数据源信息，当集成系统接收到应用项目的数据处理请求时，将其中包含的数据源实例提交给数据源统一管理中心，以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库；

集成系统根据数据源统一管理中心各数据源的独立线程池管理操作线程进行判断，以将所述数据处理请求分发给所述目标数据库的操作指令结构化引擎，生成SQL语句。

4.根据权利要求1所述的方法，其特征在于，所述请求信息还包括条件实体。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述操作指令包括：对数据进行增加、删除、修改、排序、去重、比较。

6.基于Http协议的多数据源的数据处理系统，包括：

应用项目单元，设置为通过Http协议向集成系统提交数据处理请求，所述处理请求的信息包括：数据源实例、数据表实体模型和操作指令；

集成系统，包括信息接收模块、数据源统一管理中心及数据转换模块，所述信息接收模块接收到应用项目单元的处理请求后，提交请求信息给数据源统一管理中心；数据源统一管理中心根据其中心分发系统的配置信息将所述处理请求分发给目标数据库，由所述目标数据库执行分发来的指令，返回处理结果；所述数据转换模块将所述处理结果转化为所述应用项目单元可识别的对象，并将转换结果返回给所述应用项目单元。

7.根据权利要求6所述的系统，其特征在于，所述应用项目单元通过spring提供的远程代理工厂调用Http彼端的远程数据源将所述处理请求提交给所述集成系统，所述集成系统通过spring事务管理拦截所述应用项目单元的所述数据处理请求。

8.根据权利要求6所述的系统，其特征在于，所述数据源统一管理中心包括独立的存储介质及至少一个已经注册的数据源，其中，

所述独立的存储介质用于存储已经注册的数据源信息，当所述信息接收模块接收到应用项目单元的所述处理请求时，将其中包含的数据源实例提交给数据源统一管理中心，以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库；

所述指令分发系统根据各数据源的独立线程池管理操作线程进行判断，以将所述请求的信息分发给所述目标数据库的操作指令结构化引擎生成SQL语句。

9.根据权利要求6所述的系统，其特征在于，所述请求的信息还包括条件实体。

10.根据权利要求6至9任一项所述的系统，其特征在于，所述操作指令包括：对数据进行增加、删除、修改、排序、去重、比较。