CN104598840A - 基于Http协议的多数据源的数据处理方法及系统 - Google Patents
基于Http协议的多数据源的数据处理方法及系统 Download PDFInfo
- Publication number
- CN104598840A CN104598840A CN201510058601.2A CN201510058601A CN104598840A CN 104598840 A CN104598840 A CN 104598840A CN 201510058601 A CN201510058601 A CN 201510058601A CN 104598840 A CN104598840 A CN 104598840A
- Authority
- CN
- China
- Prior art keywords
- data source
- data
- application item
- database
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2149—Restricted operating environment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于Http协议的多数据源的数据处理方法及系统,包括:应用项目通过Http协议提交数据处理请求到所述多数据源的集成系统,所述处理请求包括:数据源实例、数据表实体模型和操作指令;所述集成系统根据数据源统一管理中心分发系统的配置信息,将所述处理请求分发给目标数据库;所述目标数据库执行分发来的指令,返回处理结果给所述集成系统;所述集成系统将所述处理结果转换为应用项目可识别的对象,并将转换结果返回给所述应用项目。通过本发明,减少了数据碎片,减轻了开发人员的数据处理压力,降低了数据库查询执行编码成本,同时将数据库安全信息与应用项目分离,加固了数据库安全性,减低被破译风险。
Description
技术领域
本发明涉及数据集成和数据处理技术领域,特别涉及基于Http协议的多数据源的数据处理方法及系统。
背景技术
随着信息化技术的推进及新的实例单元的不断发布、融入和集成,企业级应用系统中多个数据库存储介质并存的现象已越来越普遍。而拥有了多数据源的数据库,也使企业数据碎片化日趋恶化,导致了企业内信息孤岛现象越来越严重。此外,对多数据源的数据处理操作,传统项目开发连接数据库的方式都是通过在项目配置数据源信息,由相应的数据源提供返回的数据库实例,然后项目直接对数据库进行读写操作。使用此类方式会将目标数据源的账号密码等安全信息暴露在项目的配置文件中,容易被破译入侵数据库。
发明内容
本发明的目的在于提供一种基于Http协议的多数据源的数据处理方法及系统,以解决上述技术问题的至少一个。
根据本发明的一个方面,提供了一种基于Http协议的多数据源的数据处理方法,包括:应用项目通过Http协议提交数据处理请求到多数据源的集成系统,处理请求的信息包括:数据源实例、数据表实体模型和操作指令;集成系统根据数据源统一管理中心分发系统的配置信息,将处理请求分发给目标数据库;目标数据库执行分发来的指令,返回处理结果给集成系统;集成系统将处理结果转换为应用项目可识别的对象,并将转换结果返回给应用项目。
通过本发明的方法,开发人员只需要根据应用项目的需求提出数据处理请求即可得到应用项目可识别的返回对象,具体数据源事务全部由集成系统处理,减轻了开发人员的数据处理压力,简化了数据库处理执行编码成本。
在一些实施方式中,应用项目通过spring提供的远程代理工厂调用Http彼端的远程数据源将请求信息提交给集成系统,集成系统通过spring事务管理拦截应用项目的处理请求信息。由此,可以实现数据源的远程调用,将数据库和应用项目分离,加固数据库的安全性。
在一些实施方式中,数据源统一管理中心通过独立的存储介质存储已经注册的数据源信息,当集成系统接收到应用项目的数据处理请求时,将其中包含的数据源实例提交给数据源统一管理中心,以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库;集成系统根据数据源统一管理中心各数据源的独立线程池管理操作线程进行判断,以将所述数据处理请求分发给所述目标数据库的操作指令结构化引擎,生成SQL语句。由此,可以实现对多种数据源的统一管理,无需在应用项目中对不同的数据源信息单独进行配置,减少了数据碎片,减低数据库的被破译风险。
在一些实施方式中,应用项目向集成系统提交的请求信息还可以增加条件实体选项,对数据表的数据作进一步筛选。由此,还可以具有方便应用层灵活控制数据处理的筛选条件以实现程序的更好扩展的效果。
在一些实施方式中,集成系统还可以对处理结果进行排序、去重、比较操作。由此,可以对处理结果进行一层过滤,去掉重复的冗余数据,并将数据有序的返回给应用,进一步减轻研发人员的数据处理负担,降低编码成本。
另外,本发明还公开了一种基于Http协议的多数据源的数据处理系统。该系统包括:应用项目单元,设置为通过Http协议向集成系统提交数据处理请求,处理请求的信息包括:数据源实例、数据表实体模型和操作指令;集成系统,包括信息接收模块、数据源统一管理中心及数据转换模块,信息接收模块接收到应用项目单元的处理请求后,提交请求信息给数据源统一管理中心,数据源统一管理中心根据中心分发系统的配置信息将处理请求分发给数据库集群中的目标数据库,由目标数据库执行分发来的指令,返回处理结果;数据转换模块将处理结果转化为应用项目单元可识别的对象,并将转换结果返回给应用项目单元。
通过本发明的系统,开发人员只需要根据应用项目的需求提出数据处理请求即可得到应用项目可识别的返回对象,具体数据源事务全部由集成系统处理,减轻了开发人员的数据处理压力,简化了数据库处理执行编码成本。
在一些实施方式中,应用项目单元通过spring提供的远程代理工厂调用Http彼端的远程数据源将处理请求提交给集成系统,集成系统通过spring事务管理拦截应用项目单元的数据处理请求。由此,可以实现数据源的远程调用,将数据库和应用项目单元分离,加强数据库的安全性。
在一些实施方式中,数据源统一管理中心包括独立的存储介质及至少一个已经注册的数据源。其中,独立的存储介质用于存储已经注册的数据源信息,当信息接收模块接收到应用项目单元的处理请求时,将其中包含的数据源实例提交给数据源统一管理中心,以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库。指令分发系统根据各数据源的独立线程池管理操作线程进行判断,以将请求的信息分发给目标数据库的操作指令结构化引擎生成SQL语句。由此,可以实现对多种数据源的统一管理,无需在应用项目单元中对不同的数据源信息单独进行配置,减少了数据碎片,减低数据库的被破译风险。
在一些实施方式中,处理请求的信息还包括条件实体。由此,还可以具有方便应用层灵活控制数据处理的筛选条件以实现程序的更好扩展的效果。
在一些实施方式中,操作指令包括:对数据进行增加、删除、修改、排序、去重、比较。由此,可以对处理结果进行一层过滤,去掉重复的冗余数据,并将数据有序的返回给应用,进一步减轻研发人员的数据处理负担,降低编码成本。
通过本发明提供的方法和系统,减轻了开发人员的数据处理压力,降低了数据库查询执行编码成本,同时将数据库安全信息与应用项目分离,加固了数据库安全性,减低被破译风险。
附图说明
图1为本发明一实施方式的基于Http协议的多数据源的数据处理系统的示意图;
图2为本发明另一实施方式的基于Http协议的多数据源的数据处理方法的流程示意图。
具体实施方式
下面结合附图对本发明作进一步详细的说明。
图1示意性的显示了根据本发明一种实施方式的基于Http协议的多数据源的数据处理系统。如图1所示,该系统包括应用项目单元101和集成系统102。其中,集成系统102包括信息接收模块1021、数据源统一管理中心1022及数据转换模块1023。信息接收模块1021配置成接收应用项目单元101的处理请求消息,包括数据源实例、数据表实体模型和操作指令;数据源统一管理中心1022配置成根据中心分发系统10221的配置信息将处理请求分发给数据库集群中的目标数据库,由目标数据库执行分发来的指令,返回处理结果;数据转换模块1023配置成将处理结果转化为应用项目单元101可识别的对象,并将转换结果返回给应用项目单元101。
应用项目单元101中包含数据处理模块1011。在需要数据库操作时,应用项目单元101首先在数据处理模块1011中对数据源实例、数据表实体模型、条件实体和操作指令信息进行设定,再利用spring提供的远程代理工厂org.springframework.remoting.httpinvoker.HttpInvokerProxyFactoryBean向集成系统102发起数据处理请求,进行数据库操作。
spring是由Rod Johnson创建的一个开源框架,它提供了一个轻量级的控制反转和面向切面的容器框架。spring框架是一个分层的框架,由7个已定义的模块组成。spring模块构建在核心容器之上,核心容器定义了创建、配置和管理Bean的方式。组成spring框架的每个模块都可以单独存在,或者与其他一个或多个模块联合实现。核心容器提供spring框架的基本功能,其主要组件是BeanFactory,它是工厂模式的实现。BeanFactory使用控制反转模式将应用程序的配置和依赖性规范与实际的应用程序代码分开。而远程代理工厂类HttpInvokerProxyFactoryBean就是spring代理工厂中提供的一个远程连接服务,通过该服务可以实现Bean实例的远程调用。Bean是实体对象类,通过定义一个个的Bean实体,可以将数据库操作抽象成对类的操作,从而实现面向对象的编程。例如,在本实施例通过在应用项目单元101的数据源实例配置文件中定义以下实例Bean:
通过此配置文件的信息,应用项目单元101就通过HTTP协议在自己的DBEnter和挂载在HTTP彼端的远程数据源之间建立了通信关系。则在数据处理模块1011中,应用项目单元101通过以下方式注入数据源实例:
Resource(name="DBEnter")
public AladdinDataCenter dbEnter;
假设在数据源实例对应的数据库中定义有表名为“ucenter_access”的数据表,在数据处理模块1011中,应用项目单元101通过以下方式定义数据表实体模型:
AladdinTable(name="ucenter_access")
public class Access{…}
Access ac=new Access();
之后,选择需要对数据库进行的操作指令,例如当需要入库时,数据源实例通过指令调用:dbEnter.insert(ac);向集成系统102提出数据插入请求。这时,根据配置文件中提供的调用地址serviceUrl和本地接口类serviceInterface的值,应用项目单元101就可以利用远程代理工厂HttpInvokerProxyFactoryBean调用挂载在HTTP彼端的远程数据源实体aladdinDataCenter。应用项目单元101的指令调用启动后,集成系统102的信息接收模块1021使用spring事务管理对请求信息进行拦截,接收到包括数据源实例dbEnter、数据表实体模型ac及操作指令insert的处理请求的信息,并把该信息提供给数据源统一管理中心1022进行下一步处理。这里可以进一步,根据应用项目单元101的数据需求对数据表中的数据设置进行筛选的条件实体,例如:
DataConditions condition=new DataConditions();
dbEnter.setConditions=condition;
数据源统一管理中心1022具有独立的存储介质10222以供存储已经注册的数据源信息。对于每个已经注册的数据源10223,其信息可包括:数据库名、数据库类型、数据库编码、数据库真实访问路径、数据库访问用户名、数据库访问密码、访问池信息、并发限制、等待线程数、释放时间等。当集成系统102启动时,将根据数据源统一管理中心存储介质10222中所注册的数据源信息注册成数据库服务。例如,有三个已注册的数据源10223,那么在系统启动完成后,将会产生以下三个对外数据库服务:
http://data.center.server/db1server
http://data.center.server/db2server
http://data.center.server/db3server
数据源统一管理中心1022获得数据源实例dbEnter信息后,首先根据提供的调用地址serviceUrl,判断数据源实例对应的数据源类型是否已经注册。例如serviceURL为http://data.center.server/db1server/aladdinDataCenter,表示数据源已经注册,则将根据提供的aladdinDataCenter实例以及已经存储的数据源信息的数据库名从业务集群数据库中找到匹配的目标数据库。数据源统一管理中心1022的每个数据源10223都有独立的线程池事务管理操作线程。通过线程池事务管理操作线程的配置信息,设置每个数据源的线程事务管理的操作识别信息。由此,当找到目标数据库后,就可以根据数据源实例的操作指令识别管理操作线程实际要到达和执行的节点的目标数据库,从而实现在数据库集群状态下的负载均衡。
例如,对MySQL数据源的线程管理通过以下配置信息设置写入节点和读取节点的操作识别信息:
当处理请求到达时,数据源统一管理中心1022的指令分发系统10221根据配置信息中的写入节点setMasterDataSource和读取节点setSlaveDataSource下的操作识别信息对数据库集群中每个节点的性能进行判断,并根据处理请求中的操作指令是读取指令还是写入指令,把处理请求指令分发到相应节点的目标数据库,以实现读写分离,均衡集群中数据库的负载能力。目标数据库的操作指令结构化引擎会根据分发来的指令和数据表实体模型ac及条件实体condition信息生成SQL语句,并根据其解析进行相应的数据处理,得到处理结果集。
以JDBC为基础的查询,返回的数据库处理结果集都是一个ResultSet对象。数据转换模块1023运用spring提供的queryForObject方法对其进行XML格式的转换,返回一个xsql:request集合给应用项目单元101。例如,在目标数据库中查到一个返回结果有以下属性:lastname字段的值为dongwen、job字段的值为coder、firstname属性的值为chen,通过queryForObject方法,就可以将这个查询结果转换为以下格式返回给应用项目单元101:
<request>
<parameters>
<lastname>dongwen</lastname>
<job>coder</job>
<firstname>chen</firstname>
</parameters>
</request>
由此,应用项目单元101能够直接运用xstl和xml编写前端页面,而无需对传统的结果集进行循环和遍历解释渲染网页数据。
由此,应用项目单元101通过HTTP协议实现了对数据源10223的远程访问,实现了应用项目与数据库操作的分离,减少了编码成本和开发人员的数据处理压力。同时,通过数据源统一管理中心1022对数据源10223进行统一注册存储,实行统一管理,减少了数据碎片,增加了数据库的安全性,减低被破译风险。进一步,通过数据转换模块1023以及对操作指令的设置,实现了应用项目的灵活数据处理,使项目具有很好的可扩展性。
图2示意性地显示了根据本发明的一种实施方式的基于Http协议的多数据源的数据处理方法。如图2所示,该方法包括:
步骤S201:接收应用项目单元传递过来的请求信息。
应用项目单元中包含数据处理模块。在需要进行数据库操作时,将在数据处理模块中向集成系统发出数据处理请求。具体过程如下:
应用项目单元在其配置文件中定义有数据源实例Bean,该数据源实例Bean提供了应用项目单元访问集成系统的远程代理工厂org.springframework.remoting.httpinvoker.HttpInvokerProxyFactoryBean、使用的本地接口类以及集成系统数据源实体的调用地址。当应用项目单元需要进行数据库操作时,将根据配置文件中提供的调用地址和本地接口类,利用spring提供的远程代理工厂即可调用挂靠在HTTP彼端的远程数据源实体Bean。而集成系统使用spring事务管理拦截应用项目单元提供的数据处理请求信息:数据源实例、数据表实体模型、条件实体和操作指令。
其中,请求信息中的条件实体是可选项,如果应用项目单元不需要设定数据筛选的条件,可以不设定条件实体的值。这种情况下将不会根据条件对数据表的数据作进一步筛选,而是直接根据操作指令的内容对数据库进行相应操作得到处理结果。
步骤S202:数据源筛选。
集成系统的数据源统一管理中心拥有独立的存储介质以存储已经注册的数据源信息。对于每个已经注册的数据源,其信息可包括:数据库名、数据库类型、数据库编码、数据库真实访问路径、数据库访问用户名、数据库访问密码、访问池信息、并发限制、等待线程数、释放时间等信息。当集成系统启动时,将根据数据源统一管理中心存储介质中所注册的数据源信息注册成对外的数据库服务。
当集成系统接收到应用项目单元的处理请求时,将该请求提交给系统中的数据源统一管理中心。数据源统一管理中心根据提供的数据源实例的调用地址,判断数据源实例对应的数据源类型是否已经注册。如果是已经注册的数据源,则将根据提供的调用地址下的实例以及已经存储的数据源信息的数据库名从业务集群数据库中找到匹配的目标数据库。如果不是已经注册的数据源,则直接结束处理,返回异常信息。
步骤S203:目标数据库的操作指令结构化引擎生成SQL语句。
找到实例目标数据库之后,集成系统根据数据源统一管理中心各数据源的独立线程池管理操作线程的配置信息进行判断,将对应的操作指令分发给目标数据库,交由目标数据库的操作指令结构化引擎根据数据表实体模型、条件实体和操作指令信息,生成SQL语句。
步骤S204:查询目标数据库得到数据库处理结果集。
目标数据库执行生成的SQL语句得到数据库处理结果集,并将处理结果集返回给集成系统进行数据转换处理。其中,目标数据库在执行SQL语句时,会根据应用项目单元中注入的数据表实体模型描述的表名及表关联映射关系,找到目标数据库中对应的需要进行操作的数据表,然后根据条件实体的内容对数据表的数据作进一步筛选。最终根据操作指令的内容对数据表进行相应操作得到处理结果。例如根据操作指令对数据表进行增加、删除、修改、删除、排序、去重、比较的操作。
步骤S205:数据转换。
以JDBC为基础的查询,返回的结果集都是一个ResultSet对象,集成系统通过spring提供的queryForObject方法,将返回的数据库处理结果集转化为应用项目单元所需的数据对象,并将经过转化的可识别数据实体或数据实体集返回给应用项目单元。如,可以运用spring提供的queryForObject方法对结果集进行XML格式的转换,返回一个xsql:request集合给应用项目单元,使应用项目单元能够直接运用xstl和xml编写前端页面,而无需对传统的结果集进行循环和遍历解释渲染网页数据。
通过本发明的系统和方法,在应用项目单元中通过已知的数据源服务名注入数据库实例即可接入数据,无需在应用项目单元中进行繁琐配置,也不必知道数据源存放的物理位置,不必直接将数据源存放的物理位置暴露在配置文件中。由此,实现了将数据库安全信息与应用项目分离,加强了数据库安全性,减低被破译风险。同时该系统通过数据源统一管理中心将分布式业务数据库集群纳入统一管理和配置,减少了数据碎片,解决了信息孤岛日益严重的问题,减轻了业务开发人员的数据处理压力和简化数据库查询执行编码成本。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (10)
1.基于Http协议的多数据源的数据处理方法,包括:
A、应用项目基于Http协议向多数据源的集成系统提交数据处理请求,所述处理请求包括:数据源实例、数据表实体模型和操作指令;
B、所述集成系统根据数据源统一管理中心分发系统的配置信息,将所述处理请求分发给目标数据库;
C、所述目标数据库执行分发来的指令,返回处理结果给所述集成系统;
D、所述集成系统将所述处理结果转换为所述应用项目可识别的对象,并将转换结果返回给所述应用项目。
2.根据权利要求1所述的方法,其特征在于,所述步骤A包括:
所述应用项目通过spring提供的远程代理工厂调用Http彼端的远程数据源将请求信息提交给所述集成系统,所述集成系统通过spring事务管理拦截所述应用项目的处理请求信息。
3.根据权利要求1所述的方法,其特征在于,所述步骤B包括:
所述数据源统一管理中心通过独立的存储介质存储已经注册的数据源信息,当集成系统接收到应用项目的数据处理请求时,将其中包含的数据源实例提交给数据源统一管理中心,以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库;
集成系统根据数据源统一管理中心各数据源的独立线程池管理操作线程进行判断,以将所述数据处理请求分发给所述目标数据库的操作指令结构化引擎,生成SQL语句。
4.根据权利要求1所述的方法,其特征在于,所述请求信息还包括条件实体。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述操作指令包括:对数据进行增加、删除、修改、排序、去重、比较。
6.基于Http协议的多数据源的数据处理系统,包括:
应用项目单元,设置为通过Http协议向集成系统提交数据处理请求,所述处理请求的信息包括:数据源实例、数据表实体模型和操作指令;
集成系统,包括信息接收模块、数据源统一管理中心及数据转换模块,所述信息接收模块接收到应用项目单元的处理请求后,提交请求信息给数据源统一管理中心;数据源统一管理中心根据其中心分发系统的配置信息将所述处理请求分发给目标数据库,由所述目标数据库执行分发来的指令,返回处理结果;所述数据转换模块将所述处理结果转化为所述应用项目单元可识别的对象,并将转换结果返回给所述应用项目单元。
7.根据权利要求6所述的系统,其特征在于,所述应用项目单元通过spring提供的远程代理工厂调用Http彼端的远程数据源将所述处理请求提交给所述集成系统,所述集成系统通过spring事务管理拦截所述应用项目单元的所述数据处理请求。
8.根据权利要求6所述的系统,其特征在于,所述数据源统一管理中心包括独立的存储介质及至少一个已经注册的数据源,其中,
所述独立的存储介质用于存储已经注册的数据源信息,当所述信息接收模块接收到应用项目单元的所述处理请求时,将其中包含的数据源实例提交给数据源统一管理中心,以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库;
所述指令分发系统根据各数据源的独立线程池管理操作线程进行判断,以将所述请求的信息分发给所述目标数据库的操作指令结构化引擎生成SQL语句。
9.根据权利要求6所述的系统,其特征在于,所述请求的信息还包括条件实体。
10.根据权利要求6至9任一项所述的系统,其特征在于,所述操作指令包括:对数据进行增加、删除、修改、排序、去重、比较。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510058601.2A CN104598840A (zh) | 2015-02-04 | 2015-02-04 | 基于Http协议的多数据源的数据处理方法及系统 |
PCT/CN2015/084811 WO2016123921A1 (zh) | 2015-02-04 | 2015-07-22 | 基于Http协议的多数据源的数据处理方法及系统 |
US15/008,842 US20170026450A1 (en) | 2015-02-04 | 2016-01-28 | Method and system for data processing in multiple data sources based on http protocol |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510058601.2A CN104598840A (zh) | 2015-02-04 | 2015-02-04 | 基于Http协议的多数据源的数据处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104598840A true CN104598840A (zh) | 2015-05-06 |
Family
ID=53124617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510058601.2A Pending CN104598840A (zh) | 2015-02-04 | 2015-02-04 | 基于Http协议的多数据源的数据处理方法及系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170026450A1 (zh) |
CN (1) | CN104598840A (zh) |
WO (1) | WO2016123921A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105279279A (zh) * | 2015-11-16 | 2016-01-27 | 天津南大通用数据技术股份有限公司 | 从低速数据源加载压缩数据文件的方法及装置 |
WO2016123921A1 (zh) * | 2015-02-04 | 2016-08-11 | 新余兴邦信息产业有限公司 | 基于Http协议的多数据源的数据处理方法及系统 |
CN106446182A (zh) * | 2016-09-29 | 2017-02-22 | 贵州云众知乐教育科技有限公司 | 一种数据库引擎 |
CN106469168A (zh) * | 2015-08-19 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 数据集成系统中多类型数据处理的方法及装置 |
CN106557470A (zh) * | 2015-09-24 | 2017-04-05 | 腾讯科技(北京)有限公司 | 数据提取方法和装置 |
CN107391622A (zh) * | 2017-07-06 | 2017-11-24 | 联动优势科技有限公司 | 一种数据访问方法及设备 |
CN108491489A (zh) * | 2018-03-14 | 2018-09-04 | 北京思特奇信息技术股份有限公司 | 一种基于多数据源的数据处理方法及系统 |
CN109240653A (zh) * | 2018-07-06 | 2019-01-18 | 广州小鹏汽车科技有限公司 | 一种构建互联网运维资源关联体系的方法及系统 |
CN109739486A (zh) * | 2019-01-03 | 2019-05-10 | 深圳英飞拓科技股份有限公司 | 基于JdbcTemplate的多数据源数据库操作实现方法及装置 |
CN113190513A (zh) * | 2021-05-14 | 2021-07-30 | 广联达科技股份有限公司 | 一种数据集成系统及方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108471433B (zh) * | 2018-01-25 | 2021-07-13 | 中国平安人寿保险股份有限公司 | 一种配置化的同步消息验证接收方法、系统及存储介质 |
CN113688116B (zh) * | 2020-05-19 | 2024-08-23 | 长鑫存储技术有限公司 | 数据展示系统、方法、设备及计算机可读存储介质 |
US11983224B2 (en) | 2020-05-19 | 2024-05-14 | Changxin Memory Technologies, Inc. | Data presentation system, method and device, and computer-readable storage medium |
CN111813791B (zh) * | 2020-06-17 | 2024-05-21 | 上海万物新生环保科技集团有限公司 | 一种分布式补偿事务的方法及设备 |
CN117009325A (zh) * | 2023-08-30 | 2023-11-07 | 苏州智能交通信息科技股份有限公司 | 基于物联网平台的数据处理优化方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101815094A (zh) * | 2010-03-18 | 2010-08-25 | 中兴通讯股份有限公司 | 一种实现数据共享访问的方法、装置及系统 |
CN103186613A (zh) * | 2011-12-30 | 2013-07-03 | 大连天维科技有限公司 | 影视资源聚合系统 |
CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598840A (zh) * | 2015-02-04 | 2015-05-06 | 新余兴邦信息产业有限公司 | 基于Http协议的多数据源的数据处理方法及系统 |
-
2015
- 2015-02-04 CN CN201510058601.2A patent/CN104598840A/zh active Pending
- 2015-07-22 WO PCT/CN2015/084811 patent/WO2016123921A1/zh active Application Filing
-
2016
- 2016-01-28 US US15/008,842 patent/US20170026450A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101815094A (zh) * | 2010-03-18 | 2010-08-25 | 中兴通讯股份有限公司 | 一种实现数据共享访问的方法、装置及系统 |
CN103186613A (zh) * | 2011-12-30 | 2013-07-03 | 大连天维科技有限公司 | 影视资源聚合系统 |
CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016123921A1 (zh) * | 2015-02-04 | 2016-08-11 | 新余兴邦信息产业有限公司 | 基于Http协议的多数据源的数据处理方法及系统 |
CN106469168A (zh) * | 2015-08-19 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 数据集成系统中多类型数据处理的方法及装置 |
CN106557470A (zh) * | 2015-09-24 | 2017-04-05 | 腾讯科技(北京)有限公司 | 数据提取方法和装置 |
CN105279279A (zh) * | 2015-11-16 | 2016-01-27 | 天津南大通用数据技术股份有限公司 | 从低速数据源加载压缩数据文件的方法及装置 |
CN105279279B (zh) * | 2015-11-16 | 2019-01-25 | 天津南大通用数据技术股份有限公司 | 从低速数据源加载压缩数据文件的方法及装置 |
CN106446182A (zh) * | 2016-09-29 | 2017-02-22 | 贵州云众知乐教育科技有限公司 | 一种数据库引擎 |
CN107391622A (zh) * | 2017-07-06 | 2017-11-24 | 联动优势科技有限公司 | 一种数据访问方法及设备 |
CN107391622B (zh) * | 2017-07-06 | 2020-12-04 | 联动优势科技有限公司 | 一种数据访问方法及设备 |
CN108491489A (zh) * | 2018-03-14 | 2018-09-04 | 北京思特奇信息技术股份有限公司 | 一种基于多数据源的数据处理方法及系统 |
CN109240653A (zh) * | 2018-07-06 | 2019-01-18 | 广州小鹏汽车科技有限公司 | 一种构建互联网运维资源关联体系的方法及系统 |
CN109739486A (zh) * | 2019-01-03 | 2019-05-10 | 深圳英飞拓科技股份有限公司 | 基于JdbcTemplate的多数据源数据库操作实现方法及装置 |
CN113190513A (zh) * | 2021-05-14 | 2021-07-30 | 广联达科技股份有限公司 | 一种数据集成系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20170026450A1 (en) | 2017-01-26 |
WO2016123921A1 (zh) | 2016-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104598840A (zh) | 基于Http协议的多数据源的数据处理方法及系统 | |
US10831844B2 (en) | Accessing databases | |
CN109716320A (zh) | 用于分布式事件处理系统的图生成 | |
CN102682052B (zh) | 过滤数据存储上的查询数据 | |
US9747127B1 (en) | Worldwide distributed job and tasks computational model | |
US9508048B2 (en) | System and method for integrated real time reporting and analytics across networked applications | |
CN109997126A (zh) | 事件驱动提取、变换、加载(etl)处理 | |
US10970300B2 (en) | Supporting multi-tenancy in a federated data management system | |
US10949440B2 (en) | Metadata-driven data management platform | |
CN106599043A (zh) | 用于多级数据库的中间件和多级数据库系统 | |
EP2680151A1 (en) | Distributed data base system and data structure for distributed data base | |
CN102054025A (zh) | 交通信息资源整合处理方法及系统 | |
US20150066969A1 (en) | Combined deterministic and probabilistic matching for data management | |
CN102508872A (zh) | 一种基于内存的联机处理系统的数据处理方法及系统 | |
CN103455335A (zh) | 一种多级分类的Web实现方法 | |
US20110264703A1 (en) | Importing Tree Structure | |
Chitti et al. | Data management: Relational vs blockchain databases | |
US20140075028A1 (en) | Centralized Data Provisioning | |
EP3652660B1 (en) | Systems and methods for joining datasets | |
CN104331516A (zh) | 一种合同类型管理系统 | |
CN106326374A (zh) | 一种从HBase中增量抽取数据的方法及系统 | |
CN105447183A (zh) | Mpp架构数据库集群序列系统及序列管理方法 | |
CN105989117A (zh) | 一种半结构化数据快速联合处理的方法及系统 | |
CN107885834A (zh) | 一种Hadoop大数据组件统一验证系统 | |
US11928125B2 (en) | Cleaning and organizing schemaless semi-structured data for extract, transform, and load processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20180713 |