CN103593422A - 一种异构数据库的虚拟访问管理方法 - Google Patents
一种异构数据库的虚拟访问管理方法 Download PDFInfo
- Publication number
- CN103593422A CN103593422A CN201310535363.0A CN201310535363A CN103593422A CN 103593422 A CN103593422 A CN 103593422A CN 201310535363 A CN201310535363 A CN 201310535363A CN 103593422 A CN103593422 A CN 103593422A
- Authority
- CN
- China
- Prior art keywords
- data
- access
- resource
- virtual
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及云数据库技术领域,尤其是一种异构数据库的虚拟访问管理方法。本发明提出一种客户机-前置端-服务端的数据控制处理架构和面向流程及基于成分的功能组件,引入基于用户、角色、权限的异构数据库系统的成分组件访问控制管理,完成平台、资源、通道等流程实现异构数据源注册、虚拟数据库对象注册、虚拟资源访问,完成异构数据库的共享访问管理,屏蔽数据库访问细节及异构系统多源性,并提供统一的数据标准和访问接口,支持对数据源的透明访问,实现多个独立的业务系统之间数据资源的共享和统一管理。本发明解决了服务器端、操作系统、数据库管理系统、数据结构等异构性因素引起的数据共享访问问题;可以用于异构数据库的虚拟访问管理上。
Description
技术领域
本发明涉及云数据库技术领域,尤其是一种异构数据库的虚拟访问管理方法。
背景技术
企业及政府信息化脚步不断前进,信息化水平不断提升;但同时也引起了各业务系统间无法回避的信息孤岛与烟囱效应等瓶颈。异构数据库之间的连接问题,大幅降低了客户信息化系统整体效率及办事能力。
发明内容
本发明解决的技术问题在于提供一种异构数据库的虚拟访问管理方法,有效实现了对异构数据源的透明访问管理。
本发明解决上述技术问题的技术方案是:
所述的方法采用客户机-前置端-服务端的数据控制处理架构,具体步骤如下:
第一步,客户机开放数据访问权限;
第二步,前置机应用程序将客户机生产库同步到前置机数据服务器中,客户机新产生的数据将以增量方式完成同步;
第三步,服务端进行数据预处理,配置数据清洗规则完成前置机数据抽取;
第四步,对数据进行分布式存储、并行计算、分布式文件传输优化和Map/Reduce计算优化;
第五步,服务端对异构数据库系统的成分组件访问进行控制管理,通过三大成分组件控制异构数据资源访问权限;
第六步,服务端完成平台、资源、通道等异构数据库流程管理及访问;实现异构数据源虚拟数据库注册管理,虚拟数据库表对象访问控制管理;
第七步,服务端基于虚拟数据库注册管理,绑定异构数据源物理连接信息,实现异构数据源的统一共享访问;。
所述的服务端数据预处理包括数据抽取、数据清洗、数据转换、数据加载等;具体流程如下:
第一步,抽取待处理数据到缓冲池,包括增量抽取和全量抽取两种抽取方式;增量抽取完成部分新增数据或新增字段数据抽取;全量抽取完成当前中转数据池中数据整体抽取,原数据以历史数据形式保留;
第二步,用户定义增量抽取方式抽取数据,抽取模式:1)、时间戳方式,要求源表中存在一个或多个字段(时间戳),其值随着新纪录的增加而不断增加,执行数据抽取时,通过时间戳进行数据过滤,抽取结束后,程序记录时间戳信息;2)、触发器方式,要求用户在源数据库中有创建触发器和临时表的权限,触发器捕获新增的数据到临时表中,执行抽取时,程序自动从临时表中读取数据;3),全表对比方式,每次从源表中读取所有记录,然后逐条与目标表进行对比,有则插入,没有则放弃;
第三步,用户定义全量抽取方式抽取数据,每次从源表中抽取全部数据更新到目标表中,更新前将目标表数据清空。目标表中数据以本次更新为主;
第四步,读取数据清洗规则参数配置,进行数据清洗;清洗规则包括数据合法性检验、数据补缺、数据规范化;针对元数据及数据抽取后沉淀的数据进行数据清洗,清洗脏数据、重复数据,提高数据质量,减少后续应用的复杂度,满足业务支撑系统对数据的特定要求,提高决策分析的效率;
第五步,数据转换负责将不同数据源的格式转换统一的数据格式,在转换过程中,根据转换规则的定义可以完成数据从原始格式,到既定统一格式的转换;
第六步,定义空值数据转换,可捕获字段空值,进行加载或替换为其他含义数据,并可根据字段空值实现分流加载到不同目标库;
第七步,规范化数据格式转换,可实现字段格式约束定义,对于数据源中时间、数值、字符等数据,可自定义加载格式;
第八步,拆分数据,将复杂数据字段拆分;
第九步,加载经清洗、转换的数据到目标数据库中,可实现SQL或批量加载,将数据按照物理数据模型定义的表结构装入;加载方式支持自动及时间调度方式;加载策略有时间戳方式、日志方式、全表比对方式、全表删除插入方式。
服务端数据共享支撑访问包括数据平台、数据资源、数据通道、数据注册、数据共享访问等;具体如下:
第一步,用户创建数据平台,平台是异构数据库核心管理单位,平台支持创建、查询、修改、删除操作;
第二步,数据资源是异构数据库系统的管理单位之一,一种虚拟映射关系,映射类型可分成:数据库、文件系统、存储过程、uRL等;数据资源按照映射的属性又分成虚拟资源和物理资源;区分原则为,物理资源的映射范围包括关系数据库的物理对象如表、视图等;虚拟资源的映射范围除物理对象外还包括基于多个物理对象抽象子集的映射;
第三步,数据通道是资源实体对象的访问途径,将数据库系统或文件系统中的数据按照资源的映射要求加载到异构数据库系统中,提供统一访问功能;
第四步,数据注册,根据系统提供的可选资源类型注册访问资源类型;物理资源定义为数据库表对象,虚拟资源定义为单个或多个表对象的集合或子集,虚拟资源支持二级映射;
第五步,数据映射交换,根据物理模型、概念模型绑定数据结构,自定义数据结构类型、字段、别名;
第六步,数据访问抽取,加载数据到异构数据库系统中;
第七步,异构数据库系统虚拟数据库服务器资源节点的动态伸缩管理、数据安全性加密、数据副本备份、并行数据模型计算、数据模型分析、数据库管理实例分析;完成数据分析、挖掘、数据计算及分布式集群计算能力的数据库管理系统。
本发明有效解决了由于各信息化系统业务功能重叠或业务功能孤立的问题;提供了一种异构数据源统一访问、管理、存储、维护的方法;提出了一种客户机-前置端-服务端的数据控制处理架构和面向流程及基于成分的功能组件,引入基于用户、角色、权限的异构数据库系统的成分组件访问控制管理,基于平台、资源、通道等流程实现异构数据源注册、虚拟数据库对象注册、虚拟资源访问,完成异构数据库的共享访问管理,屏蔽数据库访问细节及异构系统多源性。
附图说明
下面结合附图对本发明进一步说明:
图1是本发明的活动流程图;
图2是本发明系统功能图;
图3是本发明数据预处理活动流程图;
图4是本发明服务端数据共享支撑访问交互图。
具体实施方式
如图1所示,实施本发明客户机-前置端-服务端的数据控制处理架构和面向流程及基于成分的功能组件的详细流程为:
第一步,客户机授权访问;
第二步,前置机应用程序将客户机生产库同步到前置机数据服务器中,客户机新产生的数据将以增量方式完成同步;
第三步,服务端基于数据抽取、清洗、转换、加载、实时同步、异构数据源共享访问、数据审核、安全性验证控制、资源映射驱动的数据预处理流程,配置数据清洗规则完成前置机数据抽取;
第四步,数据分布式存储、并行计算、分布式文件传输优化和Map/Reduce计算优化;
第五步,服务端基于用户、角色、权限的异构数据库系统的成分组件访问控制管理,通过三大成分组件控制异构数据资源访问权限;
第六步,服务端完成平台、资源、通道等异构数据库流程管理及访问;实现异构数据源虚拟数据库注册管理,虚拟数据库表对象访问控制管理;
第七步,服务端基于虚拟数据库注册管理,绑定异构数据源物理连接信息,实现异构数据源的统一共享访问;
如图2所示,本发明的系统功能组成为:
异构数据源客户机授权数据访问权限,将生产数据定期同步到前置端中间数据服务集群仓库;异构数据库系统使用数据预处理流程将前置机数据持久化存储到数据集群服务器节点,并进行非业务关联的数据清洗规则配置及数据清洗、数据审核、安全性验证控制等操作,形成稳定、高效的数据资源,数据抽取机制采用基于时间及事件的智能调度算法,同步方式支持增量及全量比对抽取;数据管理层创建数据库实例、权限、运行状态及故障分析报告;数据访问层完成业务相关的数据访问管理功能并提供透明的统一数据访问接口供不同数据库加载使用。
如图3所示,服务端数据预处理流程包括:
第一步,抽取待处理数据到缓冲池。系统提供两种抽取方式:增量抽取和全量抽取,增量抽取完成部分新增数据或新增字段数据抽取。全量抽取完成当前中转数据池中数据整体抽取,原数据以历史数据形式保留;
第二步,用户定义增量抽取方式抽取数据,增量是以一个时间段为计量单位,记录该段时间内较以前增加的数据记录。增量抽取是将该段时间内增长的记录查找出来。增量抽取一般有三种抽取模式:1)时间戳方式2)触发器方式3)全表对比方式;
第三步,用户定义全量抽取方式抽取数据,每次从源表中抽取全部数据更新到目标表中,更新前将目标表数据清空。目标表中数据以本次更新为主;
第四步,读取数据清洗规则参数配置,进行数据清洗;清洗规则暂时支持三种:数据合法性检验、数据补缺、数据规范化;针对元数据及数据抽取后沉淀的数据进行数据清洗,清洗脏数据、重复数据,提高数据质量,减少后续应用的复杂度,满足业务支撑系统对数据的特定要求,提高决策分析的效率;
第五步,数据转换是数据预处理过程中重要的一环,它负责将不同数据源的格式转换统一的数据格式,在转换过程中,根据转换规则的定义可以完成数据从原始格式,到既定统一格式的转换;
第六步,定义空值数据转换,可捕获字段空值,进行加载或替换为其他含义数据,并可根据字段空值实现分流加载到不同目标库;
第七步,规范化数据格式转换,可实现字段格式约束定义,对于数据源中时间、数值、字符等数据,可自定义加载格式;
第八步,拆分数据,将复杂数据字段拆分;
第九步,加载经清洗、转换的数据到目标数据库中,可实现SQL或批量加载,将数据按照物理数据模型定义的表结构装入;加载方式支持自动及时间调度方式。4种加载策略:时间戳方式、日志方式、全表比对方式、全表删除插入方式。
如图4所示,服务端统一数据共享支撑访问流程如下:
第一步,用户创建数据平台,平台是异构数据库核心管理单位,平台支持创建、查询、修改、删除操作;
第二步,资源是异构数据库系统的管理单位之一。资源是一种虚拟映射关系,映射类型可分成:数据库、文件系统、存储过程、URL等。资源按照映射的属性又分成虚拟资源和物理资源。区分原则为,物理资源的映射范围包括关系数据库的物理对象如表、视图等;虚拟资源的映射范围除物理对象外还包括基于多个物理对象抽象子集的映射;
第三步,通道是资源实体对象的访问途径,将数据库系统或文件系统中的数据按照资源的映射要求加载到异构数据库系统中,提供统一访问功能;
第四步,数据资源注册,根据系统提供的可选资源类型:虚拟资源和物理资源。注册访问资源类型,物理资源定义为数据库表对象,虚拟资源定义为单个或多个表对象的集合或子集,虚拟资源支持二级映射;
第五步,数据映射交换,根据物理模型、概念模型绑定数据结构,自定义数据结构类型、字段、别名;
第六步,数据访问抽取,加载数据到异构数据库系统中;
第七步,异构数据库系统虚拟数据库服务器资源节点的动态伸缩管理、数据安全性加密、数据副本备份、并行数据模型计算、数据模型分析、数据库管理实例分析;完成数据分析、挖掘、数据计算及分布式集群计算能力的数据库管理系统。
Claims (3)
1.一种异构数据库的虚拟访问管理方法,其特征在于:所述的方法采用客户机-前置端-服务端的数据控制处理架构,具体步骤如下:
第一步,客户机开放数据访问权限;
第二步,前置机应用程序将客户机生产库同步到前置机数据服务器中,客户机新产生的数据将以增量方式完成同步;
第三步,服务端进行数据预处理,配置数据清洗规则完成前置机数据抽取;
第四步,对数据进行分布式存储、并行计算、分布式文件传输优化和Map/Reduce计算优化;
第五步,服务端对异构数据库系统的成分组件访问进行控制管理,通过三大成分组件控制异构数据资源访问权限;
第六步,服务端完成平台、资源、通道等异构数据库流程管理及访问;实现异构数据源虚拟数据库注册管理,虚拟数据库表对象访问控制管理;
第七步,服务端基于虚拟数据库注册管理,绑定异构数据源物理连接信息,实现异构数据源的统一共享访问。
2.根据权利要求工所述的虚拟访问管理方法,其特征在于:所述的服务端数据预处理包括数据抽取、数据清洗、数据转换、数据加载等;具体流程如下:
第一步,抽取待处理数据到缓冲池,包括增量抽取和全量抽取两种抽取方式;增量抽取完成部分新增数据或新增字段数据抽取;全量抽取完成当前中转数据池中数据整体抽取,原数据以历史数据形式保留;
第二步,用户定义增量抽取方式抽取数据,抽取模式:1)、时间戳方式, 要求源表中存在一个或多个字段(时间戳),其值随着新纪录的增加而不断增加,执行数据抽取时,通过时间戳进行数据过滤,抽取结束后,程序记录时间戳信息;2)、触发器方式,要求用户在源数据库中有创建触发器和临时表的权限,触发器捕获新增的数据到临时表中,执行抽取时,程序自动从临时表中读取数据;3),全表对比方式,每次从源表中读取所有记录,然后逐条与目标表进行对比,有则插入,没有则放弃;
第三步,用户定义全量抽取方式抽取数据,每次从源表中抽取全部数据更新到目标表中,更新前将目标表数据清空。目标表中数据以本次更新为主;
第四步,读取数据清洗规则参数配置,进行数据清洗;清洗规则包括数据合法性检验、数据补缺、数据规范化;针对元数据及数据抽取后沉淀的数据进行数据清洗,清洗脏数据、重复数据,提高数据质量,减少后续应用的复杂度,满足业务支撑系统对数据的特定要求,提高决策分析的效率;
第五步,数据转换负责将不同数据源的格式转换统一的数据格式,在转换过程中,根据转换规则的定义可以完成数据从原始格式,到既定统一格式的转换;
第六步,定义空值数据转换,可捕获字段空值,进行加载或替换为其他含义数据,并可根据字段空值实现分流加载到不同目标库;
第七步,规范化数据格式转换,可实现字段格式约束定义,对于数据源中时间、数值、字符等数据,可自定义加载格式;
第八步,拆分数据,将复杂数据字段拆分;
第九步,加载经清洗、转换的数据到目标数据库中,可实现SQL或批量加载,将数据按照物理数据模型定义的表结构装入;加载方式支持自动及时间调 度方式;加载策略有时间戳方式、日志方式、全表比对方式、全表删除插入方式。
3.根据权利要求1或2所述的虚拟访问管理方法,其特征在于:服务端数据共享支撑访问包括数据平台、数据资源、数据通道、数据注册、数据共享访问等;具体如下:
第一步,用户创建数据平台,平台是异构数据库核心管理单位,平台支持创建、查询、修改、删除操作;
第二步,数据资源是异构数据库系统的管理单位之一,一种虚拟映射关系,映射类型可分成:数据库、文件系统、存储过程、URL等;数据资源按照映射的属性又分成虚拟资源和物理资源;区分原则为,物理资源的映射范围包括关系数据库的物理对象如表、视图等;虚拟资源的映射范围除物理对象外还包括基于多个物理对象抽象子集的映射;
第三步,数据通道是资源实体对象的访问途径,将数据库系统或文件系统中的数据按照资源的映射要求加载到异构数据库系统中,提供统一访问功能;
第四步,数据注册,根据系统提供的可选资源类型注册访问资源类型;物理资源定义为数据库表对象,虚拟资源定义为单个或多个表对象的集合或子集,虚拟资源支持二级映射;
第五步,数据映射交换,根据物理模型、概念模型绑定数据结构,自定义数据结构类型、字段、别名;
第六步,数据访问抽取,加载数据到异构数据库系统中;
第七步,异构数据库系统虚拟数据库服务器资源节点的动态伸缩管理、数据安全性加密、数据副本备份、并行数据模型计算、数据模型分析、数据库管 埋实例分析;完成数据分析、挖掘、数据计算及分布式集群计算能力的数据库管理系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310535363.0A CN103593422B (zh) | 2013-11-01 | 2013-11-01 | 一种异构数据库的虚拟访问管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310535363.0A CN103593422B (zh) | 2013-11-01 | 2013-11-01 | 一种异构数据库的虚拟访问管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103593422A true CN103593422A (zh) | 2014-02-19 |
CN103593422B CN103593422B (zh) | 2017-02-15 |
Family
ID=50083563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310535363.0A Active CN103593422B (zh) | 2013-11-01 | 2013-11-01 | 一种异构数据库的虚拟访问管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103593422B (zh) |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104102737A (zh) * | 2014-07-28 | 2014-10-15 | 中国农业银行股份有限公司 | 一种历史数据存储方法和系统 |
CN104199979A (zh) * | 2014-09-24 | 2014-12-10 | 国云科技股份有限公司 | 一种模型化的数据源管理系统及其方法 |
CN104391954A (zh) * | 2014-11-27 | 2015-03-04 | 北京国双科技有限公司 | 数据库日志的处理方法及装置 |
CN104462559A (zh) * | 2014-12-25 | 2015-03-25 | 广东电子工业研究院有限公司 | 一种主流关系型数据库表模式对象化和虚拟化机制 |
CN104484472A (zh) * | 2014-12-31 | 2015-04-01 | 天津南大通用数据技术股份有限公司 | 一种混合多种异构数据源的数据库集群及实现方法 |
CN104484187A (zh) * | 2014-12-31 | 2015-04-01 | 山东中创软件商用中间件股份有限公司 | 一种信息集成方法和系统 |
CN104506496A (zh) * | 2014-12-10 | 2015-04-08 | 山大地纬软件股份有限公司 | 基于Oracle Streams技术的准实时数据增量分发中间件及方法 |
CN104881462A (zh) * | 2015-05-22 | 2015-09-02 | 广州时韵信息科技有限公司 | 元数据管理系统 |
CN105049409A (zh) * | 2015-05-28 | 2015-11-11 | 合肥城市云数据中心有限公司 | 分布式云环境下的安全访问控制架构及其访问方法 |
CN105049408A (zh) * | 2015-05-28 | 2015-11-11 | 合肥城市云数据中心有限公司 | 一种用于分布式云环境之间互访的安全访问控制架构及其访问方法 |
CN105260402A (zh) * | 2015-09-18 | 2016-01-20 | 久盈世纪(北京)科技有限公司 | 用于数据管理的方法与设备 |
CN105389402A (zh) * | 2015-12-29 | 2016-03-09 | 曙光信息产业(北京)有限公司 | 一种面向大数据的etl方法和装置 |
CN105468736A (zh) * | 2015-11-23 | 2016-04-06 | 国云科技股份有限公司 | 一种基于插件和组件的数据预处理系统及其实现方法 |
CN105786946A (zh) * | 2015-12-24 | 2016-07-20 | 国云科技股份有限公司 | 一种虚拟化的数据集成和查询系统及其实现方法 |
CN106101208A (zh) * | 2016-06-10 | 2016-11-09 | 北京银信长远科技股份有限公司 | 构建基于以太网的跨平台高可用系统的方法 |
CN106126753A (zh) * | 2016-08-23 | 2016-11-16 | 易联众信息技术股份有限公司 | 基于大数据的增量抽取的方法 |
CN106709016A (zh) * | 2016-12-27 | 2017-05-24 | 山东麦港数据系统有限公司 | 一种基于服务总线的数据交换方法 |
CN106775938A (zh) * | 2016-12-04 | 2017-05-31 | 国云科技股份有限公司 | 一种虚拟化数据发布系统及其实现方法 |
CN106951442A (zh) * | 2017-02-15 | 2017-07-14 | 中国保险信息技术管理有限责任公司 | 一种异构数据库间的数据交互方法及装置 |
CN107045480A (zh) * | 2016-02-05 | 2017-08-15 | 北京京东尚科信息技术有限公司 | 基于Spring表达式语言来读取和写入缓存存储器的方法和装置 |
CN107633054A (zh) * | 2017-09-19 | 2018-01-26 | 深圳市优户科技有限公司 | 一种同步线上商城系统与第三方业务系统的数据同步系统及方法 |
CN108241676A (zh) * | 2016-12-26 | 2018-07-03 | 阿里巴巴集团控股有限公司 | 实现数据同步的方法及设备 |
CN104899295B (zh) * | 2015-06-09 | 2018-08-03 | 苏州国云数据科技有限公司 | 一种异构数据源数据关联分析方法 |
CN108734023A (zh) * | 2018-04-28 | 2018-11-02 | 西安电子科技大学 | 一种密文数据库系统的访问与集成系统及方法 |
CN108804347A (zh) * | 2017-05-05 | 2018-11-13 | 华中科技大学 | 一种用于工业大数据汇聚的缓存层、汇聚系统及方法 |
CN110222169A (zh) * | 2019-06-20 | 2019-09-10 | 中国人民解放军陆军特种作战学院 | 一种可视化数据处理解析系统及其处理方法 |
CN110602049A (zh) * | 2019-08-14 | 2019-12-20 | 中国平安人寿保险股份有限公司 | 数据传输方法、服务器及存储介质 |
CN110851458A (zh) * | 2019-11-15 | 2020-02-28 | 江苏国泰新点软件有限公司 | 资源的获取方法、装置、系统和存储介质 |
CN111625510A (zh) * | 2020-05-25 | 2020-09-04 | 广东电网有限责任公司 | 一种基于云映射的多源数据共享系统及方法 |
CN107491515B (zh) * | 2017-08-11 | 2020-10-16 | 国电南瑞科技股份有限公司 | 基于大数据平台的智能配用电数据转换方法 |
CN112116467A (zh) * | 2020-06-16 | 2020-12-22 | 上海金融期货信息技术有限公司 | 一种异构柜台并行运行方法和系统 |
CN112328704A (zh) * | 2020-11-03 | 2021-02-05 | 成都中科大旗软件股份有限公司 | 实现多种数据源联合查询的方法、系统、计算机设备和存储介质 |
CN112579613A (zh) * | 2020-12-31 | 2021-03-30 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 数据库集群差异比对与数据同步的方法、系统及介质 |
CN113468258A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种异构数据的转换方法、装置及存储介质 |
CN113495890A (zh) * | 2021-07-08 | 2021-10-12 | 上海二三四五网络科技有限公司 | 一种批量异构数据源自动比对系统、方法及设备 |
CN113626513A (zh) * | 2021-09-01 | 2021-11-09 | 浙江力石科技股份有限公司 | 文旅资源采集方法和系统 |
CN114610958A (zh) * | 2022-05-10 | 2022-06-10 | 上海飞旗网络技术股份有限公司 | 一种传输资源的处理方法、装置及电子设备 |
CN114647716A (zh) * | 2022-05-13 | 2022-06-21 | 天津南大通用数据技术股份有限公司 | 一种泛化数据仓库 |
CN114942942A (zh) * | 2022-05-18 | 2022-08-26 | 马上消费金融股份有限公司 | 特征数据的查询及其用户注册查询方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
US20120047107A1 (en) * | 2010-08-19 | 2012-02-23 | Infosys Technologies Limited | System and method for implementing on demand cloud database |
CN102508908A (zh) * | 2011-11-11 | 2012-06-20 | 北京用友政务软件有限公司 | 一种下级财政业务数据的采集方法和系统 |
CN102917038A (zh) * | 2012-10-10 | 2013-02-06 | 江苏物联网研究发展中心 | 基于云计算的医疗物联网远程服务系统 |
CN103269381A (zh) * | 2013-06-08 | 2013-08-28 | 南京因泰莱电器股份有限公司 | 基于云计算的web-scada能源管理和监控系统 |
-
2013
- 2013-11-01 CN CN201310535363.0A patent/CN103593422B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120047107A1 (en) * | 2010-08-19 | 2012-02-23 | Infosys Technologies Limited | System and method for implementing on demand cloud database |
CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
CN102508908A (zh) * | 2011-11-11 | 2012-06-20 | 北京用友政务软件有限公司 | 一种下级财政业务数据的采集方法和系统 |
CN102917038A (zh) * | 2012-10-10 | 2013-02-06 | 江苏物联网研究发展中心 | 基于云计算的医疗物联网远程服务系统 |
CN103269381A (zh) * | 2013-06-08 | 2013-08-28 | 南京因泰莱电器股份有限公司 | 基于云计算的web-scada能源管理和监控系统 |
Cited By (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104102737B (zh) * | 2014-07-28 | 2018-01-30 | 中国农业银行股份有限公司 | 一种历史数据存储方法和系统 |
CN104102737A (zh) * | 2014-07-28 | 2014-10-15 | 中国农业银行股份有限公司 | 一种历史数据存储方法和系统 |
CN104199979A (zh) * | 2014-09-24 | 2014-12-10 | 国云科技股份有限公司 | 一种模型化的数据源管理系统及其方法 |
CN104391954B (zh) * | 2014-11-27 | 2019-04-09 | 北京国双科技有限公司 | 数据库日志的处理方法及装置 |
CN104391954A (zh) * | 2014-11-27 | 2015-03-04 | 北京国双科技有限公司 | 数据库日志的处理方法及装置 |
CN104506496B (zh) * | 2014-12-10 | 2017-09-29 | 山大地纬软件股份有限公司 | 基于Oracle Streams技术的准实时数据增量分发的方法 |
CN104506496A (zh) * | 2014-12-10 | 2015-04-08 | 山大地纬软件股份有限公司 | 基于Oracle Streams技术的准实时数据增量分发中间件及方法 |
CN104462559A (zh) * | 2014-12-25 | 2015-03-25 | 广东电子工业研究院有限公司 | 一种主流关系型数据库表模式对象化和虚拟化机制 |
CN104462559B (zh) * | 2014-12-25 | 2018-08-07 | 广东电子工业研究院有限公司 | 一种主流关系型数据库表模式对象化和虚拟化方法 |
WO2016101301A1 (zh) * | 2014-12-25 | 2016-06-30 | 广东电子工业研究院有限公司 | 关系型数据库表模式对象化和虚拟化机制 |
CN104484472A (zh) * | 2014-12-31 | 2015-04-01 | 天津南大通用数据技术股份有限公司 | 一种混合多种异构数据源的数据库集群及实现方法 |
CN104484187A (zh) * | 2014-12-31 | 2015-04-01 | 山东中创软件商用中间件股份有限公司 | 一种信息集成方法和系统 |
CN104881462B (zh) * | 2015-05-22 | 2018-11-13 | 广东中标数据科技股份有限公司 | 元数据管理系统 |
CN104881462A (zh) * | 2015-05-22 | 2015-09-02 | 广州时韵信息科技有限公司 | 元数据管理系统 |
CN105049408A (zh) * | 2015-05-28 | 2015-11-11 | 合肥城市云数据中心有限公司 | 一种用于分布式云环境之间互访的安全访问控制架构及其访问方法 |
CN105049409A (zh) * | 2015-05-28 | 2015-11-11 | 合肥城市云数据中心有限公司 | 分布式云环境下的安全访问控制架构及其访问方法 |
CN104899295B (zh) * | 2015-06-09 | 2018-08-03 | 苏州国云数据科技有限公司 | 一种异构数据源数据关联分析方法 |
CN105260402A (zh) * | 2015-09-18 | 2016-01-20 | 久盈世纪(北京)科技有限公司 | 用于数据管理的方法与设备 |
CN105468736A (zh) * | 2015-11-23 | 2016-04-06 | 国云科技股份有限公司 | 一种基于插件和组件的数据预处理系统及其实现方法 |
CN105786946A (zh) * | 2015-12-24 | 2016-07-20 | 国云科技股份有限公司 | 一种虚拟化的数据集成和查询系统及其实现方法 |
CN105389402B (zh) * | 2015-12-29 | 2019-04-12 | 曙光信息产业(北京)有限公司 | 一种面向大数据的etl方法和装置 |
CN105389402A (zh) * | 2015-12-29 | 2016-03-09 | 曙光信息产业(北京)有限公司 | 一种面向大数据的etl方法和装置 |
CN107045480A (zh) * | 2016-02-05 | 2017-08-15 | 北京京东尚科信息技术有限公司 | 基于Spring表达式语言来读取和写入缓存存储器的方法和装置 |
CN106101208A (zh) * | 2016-06-10 | 2016-11-09 | 北京银信长远科技股份有限公司 | 构建基于以太网的跨平台高可用系统的方法 |
CN106126753B (zh) * | 2016-08-23 | 2019-03-05 | 易联众信息技术股份有限公司 | 基于大数据的增量抽取的方法 |
CN106126753A (zh) * | 2016-08-23 | 2016-11-16 | 易联众信息技术股份有限公司 | 基于大数据的增量抽取的方法 |
CN106775938A (zh) * | 2016-12-04 | 2017-05-31 | 国云科技股份有限公司 | 一种虚拟化数据发布系统及其实现方法 |
CN108241676B (zh) * | 2016-12-26 | 2022-09-02 | 阿里云计算有限公司 | 实现数据同步的方法及设备 |
CN108241676A (zh) * | 2016-12-26 | 2018-07-03 | 阿里巴巴集团控股有限公司 | 实现数据同步的方法及设备 |
CN106709016A (zh) * | 2016-12-27 | 2017-05-24 | 山东麦港数据系统有限公司 | 一种基于服务总线的数据交换方法 |
CN106951442A (zh) * | 2017-02-15 | 2017-07-14 | 中国保险信息技术管理有限责任公司 | 一种异构数据库间的数据交互方法及装置 |
CN108804347A (zh) * | 2017-05-05 | 2018-11-13 | 华中科技大学 | 一种用于工业大数据汇聚的缓存层、汇聚系统及方法 |
CN107491515B (zh) * | 2017-08-11 | 2020-10-16 | 国电南瑞科技股份有限公司 | 基于大数据平台的智能配用电数据转换方法 |
CN107633054A (zh) * | 2017-09-19 | 2018-01-26 | 深圳市优户科技有限公司 | 一种同步线上商城系统与第三方业务系统的数据同步系统及方法 |
CN108734023A (zh) * | 2018-04-28 | 2018-11-02 | 西安电子科技大学 | 一种密文数据库系统的访问与集成系统及方法 |
CN108734023B (zh) * | 2018-04-28 | 2021-12-21 | 西安电子科技大学 | 一种密文数据库系统的访问与集成系统及方法 |
CN110222169A (zh) * | 2019-06-20 | 2019-09-10 | 中国人民解放军陆军特种作战学院 | 一种可视化数据处理解析系统及其处理方法 |
CN110602049A (zh) * | 2019-08-14 | 2019-12-20 | 中国平安人寿保险股份有限公司 | 数据传输方法、服务器及存储介质 |
CN110851458A (zh) * | 2019-11-15 | 2020-02-28 | 江苏国泰新点软件有限公司 | 资源的获取方法、装置、系统和存储介质 |
CN110851458B (zh) * | 2019-11-15 | 2024-02-09 | 江苏国泰新点软件有限公司 | 资源的获取方法、装置、系统和存储介质 |
CN111625510A (zh) * | 2020-05-25 | 2020-09-04 | 广东电网有限责任公司 | 一种基于云映射的多源数据共享系统及方法 |
CN112116467A (zh) * | 2020-06-16 | 2020-12-22 | 上海金融期货信息技术有限公司 | 一种异构柜台并行运行方法和系统 |
CN112116467B (zh) * | 2020-06-16 | 2024-06-04 | 上海金融期货信息技术有限公司 | 一种异构柜台并行运行方法和系统 |
CN112328704A (zh) * | 2020-11-03 | 2021-02-05 | 成都中科大旗软件股份有限公司 | 实现多种数据源联合查询的方法、系统、计算机设备和存储介质 |
CN112579613B (zh) * | 2020-12-31 | 2023-02-17 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 数据库集群差异比对与数据同步的方法、系统及介质 |
CN112579613A (zh) * | 2020-12-31 | 2021-03-30 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 数据库集群差异比对与数据同步的方法、系统及介质 |
CN113495890A (zh) * | 2021-07-08 | 2021-10-12 | 上海二三四五网络科技有限公司 | 一种批量异构数据源自动比对系统、方法及设备 |
CN113495890B (zh) * | 2021-07-08 | 2024-05-14 | 上海二三四五网络科技有限公司 | 一种批量异构数据源自动比对系统、方法及设备 |
CN113468258A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种异构数据的转换方法、装置及存储介质 |
CN113626513A (zh) * | 2021-09-01 | 2021-11-09 | 浙江力石科技股份有限公司 | 文旅资源采集方法和系统 |
CN114610958A (zh) * | 2022-05-10 | 2022-06-10 | 上海飞旗网络技术股份有限公司 | 一种传输资源的处理方法、装置及电子设备 |
CN114647716B (zh) * | 2022-05-13 | 2022-08-30 | 天津南大通用数据技术股份有限公司 | 一种适用于泛化数据仓库的系统 |
CN114647716A (zh) * | 2022-05-13 | 2022-06-21 | 天津南大通用数据技术股份有限公司 | 一种泛化数据仓库 |
CN114942942A (zh) * | 2022-05-18 | 2022-08-26 | 马上消费金融股份有限公司 | 特征数据的查询及其用户注册查询方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103593422B (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103593422A (zh) | 一种异构数据库的虚拟访问管理方法 | |
CN102609417B (zh) | 基于ifc标准的建筑信息模型数据集成与交换引擎装置和方法 | |
CN103425762A (zh) | 基于Hadoop平台的电信运营商海量数据处理方法 | |
CN104899295B (zh) | 一种异构数据源数据关联分析方法 | |
CN106126601A (zh) | 一种社保大数据分布式预处理方法及系统 | |
CN106021484A (zh) | 基于内存计算的可定制多模式大数据处理系统 | |
Xia et al. | Big traffic data processing framework for intelligent monitoring and recording systems | |
CN104933160A (zh) | 一种面向安全监测业务分析的etl框架设计方法 | |
Cubukcu et al. | Citus: Distributed postgresql for data-intensive applications | |
CN103677759A (zh) | 一种用于信息系统性能提升的对象化并行计算方法及系统 | |
CN108763234A (zh) | 一种数据实时同步方法及系统 | |
CN112214453B (zh) | 大规模工业数据压缩存储方法、系统及介质 | |
CN106446144A (zh) | 一种基于kettle的大数据平台数据抽取和统计方法 | |
CN111639121A (zh) | 一种构建客户画像的大数据平台及构建方法 | |
CN106780157B (zh) | 基于Ceph的电网多时态模型存储与管理系统及方法 | |
CN112100227A (zh) | 一种基于多级异构数据存储的大数据处理方法 | |
CN105550351B (zh) | 旅客行程数据即席查询系统及方法 | |
CN109829003A (zh) | 数据库备份方法及装置 | |
CN105279234A (zh) | 一种输变电设备状态检修数据跨平台数据获取与转换方法 | |
Sun et al. | SETL: A scalable and high performance ETL system | |
CN114925042A (zh) | 一种基于图形数据库的元数据关系的构建方法 | |
Pan et al. | An open sharing pattern design of massive power big data | |
Wang et al. | Design and implementation of an ETL approach in business intelligence project | |
CN112434010A (zh) | 一种用电信息采集系统主站数据库的交互方法 | |
CN106327405A (zh) | 一种基于云平台的智慧城市管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province Patentee after: G-Cloud Technology Co., Ltd. Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province Patentee before: G-Cloud Technology Co., Ltd. |