CN107423390A - 一种基于oltp‑olap混合关系型数据库系统内部的数据实时同步算法 - Google Patents

一种基于oltp‑olap混合关系型数据库系统内部的数据实时同步算法 Download PDF

Info

Publication number
CN107423390A
CN107423390A CN201710600452.7A CN201710600452A CN107423390A CN 107423390 A CN107423390 A CN 107423390A CN 201710600452 A CN201710600452 A CN 201710600452A CN 107423390 A CN107423390 A CN 107423390A
Authority
CN
China
Prior art keywords
sql
database
data
olap
oltp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710600452.7A
Other languages
English (en)
Other versions
CN107423390B (zh
Inventor
陈大伟
韩欣
谢赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Original Assignee
Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tak Billiton Information Technology Ltd By Share Ltd filed Critical Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Priority to CN201710600452.7A priority Critical patent/CN107423390B/zh
Publication of CN107423390A publication Critical patent/CN107423390A/zh
Application granted granted Critical
Publication of CN107423390B publication Critical patent/CN107423390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于OLTP‑OLAP混合关系型数据库系统内部的数据实时同步算法，包括以下步骤：混合数据库系统通过标准JDBC/ODBC访问接口访问该系统；请求先经过SQL解析层，先后通过data dict cache进行初步的语句合法性检查和语言含义合法性检查，如没通过直接返回相应错误；一旦通过合法性检查和权限检查，进入到SQL分类识别层：属于select查询分析类还是modify类；数据库返回结果会等待业务数据库和分析数据库两条SQL都执行后的结果通知进行汇总，本发明基于SQL解析层后一步的相关子集进行数据分割处理，支持原系统标注的JDBC/ODBC协议，对外数据库使用者没有任何感知，完全自动化处理SQL逻辑，统一返回结果。

Description

一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时 同步算法
技术领域
本发明涉及数据库SQL解析层查询数据子集的双向写时同步算法技术领域，具体为一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步算法。
背景技术
在传统的业务系统开发中，类似Oracle、mysql之类的业务数据库已经成为开发团队必备软件，而近几年兴起的大数据开发又产生了新的一批面向于大数据分析的OLAP分析数据库，与OLTP面向业务的数据库不同，OLAP数据库更偏向于大数据的分析和查询，可以通过MPP分布式任务框架将大型的查询分析类SQL快速的分配到集群内所有worker节点运行，再快速汇总达到十倍甚至百倍与OLTP业务库的效率，而OLAP数据库一般采用列式存储格式和不同的数据压缩算法已达到大数据存储容量减少的目的，这就相对于数据的并发操作和modify类SQL(update、delete、drop等)性能上支持不是特别好。而传统的业务数据库对于查询的性能又非常低。
随着业务数据库量越来越大，更多的查询需求逐渐增多的需求场景，目前有很多业务系统通过OLTP+OLAP方式部署两套数据库，对于大数据库海量数据需要进行大数据分析查询时，通过传统ETL工具进行快速的从OLTP业务库抽取到OLAP分析型数据库，继而进行离线分析。虽然实现了业务和分析隔离，但分析周期过长，流程复杂，容错管理难度高。
还有一种就是融合OLTP和OLAP的新型数据库系统，这种号称NewSQL类的数据库在市场上也逐渐体现几个，主要通过Google Fl spanner分布式框架结合底层Facebook的rocksdb快速kv存储结合的一种分布式数据库系统，这种数据库系统只是在业务数据库上实现了分布式业务，扩展了业务数据库的扩展限制，并没有在OLAP方向上有过多创新，甚至还不能支持全部的OLAP业务。
发明内容
本发明所解决的技术问题在于提供一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步算法，以解决上述背景技术中的问题。
本发明所解决的技术问题采用以下技术方案来实现：一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步算法，包括以下步骤：
步骤(1)：混合数据库系统通过标准JDBC/ODBC访问接口访问该系统
步骤(2)：请求先经过SQL解析层，先后通过data dict cache进行初步的语句合法性检查和语言含义合法性检查，如没通过直接返回相应错误；一旦通过合法性检查和权限检查，进入到SQL分类识别层：属于select查询分析类还是modify类；modify类包括insert类SQL、update类SQL、delete类SQL；
步骤(3)：如果是Select查询分析类SQL，该SQL通过解析层后会直接转发至系统中OLAP分析库模块的执行层，直接根据OLAP数据库进行MPP分布式查询，等查询结果汇总后直接回传；
步骤(4)：如果检测到是insert类SQL，SQl层会先对原QL进行修饰话字段的去处、简化；然后针对影响的结果临时子集进行内存级别copy，生成两个SQL，原SQL会发往OLTP业务数据库，而简化SQL会发往OLAP分析数据库；
步骤(5)：update类SQL、delete类SQ L同步骤(4)逻辑；
步骤(6)：数据库返回结果会等待业务数据库和分析数据库两条SQL都执行后的结果通知进行汇总，如两条SQL都执行成功则返回成功信息；如有任一系统SQL执行异常，将会通知另一个成功系统进行业务回滚，保证业务和数据一致性；如全部失败，则会整合失败信息，都返回给上层。
至此，通过此数据实时同步算法实现了OLTP/OLAP混合数据库系统的数据实时同步，即能满足业务数据库复杂的业务需求和并发，又支持了大数据OLAP分析查询类的需求，同时提供了副本级别的数据安全保护方案，一举两得。
进一步地，步骤(4)中当数据库检测到insert类需求时，SQL解析层会将该SQL定性为modify类SQL，即会对先数据库系统中数据产生变化类的请求，此时SQL在数据最佳执行计划时对where筛选条件字段进行过滤，去掉order by之类返回结果规范化字段，继而对影响的数据字段进行抽取，最终再将insert行为字段进行合并，得到一个只影响数据的最简SQL，继而原SQL继续到达业务数据库的SQL执行层，得到的最简SQL会转发至OLAP层的SQL执行层，继而在修改业务数据库数据的同时修改分析库。
进一步地，步骤(2)中modify类SQL执行时存在OLTP和OLAP两个系统同时执行SQL计划的现象，此时涉及到业务的一个汇总和整体数据一致性问题；在业务系统库执行成功时会返回一个success标记到达结果返回层，而OLAP层执行成功时也会返回相同标记，结果返回层会汇总两条执行总线的双成功标记才会返回上层SQL执行成功，有任何一个返回失败标记则通知另一体统进行业务回滚，同时返回具体错误信息给上层，从而达到业务一致性和数据一致性效果。
与已公开技术相比，本发明存在以下优点：本发明可实现OLTP和OLAP两种不同应用场景数据库融合为一个整体数据库解决方案，不需要再部署业务系统库和分析系统库两个隔离数据库。
本发明基于SQL解析层后一步的相关子集进行数据分割处理，支持原系统标注的JDBC/ODBC协议，对外数据库使用者没有任何感知，完全自动化处理SQL逻辑，统一返回结果。
本发明根据写实同步技术实现内存中结果子集数据的实时复制，业务和分析库分离的同时，直接提供了一整套的副本方案，在业务库或者分析库部分数据丢失的情况下可以互为备份，增加了传统数据库的安全性，相对之前单一的业务数据库或分析数据库又多了一层副本数据，更加安全
本发明基于内存数据实现，算法运行性能高且不会影响正常SQL业务运行，同时基于结果子集的内存拷贝使用内存量非常小，不会出现过多占用系统内存和其他计算资源现象。
本发明是基于SQL解析层实现的SQL子集的修改，直接拷贝的SQL语句，不会海量copy影响对象数据，减小内存拷贝量，加快copy速度。
本发明在结果返回层会汇总业务数据库的成败标识和分析数据库的成败标识，最终汇总业务双成功后才会返回SQL执行成功信息，一旦有任何有一系统执行失败，则立即通知对方系统执行业务回滚，保证了双系统的业务一致性和数据最终一致性。
附图说明
图1为本发明的select类SQL的具体执行流程示意图。
图2为本发明的modify类SQL的业务执行流程示意图。
具体实施方式
为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1、图2所示，一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步算法，包括以下步骤：
步骤(1)：混合数据库系统通过标准JDBC/ODBC访问接口访问该系统
步骤(2)：请求先经过SQL解析层，先后通过data dict cache进行初步的语句合法性检查和语言含义合法性检查，如没通过直接返回相应错误；一旦通过合法性检查和权限检查，进入到SQL分类识别层：属于select查询分析类还是modify类；modify类包括insert类SQL、update类SQL、delete类SQL；
步骤(3)：如果是Select查询分析类SQL，该SQL通过解析层后会直接转发至系统中OLAP分析库模块的执行层，直接根据OLAP数据库进行MPP分布式查询，等查询结果汇总后直接回传；
步骤(4)：如果检测到是insert类SQL，SQl层会先对原QL进行修饰话字段的去处、简化；然后针对影响的结果临时子集进行内存级别copy，生成两个SQL，原SQL会发往OLTP业务数据库，而简化SQL会发往OLAP分析数据库；
步骤(5)：update类SQL、delete类SQ L同步骤(4)逻辑；
步骤(6)：数据库返回结果会等待业务数据库和分析数据库两条SQL都执行后的结果通知进行汇总，如两条SQL都执行成功则返回成功信息；如有任一系统SQL执行异常，将会通知另一个成功系统进行业务回滚，保证业务和数据一致性；如全部失败，则会整合失败信息，都返回给上层。
至此，通过此数据实时同步算法实现了OLTP/OLAP混合数据库系统的数据实时同步，即能满足业务数据库复杂的业务需求和并发，又支持了大数据OLAP分析查询类的需求，同时提供了副本级别的数据安全保护方案，一举两得。
进一步地，步骤(4)中当数据库检测到insert类需求时，SQL解析层会将该SQL定性为modify类SQL，即会对先数据库系统中数据产生变化类的请求，此时SQL在数据最佳执行计划时对where筛选条件字段进行过滤，去掉order by之类返回结果规范化字段，继而对影响的数据字段进行抽取，最终再将insert行为字段进行合并，得到一个只影响数据的最简SQL，继而原SQL继续到达业务数据库的SQL执行层，得到的最简SQL会转发至OLAP层的SQL执行层，继而在修改业务数据库数据的同时修改分析库。
进一步地，步骤(2)中modify类SQL执行时存在OLTP和OLAP两个系统同时执行SQL计划的现象，此时涉及到业务的一个汇总和整体数据一致性问题；在业务系统库执行成功时会返回一个success标记到达结果返回层，而OLAP层执行成功时也会返回相同标记，结果返回层会汇总两条执行总线的双成功标记才会返回上层SQL执行成功，有任何一个返回失败标记则通知另一体统进行业务回滚，同时返回具体错误信息给上层，从而达到业务一致性和数据一致性效果。
本发明OLTP业务数据库和OLAP分析数据库在本专利申请中只是角色概念，该算法实现后会统一提供一个数据库服务，内部有业务库和分析库两大块而已，提供出去的链接IP和端口都是统一的
本发明支持标准的JDBC/ODBC数据库连接协议，不做任何修改，便于迁入传统业务。
本发明算法支持标准SQL2003标准，不会对SQL解析层做任何修改，不影响数据库使用
本发明使数据库提供统一的权限、用户、事务等模块，只有数据模块分割而治，方便管理
本发明算法支持的数据库系统内数据至少存两份，业务库和分析库各存一份，当然分析库根据自身需求也可以做镜像或分片，灵活框架，不做限定。两个库数据即可以从安全角度护卫数据副本，又根据各自特点存储存放，互不影响
本发明相对传统数据库SQL层，添加一层SQL识别层，进行业务识别，同时根据SQL进行业务识别，是转发还是进行查询数据sql生成两份，进行内存级别数据同步。
本发明的关键生成位置在SQL解析层后的独立设计的SQL识别层，算法在内存中根据分析库的数据规则生成，然后分成两个，分到业务库和分析库，各自插入数据。
本发明生成的查询SQL可根据业务库的SQL标准和分析库的SQL标准生成不一样的插入语法，互补影响。
本发明可实现最终事务一致性，最终插入语法会进行业务结果汇总，任一插入数据失败会进行两个库的业务回滚，保证业务的最终一致性。
本发明在SQL到达解析层时进行不同SQL的不同处理流程，如果是insert、update之类数据修改SQL，便对于操作子集进行写时通过类操作进行双向应用，达到数据可同时写到OLTP库和OLAP库的目的，在查询时解析层自动识别到将SQL转到OLAP库，达到快速查询而且不影响业务数据库系统的目的，提供真正的OLTP/OLAP一体化数据库解决方案。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步算法，其特征在于：包括以下步骤：
步骤(1)：混合数据库系统通过标准JDBC/ODBC访问接口访问该系统
步骤(2)：请求先经过SQL解析层，先后通过data dict cache进行初步的语句合法性检查和语言含义合法性检查，如没通过直接返回相应错误；一旦通过合法性检查和权限检查，进入到SQL分类识别层：属于select查询分析类还是modify类；modify类包括insef类SQL、update类SQL、delete类SQL；
步骤(3)：如果是Select查询分析类SQL，该SQL通过解析层后会直接转发至系统中OLAP分析库模块的执行层，直接根据OLAP数据库进行MPP分布式查询，等查询结果汇总后直接回传；
步骤(4)：如果检测到是insert类SQL，SQl层会先对原QL进行修饰话字段的去处、简化；然后针对影响的结果临时子集进行内存级别copy，生成两个SQL，原SQL会发往OLTP业务数据库，而简化SQL会发往OLAP分析数据库；
步骤(5)：update类SQL、delete类SQL同步骤(4)逻辑；
步骤(6)：数据库返回结果会等待业务数据库和分析数据库两条SQL都执行后的结果通知进行汇总，如两条SQL都执行成功则返回成功信息；如有任一系统SQL执行异常，将会通知另一个成功系统进行业务回滚，保证业务和数据一致性；如全部失败，则会整合失败信息，都返回给上层。
2.根据权利要求1所述的一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步算法，其特征在于：步骤(4)中当数据库检测到insert类需求时，SQL解析层会将该SQL定性为modify类SQL，即会对先数据库系统中数据产生变化类的请求，此时SQL在数据最佳执行计划时对where筛选条件字段进行过滤，去掉order by之类返回结果规范化字段，继而对影响的数据字段进行抽取，最终再将insert行为字段进行合并，得到一个只影响数据的最简SQL，继而原SQL继续到达业务数据库的SQL执行层，得到的最简SQL会转发至OLAP层的SQL执行层，继而在修改业务数据库数据的同时修改分析库。
3.根据权利要求1所述的一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步算法，其特征在于：步骤(2)中modify类SQL执行时存在OLTP和OLAP两个系统同时执行SQL计划的现象，此时涉及到业务的一个汇总和整体数据一致性问题；在业务系统库执行成功时会返回一个success标记到达结果返回层，而OLAP层执行成功时也会返回相同标记，结果返回层会汇总两条执行总线的双成功标记才会返回上层SQL执行成功，有任何一个返回失败标记则通知另一体统进行业务回滚，同时返回具体错误信息给上层，从而达到业务一致性和数据一致性效果。
CN201710600452.7A 2017-07-21 2017-07-21 一种基于oltp-olap混合关系型数据库系统内部的数据实时同步方法 Active CN107423390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710600452.7A CN107423390B (zh) 2017-07-21 2017-07-21 一种基于oltp-olap混合关系型数据库系统内部的数据实时同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710600452.7A CN107423390B (zh) 2017-07-21 2017-07-21 一种基于oltp-olap混合关系型数据库系统内部的数据实时同步方法

Publications (2)

Publication Number Publication Date
CN107423390A true CN107423390A (zh) 2017-12-01
CN107423390B CN107423390B (zh) 2020-10-27

Family

ID=60430865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710600452.7A Active CN107423390B (zh) 2017-07-21 2017-07-21 一种基于oltp-olap混合关系型数据库系统内部的数据实时同步方法

Country Status (1)

Country Link
CN (1) CN107423390B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684322A (zh) * 2018-12-26 2019-04-26 交通运输部水运科学研究所 一种用于自动海事稽核的数据处理系统和方法
CN110019251A (zh) * 2019-03-22 2019-07-16 深圳市腾讯计算机系统有限公司 一种数据处理系统、方法及设备
CN110704402A (zh) * 2019-10-18 2020-01-17 广州趣丸网络科技有限公司 一种多数据源的数据分析系统、方法及设备
CN110990425A (zh) * 2019-11-28 2020-04-10 中科驭数（北京）科技有限公司 硬件数据库的jdbc驱动方法及装置
CN112434036A (zh) * 2020-11-24 2021-03-02 上海浦东发展银行股份有限公司 一种账户管理系统数据的处理方法
CN114237511A (zh) * 2021-12-18 2022-03-25 杭州视洞科技有限公司 一种基于ShardingSphere-JDBC进行数据优化的解决方法
CN116431741A (zh) * 2023-06-08 2023-07-14 成都房联云码科技有限公司 一种基于http协议控制关系型数据库事务代理工具及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100030758A1 (en) * 2008-07-30 2010-02-04 Oracle International Corporation Hybrid optimization strategies in automatic SQL tuning
CN102306200A (zh) * 2011-09-22 2012-01-04 用友软件股份有限公司 增量数据操作语句的并发应用装置和方法
CN102663117A (zh) * 2012-04-18 2012-09-12 中国人民大学 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN102906743A (zh) * 2010-05-17 2013-01-30 慕尼黑技术大学 混合oltp和olap高性能数据库系统
US20130054510A1 (en) * 2011-08-30 2013-02-28 Gnet Group, Llc Automated system for preparing and presenting control charts
CN103605651A (zh) * 2013-08-28 2014-02-26 杭州顺网科技股份有限公司 一种基于olap多维分析的数据处理展现方法
CN205750780U (zh) * 2015-10-30 2016-11-30 广东广信通信服务有限公司 一种基于混合数据库的多业务用户数据管理系统
CN106557592A (zh) * 2016-12-02 2017-04-05 中铁程科技有限责任公司 数据同步方法、装置及服务器集群
CN106777108A (zh) * 2016-12-15 2017-05-31 贵州电网有限责任公司电力科学研究院 一种基于混合存储架构的数据查询方法和装置
CN106777027A (zh) * 2016-12-08 2017-05-31 北京国电通网络技术有限公司 大规模并行处理行列混合数据存储装置及存储、查询方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100030758A1 (en) * 2008-07-30 2010-02-04 Oracle International Corporation Hybrid optimization strategies in automatic SQL tuning
CN102906743A (zh) * 2010-05-17 2013-01-30 慕尼黑技术大学 混合oltp和olap高性能数据库系统
US20130054510A1 (en) * 2011-08-30 2013-02-28 Gnet Group, Llc Automated system for preparing and presenting control charts
CN102306200A (zh) * 2011-09-22 2012-01-04 用友软件股份有限公司 增量数据操作语句的并发应用装置和方法
CN102663117A (zh) * 2012-04-18 2012-09-12 中国人民大学 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN103605651A (zh) * 2013-08-28 2014-02-26 杭州顺网科技股份有限公司 一种基于olap多维分析的数据处理展现方法
CN205750780U (zh) * 2015-10-30 2016-11-30 广东广信通信服务有限公司 一种基于混合数据库的多业务用户数据管理系统
CN106557592A (zh) * 2016-12-02 2017-04-05 中铁程科技有限责任公司 数据同步方法、装置及服务器集群
CN106777027A (zh) * 2016-12-08 2017-05-31 北京国电通网络技术有限公司 大规模并行处理行列混合数据存储装置及存储、查询方法
CN106777108A (zh) * 2016-12-15 2017-05-31 贵州电网有限责任公司电力科学研究院 一种基于混合存储架构的数据查询方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁达平: "数据仓库在关系数据库中的特殊实现技术", 《科技信息》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684322A (zh) * 2018-12-26 2019-04-26 交通运输部水运科学研究所 一种用于自动海事稽核的数据处理系统和方法
CN109684322B (zh) * 2018-12-26 2021-01-22 交通运输部水运科学研究所 一种用于自动海事稽核的数据处理系统和方法
CN110019251A (zh) * 2019-03-22 2019-07-16 深圳市腾讯计算机系统有限公司 一种数据处理系统、方法及设备
CN110704402A (zh) * 2019-10-18 2020-01-17 广州趣丸网络科技有限公司 一种多数据源的数据分析系统、方法及设备
CN110990425A (zh) * 2019-11-28 2020-04-10 中科驭数（北京）科技有限公司 硬件数据库的jdbc驱动方法及装置
CN110990425B (zh) * 2019-11-28 2020-12-25 中科驭数（北京）科技有限公司 硬件数据库的jdbc驱动方法及装置
CN112434036A (zh) * 2020-11-24 2021-03-02 上海浦东发展银行股份有限公司 一种账户管理系统数据的处理方法
CN114237511A (zh) * 2021-12-18 2022-03-25 杭州视洞科技有限公司 一种基于ShardingSphere-JDBC进行数据优化的解决方法
CN114237511B (zh) * 2021-12-18 2024-01-26 杭州视洞科技有限公司 一种基于ShardingSphere-JDBC进行数据优化的解决方法
CN116431741A (zh) * 2023-06-08 2023-07-14 成都房联云码科技有限公司 一种基于http协议控制关系型数据库事务代理工具及方法
CN116431741B (zh) * 2023-06-08 2023-08-29 成都房联云码科技有限公司 一种基于http协议控制关系型数据库事务代理工具及方法

Also Published As

Publication number Publication date
CN107423390B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN107423390A (zh) 一种基于oltp‑olap混合关系型数据库系统内部的数据实时同步算法
CN109756364B (zh) 一种基于日志分析的微服务性能优化系统和分析方法
CN103970902B (zh) 一种大量数据情况下的可靠即时检索方法及系统
CN103460208B (zh) 用于将数据加载到时态数据仓库的方法和系统
CN103514223B (zh) 一种数据仓库数据同步方法和系统
CN109656958B (zh) 数据查询方法以及系统
CN108595664B (zh) 一种hadoop环境下的农业数据监控方法
CN109582717A (zh) 一种面向电力大数据的数据库统一平台及其读取方法
US11868330B2 (en) Method for indexing data in storage engine and related apparatus
CN109947796B (zh) 一种分布式数据库系统查询中间结果集的缓存方法
CN107193898B (zh) 基于分级复用的日志数据流的查询共享方法和系统
CN102495853A (zh) 一种面向切面的云存储引擎构造方法
CN107491487A (zh) 一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质
CN109213752A (zh) 一种基于cim的数据清洗转换方法
CN111563130A (zh) 一种基于区块链技术的数据可信数据治理方法和系统
US20090055429A1 (en) Method and system for data collection
CN107066546A (zh) 一种基于mpp引擎的跨数据中心快速查询方法和系统
CN104239377A (zh) 跨平台的数据检索方法及装置
CN110389942A (zh) 一种无垃圾回收的键值分离存储方法和系统
US7076490B2 (en) Object-relational database management system and method for deleting class instance for the same
CN109308290B (zh) 一种基于cim的高效数据清洗转换方法
CN108399231A (zh) 一种数据采集方法及Flume数据采集客户端
CN113242157A (zh) 一种分布式处理环境下的集中式数据质量监测方法
CN109902101A (zh) 基于SparkSQL的透明分区方法及装置
CN110245037B (zh) 一种基于日志的Hive用户操作行为还原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant