CN104899295A - 一种异构数据源数据关联分析方法 - Google Patents

一种异构数据源数据关联分析方法 Download PDF

Info

Publication number
CN104899295A
CN104899295A CN201510309873.5A CN201510309873A CN104899295A CN 104899295 A CN104899295 A CN 104899295A CN 201510309873 A CN201510309873 A CN 201510309873A CN 104899295 A CN104899295 A CN 104899295A
Authority
CN
China
Prior art keywords
data
data source
source
list structure
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510309873.5A
Other languages
English (en)
Other versions
CN104899295B (zh
Inventor
马晓东
柯志超
王云鹏
董旭旭
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU GUOYUN DATA TECHNOLOGY Co Ltd
Original Assignee
SUZHOU GUOYUN DATA TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU GUOYUN DATA TECHNOLOGY Co Ltd filed Critical SUZHOU GUOYUN DATA TECHNOLOGY Co Ltd
Priority to CN201510309873.5A priority Critical patent/CN104899295B/zh
Publication of CN104899295A publication Critical patent/CN104899295A/zh
Application granted granted Critical
Publication of CN104899295B publication Critical patent/CN104899295B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases

Abstract

本案为一种异构数据源数据关联分析方法，包括以下步骤：（a）多数据源接入及表结构解析；（b）目标单数据源表结构生成；（c）业务建模及查询SQL生成；（d）模型解析及从多数据源加载数据到目标单数据源；（e）执行查询并返回结果；（f）多数据源数据同步。本案的异构数据源数据关联分析方法增加了对多数据源数据的关联查询支持，帮助用户分析／发现异构数据源之间数据的关联性；具备更好的可扩展性，支持接入企业未来的新型数据源以及新型数据；更好的容灾性以及更好的分析性能．同步多数据源数据到目标数据源，可以避免单点故障，利用目标数据源，可以更好的进行性能扩展。

Description

一种异构数据源数据关联分析方法
技术领域
本发明涉及一种数据关联分析方法，具体涉及一种对异构数据源之间进行关联分析的方法。
背景技术
现阶段很多企业，特别是大型企业，其不同业务数据可能存储在不同（异构）的数据源中，而且随着业务的不断发展，新型的业务模式以及带来的新的数据存储方式，都会增加企业使用异构数据源存储企业的数据的可能性。现阶段市面上的数据分析工具，都是针对单独数据源中数据来进行提取、分析、展示的，在面对企业有多种数据源，需要对多数据源数据进行全方面的，关联分析的时候，现有数据分析工具就体现出无法满足业务需求的情况。
发明内容
为克服现有技术的不足，本发明的目的在于采取把异构多数据源中表结构和数据映射到目标单数据源中,使分析平台可以针对各个异构数据源中汇总的数据进行关联分析。
为实现上述目的，本发明通过以下技术方案实现：
一种异构数据源数据关联分析方法，包括以下步骤：
（a）多数据源接入及表结构解析：对用户的不同数据源数据进行接入，分析并解析出各数据源中所有表的表结构；
（b）目标单数据源表结构生成：针对步骤（a）记录的各个数据源表结构，实现一个针对目标数据源表结构映射的功能，并在目标单数据源中对各个数据源表生成唯一的对应表结构，使各个数据源中表结构迁移到目标单数据源系统中；
（c）业务建模及查询SQL生成：所述目标单数据源系统接入数据分析平台进行业务建模、分析，生成业务模型，并针对接入的数据源生成对应的查询SQL；
（d）模型解析及从多数据源加载数据到目标单数据源：在所述数据分析平台进行业务建模时，系统解析所述业务模型对应的数据源列表，加载指定数据源中指定表的数据进入所述目标数据源；
（e）执行查询并返回结果：针对所述目标数据源执行步骤（c）生成的查询语句后，数据以JSON格式返回，基于该数据做后续分析或者直接使用可视化工具进行展示；
（f）多数据源数据同步：所述多数据源同步数据到所述目标单数据源方法，可选增量同步，或者全量同步。
优选的是，所述的异构数据源数据关联分析方法，其中，所述接入的数据源为基于Mysql、Oracle、SqlServer中的一种数据库。
 本发明的有益效果：
（１）增加了对多数据源数据的关联查询支持，帮助用户分析／发现异构数据源之间数据的关联性；
（２）更好的可扩展性，支持接入企业未来的新型数据源以及新型数据；
（３）更好的容灾性以及更好的分析性能：同步多数据源数据到目标数据源，可以避免单点故障，利用目标数据源，可以更好的进行性能扩展。
附图说明
图1为本发明一实施例所述的异构数据源数据关联分析方法中的方法流程示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
一种异构数据源数据关联分析方法，请参阅附图1，包括以下步骤：
（a）多数据源接入及表结构解析：对用户的不同数据源数据进行接入，分析并解析出各数据源中所有表的表结构；
（b）目标单数据源表结构生成：针对步骤（a）记录的各个数据源表结构，实现一个针对目标数据源表结构映射的功能，并在目标单数据源中对各个数据源表生成唯一的对应表结构，使各个数据源中表结构迁移到目标单数据源系统中；
（c）业务建模及查询SQL生成：所述目标单数据源系统接入数据分析平台进行业务建模、分析，生成业务模型，并针对接入的数据源生成对应的查询SQL；由于接入的数据源系统可以是多样的，例如基于Mysql、Oracle、SqlServer等主流的数据库，为了让系统能够适应更多的数据库或者数据处理系统，系统生成一个SQL对象来适配的更多系统；SQL对象包含了一个查询相关的重要信息，可以方便的生成不同数据源平台的查询语句。
（d）模型解析及从多数据源加载数据到目标单数据源：在所述数据分析平台进行业务建模时，系统解析所述业务模型对应的数据源列表，加载指定数据源中指定表的数据进入所述目标数据源；
（e）执行查询并返回结果：针对所述目标数据源执行步骤（c）生成的查询语句后，数据以JSON格式返回，基于该数据做后续分析或者直接使用可视化工具进行展示；
（f）多数据源数据同步：所述多数据源同步数据到所述目标单数据源方法，可选增量同步，或者全量同步。用户的异构数据源开启同步日志，目标数据源进行实时增量同步更新；或者可选择定期全量更新。本案增加了对多数据源数据的关联查询支持，帮助用户分析／发现异构数据源之间数据的关联性；具备更好的可扩展性，支持接入企业未来的新型数据源以及新型数据；同时具有更好的容灾性以及更好的分析性能：同步多数据源数据到目标数据源，可以避免单点故障，利用目标数据源，可以更好的进行性能扩展。
进一步的，所述接入的数据源为基于Mysql、Oracle、SqlServer中的一种数据库。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (2)

1.一种异构数据源数据关联分析方法，其特征在于，包括以下步骤：
（a）多数据源接入及表结构解析：对用户的不同数据源数据进行接入，分析并解析出各数据源中所有表的表结构；
（b）目标单数据源表结构生成：针对步骤（a）记录的各个数据源表结构，实现一个针对目标数据源表结构映射的功能，并在目标单数据源中对各个数据源表生成唯一的对应表结构，使各个数据源中表结构迁移到目标单数据源系统中；
（c）业务建模及查询SQL生成：所述目标单数据源系统接入数据分析平台进行业务建模、分析，生成业务模型，并针对接入的数据源生成对应的查询SQL；
（d）模型解析及从多数据源加载数据到目标单数据源：在所述数据分析平台进行业务建模时，系统解析所述业务模型对应的数据源列表，加载指定数据源中指定表的数据进入所述目标数据源；
（e）执行查询并返回结果：针对所述目标数据源执行步骤（c）生成的查询语句后，数据以JSON格式返回，基于该数据做后续分析或者直接使用可视化工具进行展示；
（f）多数据源数据同步：所述多数据源同步数据到所述目标单数据源方法，可选增量同步，或者全量同步。
2.如权利要求1所述的异构数据源数据关联分析方法，其特征在于，所述接入的数据源为基于Mysql、Oracle、SqlServer中的一种数据库。
CN201510309873.5A 2015-06-09 2015-06-09 一种异构数据源数据关联分析方法 Expired - Fee Related CN104899295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510309873.5A CN104899295B (zh) 2015-06-09 2015-06-09 一种异构数据源数据关联分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510309873.5A CN104899295B (zh) 2015-06-09 2015-06-09 一种异构数据源数据关联分析方法

Publications (2)

Publication Number Publication Date
CN104899295A true CN104899295A (zh) 2015-09-09
CN104899295B CN104899295B (zh) 2018-08-03

Family

ID=54031957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510309873.5A Expired - Fee Related CN104899295B (zh) 2015-06-09 2015-06-09 一种异构数据源数据关联分析方法

Country Status (1)

Country Link
CN (1) CN104899295B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426481A (zh) * 2015-11-19 2016-03-23 北京京东尚科信息技术有限公司 处理数据的方法及装置
CN106528750A (zh) * 2016-10-28 2017-03-22 无锡雅座在线科技发展有限公司 数据提取方法及装置
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技（深圳）有限公司 数据的迁移方法和装置
CN107122360A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107122355A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107276992A (zh) * 2017-05-26 2017-10-20 亿海蓝（北京）数据技术股份公司 一种多数据源接入的方法及系统
CN107992559A (zh) * 2017-11-28 2018-05-04 江苏中威科技软件系统有限公司 多数据源的数据迁移方法
CN108009282A (zh) * 2017-12-22 2018-05-08 武汉楚鼎信息技术有限公司 一种json数据同步到关系型数据库的方法及系统装置
CN111177244A (zh) * 2019-12-24 2020-05-19 四川文轩教育科技有限公司 面向多个异构数据库的数据关联分析方法
CN113448775A (zh) * 2021-06-25 2021-09-28 中国工商银行股份有限公司 多源异构数据备份方法及装置
CN113901135A (zh) * 2021-09-14 2022-01-07 威讯柏睿数据科技(北京)有限公司 一种跨源异构数据智能可视化分析展示方法和设备
CN117056316A (zh) * 2023-10-10 2023-11-14 之江实验室 一种多源异构数据关联查询加速方法、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206629A (ja) * 2002-12-26 2004-07-22 Hitachi Ltd 異種データソース統合検索サーバシステム
CN102508706B (zh) * 2011-11-18 2013-08-07 北京航空航天大学 一种多源数据集成平台及其构建方法
CN103309977B (zh) * 2013-06-14 2017-02-08 广东电网公司电力科学研究院 异构数据资源整合的方法
CN103593422B (zh) * 2013-11-01 2017-02-15 国云科技股份有限公司 一种异构数据库的虚拟访问管理方法
CN104268275B (zh) * 2014-10-16 2018-01-26 苏州国云数据科技有限公司 一种对数据做业务抽象和路径查找分析的方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426481A (zh) * 2015-11-19 2016-03-23 北京京东尚科信息技术有限公司 处理数据的方法及装置
CN105426481B (zh) * 2015-11-19 2018-09-14 北京京东尚科信息技术有限公司 处理数据的方法及装置
CN107122355A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107122360A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107122355B (zh) * 2016-02-24 2021-07-06 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107122360B (zh) * 2016-02-24 2021-06-15 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN106528750B (zh) * 2016-10-28 2020-05-15 无锡雅座在线科技股份有限公司 数据提取方法及装置
CN106528750A (zh) * 2016-10-28 2017-03-22 无锡雅座在线科技发展有限公司 数据提取方法及装置
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技（深圳）有限公司 数据的迁移方法和装置
CN107276992A (zh) * 2017-05-26 2017-10-20 亿海蓝（北京）数据技术股份公司 一种多数据源接入的方法及系统
CN107992559A (zh) * 2017-11-28 2018-05-04 江苏中威科技软件系统有限公司 多数据源的数据迁移方法
CN107992559B (zh) * 2017-11-28 2019-03-26 江苏中威科技软件系统有限公司 多数据源的数据迁移方法
CN108009282A (zh) * 2017-12-22 2018-05-08 武汉楚鼎信息技术有限公司 一种json数据同步到关系型数据库的方法及系统装置
CN111177244A (zh) * 2019-12-24 2020-05-19 四川文轩教育科技有限公司 面向多个异构数据库的数据关联分析方法
CN113448775A (zh) * 2021-06-25 2021-09-28 中国工商银行股份有限公司 多源异构数据备份方法及装置
CN113901135A (zh) * 2021-09-14 2022-01-07 威讯柏睿数据科技(北京)有限公司 一种跨源异构数据智能可视化分析展示方法和设备
CN117056316A (zh) * 2023-10-10 2023-11-14 之江实验室 一种多源异构数据关联查询加速方法、装置及设备
CN117056316B (zh) * 2023-10-10 2024-01-26 之江实验室 一种多源异构数据关联查询加速方法、装置及设备

Also Published As

Publication number Publication date
CN104899295B (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN104899295A (zh) 一种异构数据源数据关联分析方法
CN108536761B (zh) 报表数据查询方法及服务器
US9720992B2 (en) DML replication with logical log shipping
CN107463632A (zh) 一种分布式NewSQL数据库系统和数据查询方法
CN103430144A (zh) 数据源分析
JP2013517574A5 (zh)
CN102752372A (zh) 一种基于文件的数据库同步方法
CN103699638A (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
CN104778175A (zh) 一种实现异构数据库数据同步的方法及系统
WO2012151149A4 (en) Managing data queries
US20150248421A1 (en) System and method for recovering system status consistently to designed recovering time point in distributed database
CN104598531A (zh) 一种基于触发器的异构关系型数据库间增量数据迁移方法
CN104216955A (zh) 一种操作数据及管理事务的方法、装置及分布式系统
US11822827B2 (en) Sub-cluster recovery using a partition group index
AU2015316450A1 (en) Method for updating data table of KeyValue database and apparatus for updating table data
CN103020058A (zh) 一种多版本数据获取方法和装置
US8694525B2 (en) Systems and methods for performing index joins using auto generative queries
CN104317957A (zh) 一种报表处理的开放平台、系统及报表处理方法
US20180121532A1 (en) Data table partitioning management method and apparatus
CN111177244A (zh) 面向多个异构数据库的数据关联分析方法
Zou et al. From a stream of relational queries to distributed stream processing
CN114416868B (zh) 一种数据同步方法、装置、设备及存储介质
CN105426481B (zh) 处理数据的方法及装置
JP5464017B2 (ja) 分散メモリデータベースシステム、データベースサーバ、データ処理方法およびそのプログラム
US9177008B1 (en) Positioned updates in a distributed shared-nothing data store

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180803

Termination date: 20210609