CN106897467A - 一种大数据分析引擎的数据库适配方法 - Google Patents
一种大数据分析引擎的数据库适配方法 Download PDFInfo
- Publication number
- CN106897467A CN106897467A CN201710271322.3A CN201710271322A CN106897467A CN 106897467 A CN106897467 A CN 106897467A CN 201710271322 A CN201710271322 A CN 201710271322A CN 106897467 A CN106897467 A CN 106897467A
- Authority
- CN
- China
- Prior art keywords
- database
- access
- data
- analysis engine
- relevant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种大数据分析引擎的数据库适配方法，它包括以下步骤：定义数据库访问语句能够访问的关系型数据库；从接收的数据库访问指令中获取数据库查询表标识信息；根据数据库查询表标识信息判断数据库访问指令的操作对象并做相应地处理；判断访问指令中的数据库查询语句对应的访问操作是否为查询类操作，如果所述访问操作是查询类操作，则根据数据库语法将查询类操作的访问指令转换为对应的数据库查询指令，使用所述数据库查询指令访问相应的数据库。本发明解决了海量应用程序对具体数据库结构依赖性大，软件的通用性不高和扩充性差等问题。
Description
技术领域
本发明涉及大数据分析处理技术领域，尤其涉及数据库的查询技术，具体是一种大数据分析引擎的数据库适配方法。
背景技术
非关系型数据库通过减少不常用的功能，提高了数据库性能，它常用来处理杂乱的非结构化数据，例如高并发的网页动态访问信息等。在实际程序开发中，应用前端有很多业务需求，需要匹配不同的数据库功能，使用性能更高、成本更低的非关系型数据库可以提高数据库的可扩展性。而大多数的业务运营支撑系统，例如电力运营、银行交易、电信客户管理和电商等运营系统，大部分都是基于关系型数据库而建设的，都涉及到大量的客户信息的管理和查询。在当前大数据产业背景下，各行各业都积累了大量历史数据，在对海量数据进行挖掘的过程中，数据库如何满足不同的平台应用从庞大的数据中快速响应用户的查询是一个重要和迫切的问题。
大量的应用平台，由于数据存储的差异，往往在访问数据库的的时候，效率低下，例如地理信息系统的大量空间数据需要快速地存取查询和更新，而关系型数据库对空间数据的读取和存储效率低下，扩展性差，并且物理消耗资源严重，不适用于空间数据应用平台系统。各行各业的应用平台不同，对数据库的服务能力需求不同，而目前数据库的服务能力只是单一地对接相应的平台，无法解决对各行各业不同的应用平台和复杂网络环境的数据库查询服务问题。
本申请提供了一种网络服务平台，为不同行业的应用提供一种数据库查询匹配的服务能力，大量的应用根据该平台定义的数据格式调用接口，该平台返回适配各种数据库的标准结构化查询语句（Structured Query Language，SQL），可以进行关系型号数据库和非关系型数据库的查询。其中，关系型数据库查询存在冗余，尤其是大数据的查询操作中，往往存在大量的冗余，本发明解决了大数据背景下，为不同的应用平台实现同时连接关系型数据库和非关系型数据库的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种大数据分析引擎的数据库适配方法，以至少达到为不同的应用平台实现同时连接关系型数据库和非关系型数据库的效果。
本发明的目的是通过以下技术方案来实现的：一种大数据分析引擎的数据库适配方法，它包括：
S1：定义数据规则，根据定义的数据规则，预先定义数据库访问语句能够访问的关系型数据库；
S2：接收数据库访问指令，从接收的数据库访问指令中获取数据库查询表标识信息；
S3：根据数据库查询表标识信息判断数据库访问指令的操作对象，如果所述操作对象是关系型数据库，则直接查询所述的关系型数据库；如果所述操作对象是非关系型数据库，则将数据库访问指令转换为非关系型数据库能够识别的操作指令；
S4：判断访问指令中的数据库查询语句对应的访问操作是否为查询类操作，如果所述访问操作是查询类操作，则根据数据库语法将查询类操作的访问指令转换为对应的数据库查询指令，使用所述数据库查询指令访问相应的数据库。
进一步，在步骤S1中，根据关系型数据库的数据表建立关系型数据库与数据库语法的对应关系，根据所述的对应关系，使用结构化查询语句访问关系型数据库。
进一步，在步骤S2中，则根据关系型数据库的数据表标识信息确定访问指令的目标关系型数据库。
进一步，在步骤S3中，建立标准结构化查询语句与不同的关系型数据库的对应关系，使用相应的标准化查询语句针对不同的数据库进行相应地查询。
进一步，根据关系型数据库的数据表标识信息，将不同的关系型数据库的结构化查询语句转换为适配不同类型数据库的查询语句。
进一步，在步骤S4之后，还包括一个返回步骤S5，所述的返回步骤S5，返回数据库查询操作结果到前端应用，实现前端应用匹配不同的数据库。
本发明的有益效果是：（1）本发明可以降低开发人员对后端数据库的依赖，将精力集中在前端业务层面，不用过多关心后端数据库的选型、查询和具体的数据库语法等，可以精准、高效地完成数据处理。
（2）本发明的实施例，能够同时访问关系型数据库和非关系型数据库，保证数据库性能的同时，可扩展性强。
（3）本发明的实施例，具有关系型数据库的优势，可以在一个数据表以及多个数据表之间做复杂的数据查询和事务支持，保证数据访问安全性。
（4）本发明的实施例，通过构建了一种大平台，对大量应用，提供数据库访问匹配服务，提供相应的应用程序调用接口，通过返回适配各种数据库的查询语句，能够查询关系型数据库和非关系型数据库。
（5）本发明解决了应用程序对具体数据库结构依赖性大，软件的通用性不高和扩充性差等问题。
（6）本发明采用关系型数据库和非关系型数据库的协同应用，在提高数据读取和存储效率的同时，降低物理存储资源的消耗。
（7）本发明可以对各类结构化和非结构化的信息资源进行高速分析处理。
附图说明
图1为本发明的步骤流程图。
图2为本发明的实施例示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种大数据分析引擎的数据库适配方法，它包括：
S1：定义数据规则，根据定义的数据规则，预先定义数据库访问语句能够访问的关系型数据库；
S2：接收数据库访问指令，从接收的数据库访问指令中获取数据库查询表标识信息；
S3：根据数据库查询表标识信息判断数据库访问指令的操作对象，如果所述操作对象是关系型数据库，则直接查询所述的关系型数据库；如果所述操作对象是非关系型数据库，则将数据库访问指令转换为非关系型数据库能够识别的操作指令；
S4：判断访问指令中的数据库查询语句对应的访问操作是否为查询类操作，如果所述访问操作是查询类操作，则根据数据库语法将查询类操作的访问指令转换为对应的数据库查询指令，使用所述数据库查询指令访问相应的数据库。
进一步，在步骤S1中，根据关系型数据库的数据表建立关系型数据库与数据库语法的对应关系，根据所述的对应关系，使用结构化查询语句访问关系型数据库。
进一步，在步骤S2中，则根据关系型数据库的数据表标识信息确定访问指令的目标关系型数据库。
进一步，在步骤S3中，建立标准结构化查询语句与不同的关系型数据库的对应关系，使用相应的标准化查询语句针对不同的数据库进行相应地查询。
进一步，根据关系型数据库的数据表标识信息，将不同的关系型数据库的结构化查询语句转换为适配不同类型数据库的查询语句。
进一步，在步骤S4之后，还包括一个返回步骤S5，所述的返回步骤S5，返回数据库查询操作结果到前端应用，实现前端应用匹配不同的数据库。
在本发明的实施例中，如图2所示，应用本发明的一种大数据分析引擎的数据库适配平台，它通过提供访问接口，使各行各业的平台应用根据该平台定义的数据格式，调用该平台的接口，该平台自动返回适配各种数据库的标准结构化查询语句或非结构化查询语句，能够进行关系型数据库和非关系型数据库的查询，满足大数据背景下各行各业的大量应用平台对数据库的多样化服务能力需求。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (6)
1.一种大数据分析引擎的数据库适配方法，其特征在于，它包括：
S1：定义数据规则，根据定义的数据规则，预先定义数据库访问语句能够访问的关系型数据库；
S2：接收数据库访问指令，从接收的数据库访问指令中获取数据库查询表标识信息；
S3：根据数据库查询表标识信息判断数据库访问指令的操作对象，如果所述操作对象是关系型数据库，则直接查询所述的关系型数据库；如果所述操作对象是非关系型数据库，则将数据库访问指令转换为非关系型数据库能够识别的操作指令；
S4：判断访问指令中的数据库查询语句对应的访问操作是否为查询类操作，如果所述访问操作是查询类操作，则根据数据库语法将查询类操作的访问指令转换为对应的数据库查询指令，使用所述数据库查询指令访问相应的数据库。
2.根据权利要求1所述的一种大数据分析引擎的数据库适配方法，其特征在于：在步骤S1中，根据关系型数据库的数据表建立关系型数据库与数据库语法的对应关系，根据所述的对应关系，使用结构化查询语句访问关系型数据库。
3.根据权利要求1所述的一种大数据分析引擎的数据库适配方法，其特征在于：在步骤S2中，则根据关系型数据库的数据表标识信息确定访问指令的目标关系型数据库。
4.根据权利要求1所述的一种大数据分析引擎的数据库适配方法，其特征在于：在步骤S3中，建立标准结构化查询语句与不同的关系型数据库的对应关系，使用相应的标准化查询语句针对不同的数据库进行相应地查询。
5.根据权利要求4所述的一种大数据分析引擎的数据库适配方法，其特征在于：根据关系型数据库的数据表标识信息，将不同的关系型数据库的结构化查询语句转换为适配不同类型数据库的查询语句。
6.根据权利要求1所述的一种大数据分析引擎的数据库适配方法，其特征在于：在步骤S4之后，还包括一个返回步骤S5，所述的返回步骤S5，返回数据库查询操作结果到前端应用，实现前端应用匹配不同的数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710271322.3A CN106897467A (zh) | 2017-04-24 | 2017-04-24 | 一种大数据分析引擎的数据库适配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710271322.3A CN106897467A (zh) | 2017-04-24 | 2017-04-24 | 一种大数据分析引擎的数据库适配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106897467A true CN106897467A (zh) | 2017-06-27 |
Family
ID=59197364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710271322.3A Pending CN106897467A (zh) | 2017-04-24 | 2017-04-24 | 一种大数据分析引擎的数据库适配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106897467A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460416A (zh) * | 2018-12-12 | 2019-03-12 | 成都四方伟业软件股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN109582693A (zh) * | 2018-11-26 | 2019-04-05 | 成都四方伟业软件股份有限公司 | 基于web的数据逻辑表达式处理方法及装置 |
| CN111310230A (zh) * | 2020-02-10 | 2020-06-19 | 腾讯云计算（北京）有限责任公司 | 一种空间数据处理方法、装置、设备及介质 |
| CN111488391A (zh) * | 2020-04-09 | 2020-08-04 | 中国银行股份有限公司 | 数据处理方法及装置 |
| CN111897824A (zh) * | 2020-03-25 | 2020-11-06 | 上海云励科技有限公司 | 数据操作方法、装置、设备和存储介质 |
| CN113111356A (zh) * | 2021-03-09 | 2021-07-13 | 深圳市教育信息技术中心(深圳市教育装备中心) | 数据加密方法、装置、设备和介质 |
| CN113468209A (zh) * | 2021-07-27 | 2021-10-01 | 广西电网有限责任公司 | 一种电网监控系统高速内存数据库访问方法 |
| CN113836175A (zh) * | 2020-06-24 | 2021-12-24 | 浙江宇视科技有限公司 | 数据访问方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521254A (zh) * | 2011-11-17 | 2012-06-27 | 广东电网公司电力科学研究院 | 异构数据库的统一访问方法 |
| CN103823815A (zh) * | 2012-11-19 | 2014-05-28 | 中国联合网络通信集团有限公司 | 服务器及数据库访问方法 |
-
2017
- 2017-04-24 CN CN201710271322.3A patent/CN106897467A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521254A (zh) * | 2011-11-17 | 2012-06-27 | 广东电网公司电力科学研究院 | 异构数据库的统一访问方法 |
| CN103823815A (zh) * | 2012-11-19 | 2014-05-28 | 中国联合网络通信集团有限公司 | 服务器及数据库访问方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582693A (zh) * | 2018-11-26 | 2019-04-05 | 成都四方伟业软件股份有限公司 | 基于web的数据逻辑表达式处理方法及装置 |
| CN109460416A (zh) * | 2018-12-12 | 2019-03-12 | 成都四方伟业软件股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN109460416B (zh) * | 2018-12-12 | 2020-02-04 | 成都四方伟业软件股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN111310230A (zh) * | 2020-02-10 | 2020-06-19 | 腾讯云计算（北京）有限责任公司 | 一种空间数据处理方法、装置、设备及介质 |
| CN111310230B (zh) * | 2020-02-10 | 2023-04-14 | 腾讯云计算（北京）有限责任公司 | 一种空间数据处理方法、装置、设备及介质 |
| CN111897824A (zh) * | 2020-03-25 | 2020-11-06 | 上海云励科技有限公司 | 数据操作方法、装置、设备和存储介质 |
| CN111488391A (zh) * | 2020-04-09 | 2020-08-04 | 中国银行股份有限公司 | 数据处理方法及装置 |
| CN113836175A (zh) * | 2020-06-24 | 2021-12-24 | 浙江宇视科技有限公司 | 数据访问方法、装置、设备及存储介质 |
| CN113111356A (zh) * | 2021-03-09 | 2021-07-13 | 深圳市教育信息技术中心(深圳市教育装备中心) | 数据加密方法、装置、设备和介质 |
| CN113468209A (zh) * | 2021-07-27 | 2021-10-01 | 广西电网有限责任公司 | 一种电网监控系统高速内存数据库访问方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106897467A (zh) | 一种大数据分析引擎的数据库适配方法 | |
| CN107402987B (zh) | 一种全文检索的方法和分布式NewSQL数据库系统 | |
| EP2924633A1 (en) | A system and method for extracting a business rule embedded in an application source code | |
| CN105335479B (zh) | 一种基于sql的文本数据统计实现方法 | |
| CN108572963A (zh) | 信息获取方法和装置 | |
| CN106156088B (zh) | 一种索引数据处理方法、数据查询方法及装置 | |
| CN108694221B (zh) | 数据实时分析方法、模块、设备和装置 | |
| WO2020187023A1 (zh) | 数据配置查询方法和装置 | |
| CN109947770A (zh) | 一种数据库查询方法、终端设备及存储介质 | |
| CN114691786A (zh) | 数据血缘关系的确定方法及装置、存储介质、电子装置 | |
| CN109241068A (zh) | 前后台数据比对的方法、装置及终端设备 | |
| CN101833561A (zh) | 面向自然语言处理的语义Web服务智能代理 | |
| CN109033403A (zh) | 用于搜索区块链数据的方法、装置及存储介质 | |
| CN108446335A (zh) | 基于数据库的异构系统数据抽取及统一对外数据交换方法 | |
| CN102915344B (zh) | 一种sql语句处理方法及装置 | |
| CN111198898B (zh) | 大数据查询方法及大数据查询装置 | |
| CN109815254A (zh) | 基于大数据的跨地域任务调度方法及系统 | |
| CN112800197A (zh) | 一种目标故障信息的确定方法和装置 | |
| CN104462587A (zh) | 一种基于移动终端的知识产权检索系统 | |
| CN107346317A (zh) | 一种数据查询方法和装置 | |
| CN111708867A (zh) | 应用于电力运检的问答查询方法及装置、设备 | |
| CN107704585A (zh) | 一种查询hdfs数据方法及系统 | |
| CN103218396B (zh) | 根据访问频次特征生成静态网页的调度运行可视化分析方法 | |
| CN112597216A (zh) | 一种适配多种时序数据库的微服务的方法和装置 | |
| CN107436919B (zh) | 一种基于本体和boss的云制造标准服务建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170627 |
|
| RJ01 | Rejection of invention patent application after publication |