CN111666283A - 一种数据湖异构数据存储环境下统一数据访问的方法 - Google Patents

一种数据湖异构数据存储环境下统一数据访问的方法 Download PDF

Info

Publication number
CN111666283A
CN111666283A CN202010398287.3A CN202010398287A CN111666283A CN 111666283 A CN111666283 A CN 111666283A CN 202010398287 A CN202010398287 A CN 202010398287A CN 111666283 A CN111666283 A CN 111666283A
Authority
CN
China
Prior art keywords
data
pool
request
accessed
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010398287.3A
Other languages
English (en)
Inventor
吴奇锋
王燕
王明
高振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iReadyIT Beijing Co Ltd
Original Assignee
iReadyIT Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iReadyIT Beijing Co Ltd filed Critical iReadyIT Beijing Co Ltd
Priority to CN202010398287.3A priority Critical patent/CN111666283A/zh
Publication of CN111666283A publication Critical patent/CN111666283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据湖异构数据存储环境下统一数据访问的方法，包括以下步骤：S1、将数据湖划分模拟数据池、应用数据池、对象数据池以及文档数据池；S2、数据湖对待访问数据库进行数据访问时向分类程序提出访问请求；S3、分类程序对数据湖提出的访问请求作出判断归属操作，然后通过该归属所属的数据单元将访问请求转换为规定格式的数据请求脚本；S4、数据单元将数据请求脚本发送给待访问数据库，待访问数据库对数据请求脚本的请求信息进行分析，并在待访问数据库内搜索相应的需求数据；S5、待访问数据库将需求数据传输到发送数据请求脚本的数据单元中，数据单元将该需求数据传输给提出访问请求的数据湖。

Description

一种数据湖异构数据存储环境下统一数据访问的方法
技术领域
本发明涉及数据处理领域，尤其涉及一种数据湖异构数据存储环境下统一数据访问的方法。
背景技术
数据湖是将原始数据通过分类存储到不同的数据池，然后在各个数据池中将数据整合转化为容易分析的统一存储格式进行存储。这种方式极大的方便用户对数据进行分析和利用，从而产生经济效益。但是由于数据湖内存在着多种异构数据，其在访问其他数据库时存在着访存接口不统一的状况，加大了数据湖的开发难度，因此，有必要研究一种可以统一访问其他数据库的方法来解决上述问题。
发明内容
本发明目的是针对上述问题，提供一种数据湖异构数据存储环境下统一数据访问的方法。
为了实现上述目的，本发明的技术方案是：
一种数据湖异构数据存储环境下统一数据访问的方法，包括以下步骤：
S1、将数据湖划分用于存储监测数据的模拟数据池，用于存储执行应用时产生的临时数据的应用数据池，用于存储文本、图像、音频、视频的对象数据池以及用于存储不能归纳在模拟数据池、应用数据池、对象数据池中的数据的文档数据池；
S2、数据湖对待访问数据库进行数据访问时向分类程序提出访问请求；
S3、分类程序对数据湖提出的访问请求作出判断归属操作，然后通过该归属所属的数据单元将访问请求转换为规定格式的数据请求脚本；
S4、数据单元将转换后的数据请求脚本发送给待访问数据库，待访问数据库在接收到数据请求脚本后对数据请求脚本的请求信息进行分析，并根据数据请求脚本的请求信息在待访问数据库内搜索相应的需求数据；
S5、待访问数据库将需求数据传输到发送数据请求脚本的数据单元中，数据单元将该需求数据传输给提出访问请求的数据湖。
进一步的，所述步骤S3中分类程序判断访问请求的归属即判断该访问请求是由模拟数据池、应用数据池、对象数据池、文档数据池中的哪一个提出的。
进一步的，所述数据单元包括模拟数据单元、应用数据单元、对象数据单元、文档数据单元，模拟数据池提出的访问请求由模拟数据单元转换为规定格式的数据请求脚本；应用数据池提出的访问请求由应用数据单元转换为规定格式的数据请求脚本；对象数据池提出的访问请求由对象数据单元转换为规定格式的数据请求脚本；文档数据池提出的访问请求由文档数据单元转换为规定格式的数据请求脚本。
进一步的，所述模拟数据单元包括模拟数据转换程序、模拟数据存储器；模拟数据转换程序用于将模拟数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，模拟数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到模拟数据池中；
所述应用数据单元包括应用数据转换程序、应用数据存储器；应用数据转换程序用于将应用数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，应用数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到应用数据池中；
所述对象数据单元包括对象数据转换程序、对象数据存储器；对象数据转换程序用于将对象数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，对象数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到对象数据池中；
所述文档数据单元包括文档数据转换程序、文档数据存储器；文档数据转换程序用于将文档数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，文档数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到文档数据池中。
与现有技术相比，本发明具有的优点和积极效果是：
本发明通过采用分类程序对数据湖提出的访问请求作出判断归属操作，使得可以通过各个数据池所属的数据单元来对该数据池提出的访问请求作出转换，从而成为待访问数据库可以接收并进行分析的数据请求脚本，然后待访问数据库将数据请求脚本中请求的需求数据再通过数据单元传输回各个数据池中，其解决了现有技术中各个数据池与待访问数据库之间访存接口不统一导致无法进行访问其他数据库的问题，给数据处理领域作出了一定的贡献。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的逻辑框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
如图1所示，本实施例中的数据湖异构数据存储环境下统一数据访问的方法，包括以下步骤：
S1、将数据湖划分用于存储监测数据的模拟数据池，用于存储执行应用时产生的临时数据的应用数据池，用于存储文本、图像、音频、视频的对象数据池以及用于存储不能归纳在模拟数据池、应用数据池、对象数据池中的数据的文档数据池；
S2、数据湖对待访问数据库进行数据访问时向分类程序提出访问请求；
S3、分类程序对数据湖提出的访问请求作出判断归属操作，然后通过该归属所属的数据单元将访问请求转换为规定格式的数据请求脚本；
所述数据单元包括模拟数据单元、应用数据单元、对象数据单元、文档数据单元；
所述模拟数据单元包括模拟数据转换程序、模拟数据存储器；
模拟数据转换程序用于将模拟数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库；
模拟数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到模拟数据池中；
所述应用数据单元包括应用数据转换程序、应用数据存储器；
应用数据转换程序用于将应用数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库；
应用数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到应用数据池中；
所述对象数据单元包括对象数据转换程序、对象数据存储器；
对象数据转换程序用于将对象数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库；
对象数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到对象数据池中；
所述文档数据单元包括文档数据转换程序、文档数据存储器；
文档数据转换程序用于将文档数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库；
文档数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到文档数据池中；
分类程序判断访问请求的归属即判断该访问请求是由模拟数据池、应用数据池、对象数据池、文档数据池中的哪一个提出的；
判断归属过后，模拟数据池提出的访问请求由模拟数据单元转换为规定格式的数据请求脚本；
应用数据池提出的访问请求由应用数据单元转换为规定格式的数据请求脚本；
对象数据池提出的访问请求由对象数据单元转换为规定格式的数据请求脚本；
文档数据池提出的访问请求由文档数据单元转换为规定格式的数据请求脚本；
S4、数据单元将转换后的数据请求脚本发送给待访问数据库，待访问数据库在接收到数据请求脚本后对数据请求脚本的请求信息进行分析，并根据数据请求脚本的请求信息在待访问数据库内搜索相应的需求数据；
S5、待访问数据库将需求数据传输到发送数据请求脚本的数据单元中，数据单元将该需求数据传输给提出访问请求的数据湖。
本发明通过采用分类程序对数据湖提出的访问请求作出判断归属操作，使得可以通过各个数据池所属的数据单元来对该数据池提出的访问请求作出转换，从而成为待访问数据库可以接收并进行分析的数据请求脚本，然后待访问数据库将数据请求脚本中请求的需求数据再通过数据单元传输回各个数据池中，其解决了现有技术中各个数据池与待访问数据库之间访存接口不统一导致无法进行访问其他数据库的问题，给数据处理领域作出了一定的贡献。

Claims (4)

1.一种数据湖异构数据存储环境下统一数据访问的方法，其特征在于：包括以下步骤：
S1、将数据湖划分用于存储监测数据的模拟数据池，用于存储执行应用时产生的临时数据的应用数据池，用于存储文本、图像、音频、视频的对象数据池以及用于存储不能归纳在模拟数据池、应用数据池、对象数据池中的数据的文档数据池；
S2、数据湖对待访问数据库进行数据访问时向分类程序提出访问请求；
S3、分类程序对数据湖提出的访问请求作出判断归属操作，然后通过该归属所属的数据单元将访问请求转换为规定格式的数据请求脚本；
S4、数据单元将转换后的数据请求脚本发送给待访问数据库，待访问数据库在接收到数据请求脚本后对数据请求脚本的请求信息进行分析，并根据数据请求脚本的请求信息在待访问数据库内搜索相应的需求数据；
S5、待访问数据库将需求数据传输到发送数据请求脚本的数据单元中，数据单元将该需求数据传输给提出访问请求的数据湖。
2.如权利要求1所述的数据湖异构数据存储环境下统一数据访问的方法，其特征在于：所述步骤S3中分类程序判断访问请求的归属即判断该访问请求是由模拟数据池、应用数据池、对象数据池、文档数据池中的哪一个提出的。
3.如权利要求2所述的数据湖异构数据存储环境下统一数据访问的方法，其特征在于：所述数据单元包括模拟数据单元、应用数据单元、对象数据单元、文档数据单元，模拟数据池提出的访问请求由模拟数据单元转换为规定格式的数据请求脚本；应用数据池提出的访问请求由应用数据单元转换为规定格式的数据请求脚本；对象数据池提出的访问请求由对象数据单元转换为规定格式的数据请求脚本；文档数据池提出的访问请求由文档数据单元转换为规定格式的数据请求脚本。
4.如权利要求3所述的数据湖异构数据存储环境下统一数据访问的方法，其特征在于：所述模拟数据单元包括模拟数据转换程序、模拟数据存储器；模拟数据转换程序用于将模拟数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，模拟数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到模拟数据池中；
所述应用数据单元包括应用数据转换程序、应用数据存储器；应用数据转换程序用于将应用数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，应用数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到应用数据池中；
所述对象数据单元包括对象数据转换程序、对象数据存储器；对象数据转换程序用于将对象数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，对象数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到对象数据池中；
所述文档数据单元包括文档数据转换程序、文档数据存储器；文档数据转换程序用于将文档数据池提出的访问请求转换为规定格式的数据请求脚本并将该数据请求脚本发送给待访问数据库，文档数据存储器用于接收待访问数据库发送过来的需求数据并将该需求数据传输到文档数据池中。
CN202010398287.3A 2020-05-12 2020-05-12 一种数据湖异构数据存储环境下统一数据访问的方法 Pending CN111666283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010398287.3A CN111666283A (zh) 2020-05-12 2020-05-12 一种数据湖异构数据存储环境下统一数据访问的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010398287.3A CN111666283A (zh) 2020-05-12 2020-05-12 一种数据湖异构数据存储环境下统一数据访问的方法

Publications (1)

Publication Number Publication Date
CN111666283A true CN111666283A (zh) 2020-09-15

Family

ID=72383400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010398287.3A Pending CN111666283A (zh) 2020-05-12 2020-05-12 一种数据湖异构数据存储环境下统一数据访问的方法

Country Status (1)

Country Link
CN (1) CN111666283A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112272240A (zh) * 2020-11-17 2021-01-26 珠海大横琴科技发展有限公司 一种数据上云的方法和装置
CN113467765A (zh) * 2021-09-06 2021-10-01 深圳市信润富联数字科技有限公司 基于Node.js的数据库请求模块化处理方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815218A (zh) * 2015-11-27 2017-06-09 华为技术有限公司 数据库访问方法、装置和数据库系统
CN106980672A (zh) * 2017-03-28 2017-07-25 中国电子科技集团公司第二十九研究所 一种异构环境下面向对象的数据存储系统及方法
US20190286832A1 (en) * 2018-03-19 2019-09-19 Salesforce.Com, Inc. Securely accessing and processing data in a multi-tenant data store
CN110704445A (zh) * 2019-09-30 2020-01-17 石化盈科信息技术有限责任公司 工业数据湖系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815218A (zh) * 2015-11-27 2017-06-09 华为技术有限公司 数据库访问方法、装置和数据库系统
CN106980672A (zh) * 2017-03-28 2017-07-25 中国电子科技集团公司第二十九研究所 一种异构环境下面向对象的数据存储系统及方法
US20190286832A1 (en) * 2018-03-19 2019-09-19 Salesforce.Com, Inc. Securely accessing and processing data in a multi-tenant data store
CN110704445A (zh) * 2019-09-30 2020-01-17 石化盈科信息技术有限责任公司 工业数据湖系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
丁强: "以数据湖架构建设安防云存储", 《中国安防》 *
丁强: "安防云存储中数据湖架构及相关数据治理体系", 《中国公共安全》 *
张恩: "异构数据库间的数据交换研究", 《软件导刊》 *
郭文惠: "数据湖――一种更好的大数据存储架构", 《电脑知识与技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112272240A (zh) * 2020-11-17 2021-01-26 珠海大横琴科技发展有限公司 一种数据上云的方法和装置
CN112272240B (zh) * 2020-11-17 2022-01-04 珠海大横琴科技发展有限公司 一种数据上云的方法和装置
CN113467765A (zh) * 2021-09-06 2021-10-01 深圳市信润富联数字科技有限公司 基于Node.js的数据库请求模块化处理方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111666283A (zh) 一种数据湖异构数据存储环境下统一数据访问的方法
CN110716910A (zh) 一种日志管理方法、装置、设备和存储介质
CN108446313B (zh) 一种数据格式转换方法和装置
CN106911782A (zh) 一种数据读取方法及装置
CN101576901A (zh) 搜索请求的产生方法及移动通信设备
CN110992955A (zh) 一种智能设备的语音操作方法、装置、设备及存储介质
CN101500145A (zh) 一种基于双向机顶盒的数字家庭公交查询系统
CN110210241B (zh) 一种数据脱敏方法和装置
CN114969441A (zh) 基于图数据库的知识挖掘引擎系统
US20120046952A1 (en) Remote control system and method
CN110633318A (zh) 一种数据提取的处理方法、装置、设备和存储介质
CN112969172B (zh) 一种基于云手机的通讯流量控制方法
CN104731564A (zh) 系统接口调用记录的生成方法和装置
US11265594B2 (en) Data processing method and device, storage medium, electronic device
CN1567829A (zh) 通用数据文件转换方法
CN116894078A (zh) 一种信息交互方法、装置、电子设备及介质
Fan The design and implementation of a wireless remote image monitoring system based on the ARM and GPRS
CN113626438B (zh) 一种数据表管理的方法、装置、计算机设备及存储介质
CN114328683A (zh) 一种数据导入方法、装置、设备及存储介质
CN115270806A (zh) 一种媒体资源的管理方法及系统
CN113688279A (zh) 一种基于celery的视频结构化方法及系统
CN110334142B (zh) 智能数据采集方法、终端、服务器和交互系统
CN111143367A (zh) 一种预处理增强的大数据处理系统及方法
CN112667393A (zh) 分布式任务计算调度框架搭建的方法、装置及计算机设备
US20160218941A1 (en) Processing method and apparatus for signaling tracing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915