CN106980672A - 一种异构环境下面向对象的数据存储系统及方法 - Google Patents

一种异构环境下面向对象的数据存储系统及方法 Download PDF

Info

Publication number
CN106980672A
CN106980672A CN201710189838.3A CN201710189838A CN106980672A CN 106980672 A CN106980672 A CN 106980672A CN 201710189838 A CN201710189838 A CN 201710189838A CN 106980672 A CN106980672 A CN 106980672A
Authority
CN
China
Prior art keywords
data
database
access
interface
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710189838.3A
Other languages
English (en)
Inventor
李永超
倪辰辰
江果
旷生玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 2 Research Institute
Southwest China Research Institute Electronic Equipment
Original Assignee
CETC 2 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 2 Research Institute filed Critical CETC 2 Research Institute
Priority to CN201710189838.3A priority Critical patent/CN106980672A/zh
Publication of CN106980672A publication Critical patent/CN106980672A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异构环境下面向对象的数据存储系统及方法，涉及数据存储技术，提供了一种基于混合存储介质的数据存储方式以及面向对象的数据访问与交换机制。本发明技术要点包括：统一对象访问单元，用于向用户提供统一的数据访问接口并接收用户根据数据访问接口输入的数据访问请求；请求分发单元，用于接收数据访问请求，并根据访问请求指定的数据库将访问请求映射为该数据库能识别的访问指令，并将访问指令发送给指定的数据库；数据混合存储单元，包括多个数据库；各个数据库用于存储数据并根据访问指令完成相应的数据操作。

Description

一种异构环境下面向对象的数据存储系统及方法
技术领域
本发明涉及数据存储技术，尤其是一种异构环境下面向对象的数据存储系统及方法。
背景技术
现有的数据存储方案主要有两种，一种是关系数据库存储，一种是关系数据库索引、磁盘文件存储。
关系数据库适合存储少量的结构化数据（通常不大于GB级别），对查询功能支持较好。关系数据库存储的缺陷主要包括维护成本高、存储效率低、难以动态扩容等。首先，关系数据库存储前均需设计数据库存储模型，然后利用一系列SQL语句进行数据的存取操作，当数据模型发生变化时，需更改数据库存储模型、SQL语句等，大大降低了软件开发与维护效率；其次，关系数据库存储前需进行数据的完整性、一致性等检查，存储速率低，难以满足实时数据存储要求；最后，关系数据库由于数据库表的各种约束很难进行分布式设计，整体存储容量受限于单个磁盘的容量，难以进行动态扩容，无法满足海量数据存储要求。
关系数据库索引、磁盘文件存储在一定程度上能够解决容量问题，但此方式破坏了数据的整体性，磁盘文件容易发生变动从而引发数据失效。
伴随着国产化进程的推进，多操作系统、多存储介质、多编程语言环境下数据的互联互通成为大系统研制的关键与挑战，而单机关系数据库存储或简单的磁盘文件存储已无法胜任未来的数据存储与交换要求。
发明内容
针对当前一些应用环境复杂、数据量大、存储时效性高等要求的数据存储应用场景，本发明提供了一种基于混合存储介质的数据存储方式以及面向对象的数据访问与交换机制。混合存储介质是指包括内存键值数据库、磁盘键值数据库和磁盘关系数据库等多种类型的数据存储方式。各存储介质统一通过跨平台数据交换格式进行面向对象的数据存储和访问。
本发明提供的异构环境下面向对象的数据存储系统，包括：
统一对象访问单元，用于向用户提供统一的数据访问接口并接收用户根据数据访问接口输入的数据访问请求；
请求分发单元，用于接收数据访问请求，并根据访问请求指定的数据库将访问请求映射为该数据库能识别的访问指令，并将访问指令发送给指定的数据库；
数据混合存储单元，包括多个数据库；各个数据库用于存储数据并根据访问指令完成相应的数据操作。
进一步，数据混合存储单元包括内存键值数据库、磁盘键值数据库以及磁盘关系数据库。
进一步，所述统一的数据访问接口为API接口，用户的数据访问请求中包含反应指定数据库的存储键参数。
进一步，请求分发单元用于解析数据访问请求中的存储键参数，当存储键参数指向内存键值数据库或磁盘键值数据库时直接将访问请求发送给内存键值数据库或磁盘键值数据库；当存储键参数指向磁盘关系数据库时，则将访问请求映射为SQL访问指令并发送给磁盘关系数据库。
进一步，数据访问接口包括数据存储接口、数据获取接口、数据查询接口、数据删除接口以及数据发布订阅接口。
本发明还提供了一种异构环境下面向对象的数据存储方法，包括：
向用户提供统一的数据访问接口并接收用户根据数据访问接口输入的数据访问请求；
根据访问请求指定的数据库将访问请求映射为该数据库能识别的访问指令，并将访问指令发送给指定的数据库；
接收到访问指令的数据库根据所述访问指令完成相应的数据操作。
进一步，数据混合存储单元包括内存键值数据库、磁盘键值数据库以及磁盘关系数据库。
进一步，所述统一的数据访问接口为API接口，用户的数据访问请求中包含反应指定数据库的存储键参数。
进一步，还包括以下步骤：
解析数据访问请求中的存储键参数，当存储键参数指向内存键值数据库或磁盘键值数据库时直接将访问请求发送给内存键值数据库或磁盘键值数据库；当存储键参数指向磁盘关系数据库时，则将访问请求映射为SQL访问指令并发送给磁盘关系数据库。
进一步，数据访问接口包括数据存储接口、数据获取接口、数据查询接口、数据删除接口以及数据发布订阅接口。
由于采用了上述技术方案，本发明具有以下有益效果：
1.本发明提出混合存储体制，内存键值数据库能够实现数据的快速访问，磁盘数据库能够满足数据存储量大、易扩展的要求，同时解决了实时数据、海量数据和事务数据混合存储的难题。
2.现有的硬编码数据定义方式难以适应不断变化的业务需求，本发明采用统一的数据交换格式，当业务发生变化时仅需变动数据格式的定义而无须变更数据的序列化/反序列化、数据的访问接口等。
3.提供了异构环境下数据互联互通能力。本发明通过对数据交换格式的统一、对混合存储介质传输协议的适配、对编程语言的适配，实现了跨操作系统、跨编程语言和跨存储介质之间的数据的互联互通。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为本发明系统原理框图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1所示，本发明提供的异构环境下面向对象的数据存储系统，包括：统一对象访问单元、请求分发单元以及数据混合存储单元。
本实施例中数据库主要包括内存键值数据库、磁盘键值数据库和磁盘关系数据库。其中内存键值数据库驻留在内存，以key-value的方式存储数据，具备轻量、高速等特点，适合存储小量实时数据；磁盘键值数据库以key-value方式存储数据，具备高速、扩展性好等特点，适合存储海量数据；磁盘关系数据库以数据库表的方式存储数据，具备一致性好和完整性好等特点，适合存储结构化数据和对事务要求较高的数据。
统一对象访问单元主要向用户提供统一的数据访问接口，通过用户对接口的调用提出数据访问请求。本实施例利用标准数据转换协议对数据结构进行定义和转换，统一了数据在不同操作系统和编程语言之间交换的标准。具体访问接口包括数据存储接口、数据获取接口、数据查询接口、数据删除接口和数据发布订阅接口等。
请求分发单元主要实现了基于约定的方式将访问请求动态转换或者映射为数据库命令并分发至具体的数据库。本实施例中的数据访问接口均包含存储键参数，用于标识每每一条数据。分发策略如下：存储键参数中包含memory关键字时，认为该访问请求指向内存键值数据库，将访问请求分发至内存键值数据库；存储键参数中包含disk关键字时，认为该访问请求指向磁盘键值数据库，将访问请求分发至磁盘键值数据库；存储键参数中包含table关键字时，认为访问请求指向磁盘关系数据库，将访问请求分发至磁盘关系数据库。由于适配了各存储介质的传输协议，外部应用能够透明的访问混合存储介质而无须了解请求分发的细节。
各个数据库存储有数据并根据访问指令完成相应的数据操作。
在又一具体实施例中，统一的数据访问接口为API接口。
当存储键参数指向内存键值数据库或磁盘键值数据库时直接将访问请求发送给内存键值数据库或磁盘键值数据库；当存储键参数指向磁盘关系数据库时，则将访问请求映射为SQL访问指令并发送给磁盘关系数据库。
下面以获取数据为例，阐述本发明系统的工作过程：
用户调用系统向用户提供统一的数据获取接口，发出数据获取请求，请求中的存储键参数为memory。系统的统一对象访问单元获取用户的访问请求，并传输给请求分发单元。
请求分发单元解析访问请求中的存储键参数，得知该请求访问是指向内存键值数据库的，因此无需对API接口的访问请求进行映射或转换，便可直接将该访问请求发送给指定的内存键值数据库。
接收到访问指令的内存键值数据库将目标数据取出并返回给用户。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种异构环境下面向对象的数据存储系统，其特征在于，包括：
统一对象访问单元，用于向用户提供统一的数据访问接口并接收用户根据数据访问接口输入的数据访问请求；
请求分发单元，用于接收数据访问请求，并根据访问请求指定的数据库将访问请求映射为该数据库能识别的访问指令，并将访问指令发送给指定的数据库；
数据混合存储单元，包括多个数据库；各个数据库用于存储数据并根据访问指令完成相应的数据操作。
2.根据权利要求1所述的一种异构环境下面向对象的数据存储系统，其特征在于，数据混合存储单元包括内存键值数据库、磁盘键值数据库以及磁盘关系数据库。
3.根据权利要求2所述的一种异构环境下面向对象的数据存储系统，其特征在于，所述统一的数据访问接口为API接口，用户的数据访问请求中包含反应指定数据库的存储键参数。
4.根据权利要求3所述的一种异构环境下面向对象的数据存储系统，其特征在于，请求分发单元用于解析数据访问请求中的存储键参数，当存储键参数指向内存键值数据库或磁盘键值数据库时直接将访问请求发送给内存键值数据库或磁盘键值数据库；当存储键参数指向磁盘关系数据库时，则将访问请求映射为SQL访问指令并发送给磁盘关系数据库。
5.根据权利要求1所述的一种异构环境下面向对象的数据存储系统，其特征在于，数据访问接口包括数据存储接口、数据获取接口、数据查询接口、数据删除接口以及数据发布订阅接口。
6.一种异构环境下面向对象的数据存储方法，其特征在于，包括：
向用户提供统一的数据访问接口并接收用户根据数据访问接口输入的数据访问请求；
根据访问请求指定的数据库将访问请求映射为该数据库能识别的访问指令，并将访问指令发送给指定的数据库；
接收到访问指令的数据库根据所述访问指令完成相应的数据操作。
7.根据权利要求6所述的一种异构环境下面向对象的数据存储方法，其特征在于，数据混合存储单元包括内存键值数据库、磁盘键值数据库以及磁盘关系数据库。
8.根据权利要求7所述的一种异构环境下面向对象的数据存储方法，其特征在于，所述统一的数据访问接口为API接口，用户的数据访问请求中包含反应指定数据库的存储键参数。
9.根据权利要求8所述的一种异构环境下面向对象的数据存储方法，其特征在于，还包括以下步骤：
解析数据访问请求中的存储键参数，当存储键参数指向内存键值数据库或磁盘键值数据库时直接将访问请求发送给内存键值数据库或磁盘键值数据库；当存储键参数指向磁盘关系数据库时，则将访问请求映射为SQL访问指令并发送给磁盘关系数据库。
10.根据权利要求6所述的一种异构环境下面向对象的数据存储方法，其特征在于，数据访问接口包括数据存储接口、数据获取接口、数据查询接口、数据删除接口以及数据发布订阅接口。
CN201710189838.3A 2017-03-28 2017-03-28 一种异构环境下面向对象的数据存储系统及方法 Pending CN106980672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710189838.3A CN106980672A (zh) 2017-03-28 2017-03-28 一种异构环境下面向对象的数据存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710189838.3A CN106980672A (zh) 2017-03-28 2017-03-28 一种异构环境下面向对象的数据存储系统及方法

Publications (1)

Publication Number Publication Date
CN106980672A true CN106980672A (zh) 2017-07-25

Family

ID=59338535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710189838.3A Pending CN106980672A (zh) 2017-03-28 2017-03-28 一种异构环境下面向对象的数据存储系统及方法

Country Status (1)

Country Link
CN (1) CN106980672A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298851A (zh) * 2018-07-25 2019-02-01 中国电子科技集团公司第二十九研究所 一种OSGi异构软件框架的扩展机制适配方法
CN109388611A (zh) * 2018-09-04 2019-02-26 成都四方伟业软件股份有限公司 一种基于统一接口的大数据策略化储存系统
CN109446258A (zh) * 2018-10-22 2019-03-08 郑州云海信息技术有限公司 一种分布式数据存储方法及系统
CN109684335A (zh) * 2018-12-26 2019-04-26 百度在线网络技术（北京）有限公司 基于键值对的数据结构实现方法、装置、设备和存储介质
CN110008213A (zh) * 2019-03-13 2019-07-12 国电南瑞科技股份有限公司 一种调控系统实时数据分离式管理方法
CN110399416A (zh) * 2019-07-24 2019-11-01 成都甄识科技有限公司 一种分布式数据库操作优化访问处理方法及系统
CN111563112A (zh) * 2020-04-30 2020-08-21 城云科技（中国）有限公司 一种基于跨境贸易大数据的数据搜索和展示系统
CN111666283A (zh) * 2020-05-12 2020-09-15 埃睿迪信息技术（北京）有限公司 一种数据湖异构数据存储环境下统一数据访问的方法
CN113470791A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 全切片病理图像读图系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314375A (zh) * 2011-03-18 2012-01-11 北京神州数码思特奇信息技术股份有限公司 一种异构数据库存储统一接口和数据库访问方法
CN102521254A (zh) * 2011-11-17 2012-06-27 广东电网公司电力科学研究院 异构数据库的统一访问方法
WO2013182127A1 (zh) * 2012-09-19 2013-12-12 中兴通讯股份有限公司 一种异构网络中的数据共享方法及装置
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314375A (zh) * 2011-03-18 2012-01-11 北京神州数码思特奇信息技术股份有限公司 一种异构数据库存储统一接口和数据库访问方法
CN102521254A (zh) * 2011-11-17 2012-06-27 广东电网公司电力科学研究院 异构数据库的统一访问方法
WO2013182127A1 (zh) * 2012-09-19 2013-12-12 中兴通讯股份有限公司 一种异构网络中的数据共享方法及装置
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马俊涛: "以混合存储模型实现云计算平台对电信海量数据的处理", 《移动通信》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298851A (zh) * 2018-07-25 2019-02-01 中国电子科技集团公司第二十九研究所 一种OSGi异构软件框架的扩展机制适配方法
CN109388611B (zh) * 2018-09-04 2021-09-10 成都四方伟业软件股份有限公司 一种基于统一接口的大数据策略化储存系统
CN109388611A (zh) * 2018-09-04 2019-02-26 成都四方伟业软件股份有限公司 一种基于统一接口的大数据策略化储存系统
CN109446258A (zh) * 2018-10-22 2019-03-08 郑州云海信息技术有限公司 一种分布式数据存储方法及系统
CN109684335A (zh) * 2018-12-26 2019-04-26 百度在线网络技术（北京）有限公司 基于键值对的数据结构实现方法、装置、设备和存储介质
CN109684335B (zh) * 2018-12-26 2021-04-02 百度在线网络技术（北京）有限公司 基于键值对的数据结构实现方法、装置、设备和存储介质
CN110008213A (zh) * 2019-03-13 2019-07-12 国电南瑞科技股份有限公司 一种调控系统实时数据分离式管理方法
CN110399416A (zh) * 2019-07-24 2019-11-01 成都甄识科技有限公司 一种分布式数据库操作优化访问处理方法及系统
CN110399416B (zh) * 2019-07-24 2023-08-22 成都甄识科技有限公司 一种分布式数据库操作优化访问处理方法及系统
CN111563112A (zh) * 2020-04-30 2020-08-21 城云科技（中国）有限公司 一种基于跨境贸易大数据的数据搜索和展示系统
CN111666283A (zh) * 2020-05-12 2020-09-15 埃睿迪信息技术（北京）有限公司 一种数据湖异构数据存储环境下统一数据访问的方法
CN113470791A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 全切片病理图像读图系统
CN113470791B (zh) * 2021-05-26 2022-04-22 透彻影像(北京)科技有限公司 全切片病理图像读图系统

Similar Documents

Publication Publication Date Title
CN106980672A (zh) 一种异构环境下面向对象的数据存储系统及方法
US20230084389A1 (en) System and method for providing bottom-up aggregation in a multidimensional database environment
CN102663117B (zh) 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN103299267B (zh) 用于执行多租户存储中的交叉存储连接的方法和系统
US8650150B2 (en) System and method of relating data and generating reports
Holzschuher et al. Performance of graph query languages: comparison of cypher, gremlin and native access in neo4j
CN103246749B (zh) 面向分布式计算的矩阵数据库系统及其查询方法
CN107402990A (zh) 一种分布式NewSQL数据库系统和半结构化数据储存方法
CN102999537B (zh) 一种数据迁移系统和方法
CN102999584B (zh) 电力gis跨平台空间数据服务方法及系统
US8745021B2 (en) Transformation of complex data source result sets to normalized sets for manipulation and presentation
CN102420814A (zh) 一种数据访问方法、装置及服务器
CN103455540A (zh) 从数据仓库模型生成内存模型的系统和方法
CN110688399A (zh) 一种流式计算实时报表系统及方法
CN107193943A (zh) 一种rdbms在线数据迁移的方法和装置
CN103646051A (zh) 一种基于列存储的大数据并行处理系统及方法
US20210109912A1 (en) Multi-layered key-value storage
CN107832392A (zh) 一种元数据管理系统
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN111078961A (zh) 多数据源查询驱动系统、方法、装置和存储介质
CN102937964A (zh) 基于分布式系统的智能数据服务方法
CN103838781A (zh) 数据库访问方法及系统
CN110990425A (zh) 硬件数据库的jdbc驱动方法及装置
US9129035B2 (en) Systems, methods, and apparatus for accessing object representations of data sets
CN103853612A (zh) 一种基于分布式存储下的数字家庭内容读数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170725

RJ01 Rejection of invention patent application after publication