CN108121828A - 一种基于键值对数据库的多源异构数据管理方法及系统 - Google Patents

一种基于键值对数据库的多源异构数据管理方法及系统 Download PDF

Info

Publication number
CN108121828A
CN108121828A CN201810046170.1A CN201810046170A CN108121828A CN 108121828 A CN108121828 A CN 108121828A CN 201810046170 A CN201810046170 A CN 201810046170A CN 108121828 A CN108121828 A CN 108121828A
Authority
CN
China
Prior art keywords
facet
key
source heterogeneous
heterogeneous data
facets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810046170.1A
Other languages
English (en)
Inventor
王建民
黄向东
龙明盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810046170.1A priority Critical patent/CN108121828A/zh
Publication of CN108121828A publication Critical patent/CN108121828A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于键值对数据库的多源异构数据管理方法,包括:S1、将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;S2、基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。本发明提供的基于键值对数据库的多源异构数据管理方法及系统,通过键值对数据库实现了弹性表模型管理,保持了弹性表模型在刻面间和刻面内的弹性,从而有效的管理多源异构数据。

Description

一种基于键值对数据库的多源异构数据管理方法及系统
技术领域
本发明属于计算机数据管理技术领域,更具体地,涉及一种基于键值对数据库的多源异构数据管理方法及系统。
背景技术
随着大数据应用的普及,人们需要管理数据的种类和数量在不断增长,这些数据不仅包括传统的结构化数据,还包括文本、图像、视频等非结构化数据,以及基于这些数据提取和挖掘的二次加工数据等。此外,数据的来源也变得更加多样,例如对于一个设备工作状况的描述信息既包括设备上的传感器采集到的时序数据,还包括用户录入系统的巡查、检修等数据。这些多源异构数据的使用对现有的数据管理系统提出了巨大挑战,其中主要的问题就在于,现有的以关系模型为主的数据管理系统无法应对这些多源异构数据的两大特性:(1)同一对象的具有多种异构数据,且在不断演化;(2)一个对象的一种数据的属性值在不断演化。
故而现在亟须一种多源异构数据管理方法,来解决多源异构数据的数据管理问题。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于键值对数据库的多源异构数据管理方法,所述方法包括:
S1、将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;
S2、基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
其中,所述方法还包括:
基于预设的索引列组,记录每个所述多源异构数据所属的对象包括的刻面。
其中,所述基于预设的索引列组,记录每个所述多源异构数据所属的对象包括的刻面,包括:
为每个所述多源异构数据所属的对象设置一个对应的目标行键,当所述多源异构数据所属的对象包括的刻面增加时,在所述目标行键中添加目标列,所述目标列的列名为增加的刻面名字,所述目标列的列值为刻面增加的时间。
其中,步骤S1包括:
将所述多源异构数据按照所述多源异构数据描述的对象分为多个数据组;
将每个所述数据组按照数据的属性分为多个刻面,每个所述刻面包括若干属性的数据;
按照刻面对应的排序函数,对每个刻面中的数据进行排序并表示。
其中,所述对所述弹性表模型的管理包括:
弹性表模型信息改写,所述弹性表模型信息改写包括弹性表模型刻面扩展、弹性表模型刻面收缩以及弹性表模型属性收缩;
当进行弹性表模型刻面扩展时,在所述键值对数据库中新增扩展刻面对应的列组;
当进行弹性表模型刻面收缩时,在所述键值对数据库中将被收缩的刻面对应的列组中所有被收缩的刻面对应的键值删除,并在所述索引列组中删除被收缩的刻面对应的目标列;
当进行弹性表模型属性收缩时,在所述键值对数据库中将被收缩的属性对应的列从被收缩的属性对应的列组以及行键中删除。
其中,所述对所述弹性表模型的管理包括:
弹性表模型信息查询,所述弹性表模型信息查询包括查询多源异构数据所属的对象包括的刻面、查询刻面中包含的所有属性以及查询刻面中是否含有其中一个属性;
当进行查询多源异构数据所属的对象包括的刻面时,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述索引列组中查询所述目标行键对应的目标刻面;
当进行查询刻面中包含的所有属性时,根据所述查询刻面所属的对象,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述键值对数据库中查询目标行键对应的目标列组的所有列;
当进行查询刻面中是否含有其中一个属性时,根据所述查询刻面所属的对象,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述键值对数据库中查询目标列是否在目标行键对应的目标列组中。
根据本发明的第二方面,提供一种基于键值对数据库的多源异构数据管理系统,包括:
弹性表模型构建模块,用于将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;
键值对数据库管理模块,用于基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
根据本发明的第三方面,提供了一种基于键值对数据库的多源异构数据管理设备,包括:
处理器、存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行上述所述的一种基于键值对数据库的多源异构数据管理方法。
根据本发明的第四方面,提供一种计算机程序产品,包括程序代码,所述程序代码用于执行上述所述的一种时间序列压缩存储方法。
根据本发明的第五方面,提供一种非暂态计算机可读存储介质,用于存储如前所述的计算机程序。
本发明提供的基于键值对数据库的多源异构数据管理方法及系统,通过键值对数据库实现了弹性表模型管理,保持了弹性表模型在刻面间和刻面内的弹性,从而有效的管理多源异构数据。
附图说明
图1是本发明实施例提供的一种基于键值对数据库的多源异构数据管理方法流程图;
图2是本发明实施例提供的保存三个对象的列组示意图;
图3是本发明实施例提供的包含三个对象的索引列组示意图;
图4是本发明实施例提供的一种基于键值对数据库的多源异构数据管理系统结构图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
图1是本发明实施例提供的一种基于键值对数据库的多源异构数据管理方法流程图,如图1所示,所述方法包括:
S1、将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;
S2、基于,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
需要说明的是,由于多源异构数据具有同一对象的具有多种异构数据,且在不断演化和一个对象的一种数据的属性值在不断演化的两大特性,本发明实施例针对性的提出弹性表模型来应对上述多源异构数据的两大特性,在本发明实施例提供的弹性表中,一个数据对象可以由多个刻面组成,每个刻面可以表示一类数据,数据对象的刻面可以动态增减。
但是,由于弹性表模型与典型的关系模型、对象模型等不同,因此在既有的数据管理系统上对弹性表模型进行管理存在问题,为了更好的实现对弹性表模型的管理,本发明实施例提供了一种基于键值对数据库的管理方法来实现弹性表模型,从而对多源异构数据进行有效管理。
键值对数据库通常采用多维哈希结构用于表示数据,例如一种常见的数据表示方法是:一个数据包含一个行键、一个列组,一个列名,通过行键、列组、列名可以唯一指定一个数据值。
具体的,步骤S1包括:
将所述多源异构数据按照所述多源异构数据描述的对象分为多个数据组;
将每个所述数据组按照数据的属性分为多个刻面,每个所述刻面包括若干属性的数据;
按照刻面对应的排序函数,对每个刻面中的数据进行排序并表示。
在本发明实施例提供的弹性表模型中,首先将所有的多源异构数据按照多源异构数据描述的对象进行分组,那么对于多源异构数据集合D={d0,d1,…,dn}而言,按照对象分组后为D={O0,O1,…,Om},其中,Oi={di0,di1,…,dik}。
然后对每个对象中的数据按属性分组,每组称之为一个刻面,每个刻面内包含若干相关属性,不同刻面中属性的组织排序方式不同。那么对于每一个对象Oi={di0,di1,…,dik},都有Oi={Fi0,Fi1,…,Fih},其中刻面Fij=Sortij({dij0,dij1,…,dijt}),其中Sortij是刻面对应的排序函数。
需要说明的是,上述各对象之间的刻面的类型和数量可以各不相同,每个刻面的属性的数量可以各不相同,刻面的数量可以动态增减,同时刻面内的属性数量也可以动态增减。
那么,通过本发明实施例构建的弹性表模型就可以对多源异构数据进行有效表示,进一步的,本发明实施例通过键值对数据库对构建好的弹性表模型进行数据管理。
具体的,S2中,在本发明实施例提供的键值对数据库中,基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,那么当刻面集合为{F0,F1,…,Fn},每个刻面对应的排序函数为{Sort0,Sort1,…,Sortn}时,根据这些定义构建列组{CF0,CF1,…,CFn},其中列组CFi中列的排序方法为Sorti
同时,对于每一个需要存储的多源异构数据,将其所属的对象Oi作为键值对数据库中的行键,那么在对任意一个存储的多源异构数据进行管理操作时,只需要对键值对数据库进行操作即可。
图2是本发明实施例提供的保存三个对象的列组示意图,如图2所示,在本发明实施例提供的基于键值对数据库的多源异构数据管理方法,在对多源异构数据进行存储时,将对象O1、O2、O3作为行键,每个行键对应其包含的刻面{F0,F1,…,Fn},例如图2中,对象O1对应刻面F1、F2;对象O2对应刻面F1;对象O3对应刻面F1、F2、F3
进一步的,如图2所示,每个刻面对应的对象不同,存储的属性不同,例如对象O1对应刻面F1时,刻面F1具有P11、P12、P13三个属性,而对象O2对应刻面F1时,刻面F1具有的是P21、P22、P23、P24四个属性,同样的,同一对象对应的不同刻面,其具有的属性可以不同。
那么,在本发明实施例中,通过将弹性表模型中的刻面、属性等概念与键值对数据库中的概念进行映射,从而实现了通过键值对数据库实现了弹性表模型管理,保持了弹性表模型在刻面间和刻面内的弹性,从而有效的管理多源异构数据。
在上述实施例的基础上,所述方法还包括:
基于预设的索引列组,记录每个所述多源异构数据所属的对象包括的刻面。
所述基于预设的索引列组,记录每个所述多源异构数据所属的对象包括的刻面,包括:
为每个所述多源异构数据所属的对象设置一个对应的目标行键,当所述多源异构数据所属的对象包括的刻面增加时,在所述目标行键中添加目标列,所述目标列的列名为增加的刻面名字,所述目标列的列值为刻面增加的时间。
可以理解的是,本发明实施例对于对象与刻面的管理,优选的构建了索引表来方便管理,具体的,在本发明实施例中,通过构建索引列组,从而记录每个对象拥有哪些刻面,将列组名记为_facets,排序方式为刻面名字的字典序,每个对象在该列组中均有一个目标行键,对象每增加一个刻面,就在该列组的该目标行键下添加一个新列,列名为新增刻面的名字,列值为新增刻面的时间。
图3是本发明实施例提供的包含三个对象的索引列组示意图,如图3所示,本发明实施例提供了三个对象O1、O2、O3,对于对象O1,其具有四个刻面,分别为F11、F12、F13、F14;对于对象O2,其具有三个刻面,分别为F21、F22、F23;对于对象O3,其具有五个刻面,分别为F31、F32、F33、F34、F35
如图3所示,每个对象对应一个目标行键,一个目标行键对应多个目标列,列名为刻面名字,当需要增加新刻面时,直接在对应目标行键下添加新列即可。
在上述实施例的基础上,所述对所述弹性表模型的管理包括:
弹性表模型信息改写,所述弹性表模型信息改写包括弹性表模型刻面扩展、弹性表模型刻面收缩以及弹性表模型属性收缩;
当进行弹性表模型刻面扩展时,在所述键值对数据库中新增扩展刻面对应的列组;
当进行弹性表模型刻面收缩时,在所述键值对数据库中将被收缩的刻面对应的列组中所有被收缩的刻面对应的键值删除,并在所述索引列组中删除被收缩的刻面对应的目标列;
当进行弹性表模型属性收缩时,在所述键值对数据库中将被收缩的属性对应的列从被收缩的属性对应的列组以及行键中删除。
所述对所述弹性表模型的管理还包括:
弹性表模型信息查询,所述弹性表模型信息查询包括查询多源异构数据所属的对象包括的刻面、查询刻面中包含的所有属性以及查询刻面中是否含有其中一个属性;
当进行查询多源异构数据所属的对象包括的刻面时,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述索引列组中查询所述目标行键对应的目标刻面;
当进行查询刻面中包含的所有属性时,根据所述查询刻面所属的对象,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述键值对数据库中查询目标行键对应的目标列组的所有列;
当进行查询刻面中是否含有其中一个属性时,根据所述查询刻面所属的对象,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述键值对数据库中查询目标列是否在目标行键对应的目标列组中。
可以理解的是,本发明实施例对弹性表模型的管理主要包括弹性表模型信息查询和弹性表模型信息改写。
弹性表模型信息改写主要是涉及对多源异构数据的数据存储、删除、更改等操作,主要包括了弹性表模型刻面扩展、弹性表模型刻面收缩以及弹性表模型属性收缩,而弹性表模型信息查询包括查询多源异构数据所属的对象包括的刻面、查询刻面中包含的所有属性以及查询刻面中是否含有其中一个属性。
例如:当执行扩展刻面操作addFacet(Oi,Fj)时,本发明实施例将直接在键值对数据库中新增一个列组CFj
当执行收缩刻面操作rmFacet(Oi,Fj)时,本发明实施例在键值对数据库中将列组CFj中所有属于行键Oi的值删除,同时从索引列组中删除对应的列名;
当执行收缩属性操作rmProp(Oi,Fj,Pk)时,本发明实施例在键值对数据库中将列Pk从列组CFj、行键Oi中删除;
当执行查询一个对象Oi拥有哪些刻面时,本发明实施例在键值对数据库中指定行键Oi,查询其在_facets列组中的所有列;
当执行查询一个对象Oi在一个刻面Fj中的所有属性时,本发明实施例在键值对数据库中指定行键Oi,查询其在列组CFj中的所有列;
当执行查询一个对象Oi在一个刻面Fj中是否有属性Pk时,本发明实施例在键值对数据库中指定行键Oi,查询其在列组CFj中的列Pk
图3是本发明实施例提供的保存三个对象的列组示意图
通过本发明实施例提供的实例可以表明,本发明实施例提供的方案能够有效对多源异构数据进行管理,并且基于行键区分对象,在实际应用中可以实现数据分区,实现分布式存储,从而应对大数据场景。
图4是本发明实施例提供的一种基于键值对数据库的多源异构数据管理系统结构图,如图4所示,一种基于键值对数据库的多源异构数据管理系统,包括:弹性表模型构建模块1和键值对数据库管理模块2,其中:
弹性表模型构建模块1用于将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;
键值对数据库管理模块2用于基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
具体的如何利用弹性表模型构建模块1和键值对数据库管理模块2对多源异构数据管理可参见上述实施例,本发明实施例对此不再赘述。
本发明实施例提供一种基于键值对数据库的多源异构数据管理系统,包括:至少一个处理器;以及与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法,例如包括:S1、将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;S2、基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:S1、将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;S2、基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:S1、将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;S2、基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于键值对数据库的多源异构数据管理方法,其特征在于,包括:
S1、将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;
S2、基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
2.根据权利要求1所述的方法,其特征在于,步骤S2还包括:
基于预设的索引列组,记录每个所述多源异构数据所属的对象包括的刻面。
3.根据权利要求2所述的方法,其特征在于,所述基于预设的索引列组,记录每个所述多源异构数据所属的对象包括的刻面,包括:
为每个所述多源异构数据所属的对象设置一个对应的目标行键,当所述多源异构数据所属的对象包括的刻面增加时,在所述目标行键中添加目标列,所述目标列的列名为增加的刻面名字,所述目标列的列值为刻面增加的时间。
4.根据权利要求2所述的方法,其特征在于,步骤S1包括:
将所述多源异构数据按照所述多源异构数据描述的对象分为多个数据组;
将每个所述数据组按照数据的属性分为多个刻面,每个所述刻面包括若干属性的数据;
按照刻面对应的排序函数,对每个刻面中的数据进行排序并表示。
5.根据权利要求4所述的方法,其特征在于,所述对所述弹性表模型的管理包括:
弹性表模型信息改写,所述弹性表模型信息改写包括弹性表模型刻面扩展、弹性表模型刻面收缩以及弹性表模型属性收缩;
当进行弹性表模型刻面扩展时,在所述键值对数据库中新增扩展刻面对应的列组;
当进行弹性表模型刻面收缩时,在所述键值对数据库中将被收缩的刻面对应的列组中所有被收缩的刻面对应的键值删除,并在所述索引列组中删除被收缩的刻面对应的目标列;
当进行弹性表模型属性收缩时,在所述键值对数据库中将被收缩的属性对应的列从被收缩的属性对应的列组以及行键中删除。
6.根据权利要求4或5所述的方法,其特征在于,所述对所述弹性表模型的管理包括:
弹性表模型信息查询,所述弹性表模型信息查询包括查询多源异构数据所属的对象包括的刻面、查询刻面中包含的所有属性以及查询刻面中是否含有其中一个属性;
当进行查询多源异构数据所属的对象包括的刻面时,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述索引列组中查询所述目标行键对应的目标刻面;
当进行查询刻面中包含的所有属性时,根据所述查询刻面所属的对象,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述键值对数据库中查询目标行键对应的目标列组的所有列;
当进行查询刻面中是否含有其中一个属性时,根据所述查询刻面所属的对象,在所述键值对数据库中查询多源异构数据所属的对象对应的目标行键,基于所述多源异构数据所属的对象对应的目标行键,在所述键值对数据库中查询目标列是否在目标行键对应的目标列组中。
7.一种基于键值对数据库的多源异构数据管理系统,其特征在于,包括:
弹性表模型构建模块,用于将多源异构数据按照弹性表模型的形式进行表示,其中,所述弹性表模型包括刻面以及刻面对应的排序函数,所述刻面表示同一描述对象的具有相关属性的多源异构数据集合,在每个刻面中,按照所述刻面对应的排序函数,对所述多源异构数据进行表示;
键值对数据库管理模块,用于基于所述刻面以及刻面对应的排序函数,构建键值对数据库的列组,并将所述多源异构数据所属的对象作为所述键值对数据库的行键,以实现对所述弹性表模型的管理。
8.一种计算机设备,其特征在于,包括存储器和处理器,所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种计算机程序产品,其特征在于,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如权利要求1至6任一所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN201810046170.1A 2018-01-17 2018-01-17 一种基于键值对数据库的多源异构数据管理方法及系统 Pending CN108121828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810046170.1A CN108121828A (zh) 2018-01-17 2018-01-17 一种基于键值对数据库的多源异构数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810046170.1A CN108121828A (zh) 2018-01-17 2018-01-17 一种基于键值对数据库的多源异构数据管理方法及系统

Publications (1)

Publication Number Publication Date
CN108121828A true CN108121828A (zh) 2018-06-05

Family

ID=62233946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810046170.1A Pending CN108121828A (zh) 2018-01-17 2018-01-17 一种基于键值对数据库的多源异构数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN108121828A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241032A (zh) * 2018-08-16 2019-01-18 北京京东尚科信息技术有限公司 账本数据库组件、运行方法及存储介质
CN110489475A (zh) * 2019-08-14 2019-11-22 广东电网有限责任公司 一种多源异构数据处理方法、系统及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023970A (zh) * 2012-11-15 2013-04-03 中国科学院计算机网络信息中心 一种物联网海量数据存储方法及系统
US9189531B2 (en) * 2012-11-30 2015-11-17 Orbis Technologies, Inc. Ontology harmonization and mediation systems and methods
CN106600302A (zh) * 2015-10-19 2017-04-26 玺阅信息科技(上海)有限公司 基于Hadoop的商品推荐系统
CN106611046A (zh) * 2016-12-16 2017-05-03 武汉中地数码科技有限公司 基于大数据技术的空间数据存储处理中间件框架

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023970A (zh) * 2012-11-15 2013-04-03 中国科学院计算机网络信息中心 一种物联网海量数据存储方法及系统
US9189531B2 (en) * 2012-11-30 2015-11-17 Orbis Technologies, Inc. Ontology harmonization and mediation systems and methods
CN106600302A (zh) * 2015-10-19 2017-04-26 玺阅信息科技(上海)有限公司 基于Hadoop的商品推荐系统
CN106611046A (zh) * 2016-12-16 2017-05-03 武汉中地数码科技有限公司 基于大数据技术的空间数据存储处理中间件框架

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄弘: ""国土资源一张图云存储关键技术研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241032A (zh) * 2018-08-16 2019-01-18 北京京东尚科信息技术有限公司 账本数据库组件、运行方法及存储介质
CN109241032B (zh) * 2018-08-16 2021-02-26 北京京东尚科信息技术有限公司 账本数据库组件、运行方法及存储介质
CN110489475A (zh) * 2019-08-14 2019-11-22 广东电网有限责任公司 一种多源异构数据处理方法、系统及相关装置

Similar Documents

Publication Publication Date Title
EP2924594B1 (en) Data encoding and corresponding data structure in a column-store database
US8712972B2 (en) Query optimization with awareness of limited resource usage
US9639542B2 (en) Dynamic mapping of extensible datasets to relational database schemas
US8924373B2 (en) Query plans with parameter markers in place of object identifiers
US20150220600A1 (en) Efficient set operation execution using a single group-by operation
CN107003935A (zh) 优化数据库去重
EP3365812A1 (en) Create table for exchange
CN105630803B (zh) 文档型数据库建立索引的方法和装置
CN110727687A (zh) 一种物料清单转换方法及其系统
US20110099174A1 (en) Data Recovery System and Method In A Resource Description Framework Environment
CN111241108B (zh) 基于键值对kv系统的索引方法、装置、电子设备和介质
CN111008521A (zh) 生成宽表的方法、装置及计算机存储介质
CN104573022A (zh) 一种HBase的数据查询方法及装置
CN104598517A (zh) 基于普通数据库的树型结构表的存储与查询技术
JP5926321B2 (ja) 大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法
CN108287889B (zh) 一种基于弹性表模型的多源异构数据存储方法和系统
JP6642435B2 (ja) データ処理装置、データ処理方法、及び、プログラム
US11068459B2 (en) Computer implemented and computer controlled method, computer program product and platform for arranging data for processing and storage at a data storage engine
KR101955376B1 (ko) 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치
CN108121828A (zh) 一种基于键值对数据库的多源异构数据管理方法及系统
CN111125045B (zh) 一种轻量级etl处理平台
US11151178B2 (en) Self-adapting resource aware phrase indexes
CN111666302A (zh) 用户排名的查询方法、装置、设备及存储介质
KR101592670B1 (ko) 인덱스를 이용하는 데이터 검색 장치 및 이를 이용하는 방법
US20200097573A1 (en) Identification of records for post-cloning tenant identifier translation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180605

RJ01 Rejection of invention patent application after publication