CN110597801A - 一种数据库系统及其建立方法和装置 - Google Patents

一种数据库系统及其建立方法和装置 Download PDF

Info

Publication number
CN110597801A
CN110597801A CN201810502231.0A CN201810502231A CN110597801A CN 110597801 A CN110597801 A CN 110597801A CN 201810502231 A CN201810502231 A CN 201810502231A CN 110597801 A CN110597801 A CN 110597801A
Authority
CN
China
Prior art keywords
information
storage system
data
database
database table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810502231.0A
Other languages
English (en)
Other versions
CN110597801B (zh
Inventor
李金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810502231.0A priority Critical patent/CN110597801B/zh
Priority to PCT/CN2019/087242 priority patent/WO2019223601A1/zh
Publication of CN110597801A publication Critical patent/CN110597801A/zh
Application granted granted Critical
Publication of CN110597801B publication Critical patent/CN110597801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请是关于一种数据库系统及其建立方法和装置,属于通信领域。所述系统包括:存储层和源数据层,存储层包括第一存储系统和第二存储系统,源数据层包括多个数据库,每个数据库包括至少一个数据库表,每个数据库表用于存储数据;第一存储系统,用于存储每个数据库包括的每个数据库表中存储的数据;第二存储系统,用于存储目标数据库表对应的结构信息,以及存储该结构信息的标识与位置信息的对应关系,该位置信息包括目标数据库表包括的数据在第一存储系统中的存储位置,该结构信息包括目标数据库表中的各数据项,目标数据库表为多个数据库中的任一数据库中的数据库表。本申请不会对各数据库对应的原业务访问数据库产生影响。

Description

一种数据库系统及其建立方法和装置
技术领域
本申请涉及通信领域,特别涉及一种数据库系统及其建立方法和装置。
背景技术
在信息化建设的过程,很多企业的部门根据自身业务和功能需要,建立了许多相互隔离的异构数据库。由于缺乏统一的信息规化,各数据库开发的时间不一致,造成访问各数据库的方式不同,各数据库相互独立、信息无法交流和整合,形成了信息孤岛。
为了解决该问题,目前出现了一种数据库系统,该系统包括数据库层和融合层,数据库层包括多个数据库和数据库代理。当需要同时读取多个数据库时,可以向融合层发送读取请求,融合层将该读取请求转发到数据库代理。数据库代理从该多个数据库中读取数据,将从每个数据库中读取的数据发送到融合层。融合层将每个数据库的数据整合,然后再发送出去。
发明人在实现本申请的过程中,发现上述方式至少存在如下缺陷:
数据库中的每个数据库都有各自对应的业务,在融合层通过数据库代理访问各数据库时,可能影响到该数据库对应的业务访问该数据库。
发明内容
为了解决相关技术中的问题,本申请实施例提供了一种数据库系统及其建立方法和装置。所述技术方案如下:
第一方面,本申请实施例提供了一种数据库系统,包括:
存储层和源数据层,所述存储层包括第一存储系统和第二存储系统,所述源数据层包括多个数据库,所述多个数据库中的每个数据库包括至少一个数据库表,所述每个数据库包括的每个数据库表用于存储数据;
所述第一存储系统,用于存储所述每个数据库包括的每个数据库表中存储的数据;
所述第二存储系统,用于存储目标数据库表对应的结构信息,以及存储所述结构信息的标识与位置信息的对应关系,所述位置信息包括所述目标数据库表包括的数据在所述第一存储系统中的存储位置,所述结构信息包括所述目标数据库表中的各数据项,所述目标数据库表为所述多个数据库中的任一数据库中的数据库表。
可选的,所述第一存储系统为HDFS,所述第二存储系统为RDMS。
可选的,所述源数据层包括的数据库类型为Oracle、MySQL和HDFS中的一种或多种。
第二方面,本申请实施例提供了一种数据库系统的建立方法,所述数据库系统为第一方面或第一方面任一可选的所述的系统;
所述方法包括:
读取所述目标数据库表的结构信息和所述目标数据库表中的数据;
将所述结构信息存储在所述第二存储系统,将所述目标数据库表中的数据存储在所述第一存储系统;
将所述结构信息的标识和所述目标数据库表中的数据在所述第一存储系统中的位置信息对应保存在所述第二存储系统中的标识与位置信息对应关系中。
可选的,所述方法还包括:
根据待查询的检索信息,在所述存储层中查询所述检索信息对应的数据。
可选的,所述根据待查询的检索信息,在所述存储层中查询所述检索信息对应的数据,包括:
确定待查询的检索信息所属的目标数据项;
从所述第二存储系统中获取包括所述目标数据项的结构信息;
根据所述结构信息的标识,从所述第二存储系统中获取对应的位置信息;
根据所述位置信息,在所述第一存储系统中确定出对应的数据库表;
根据所述检索信息在所述数据库表查询所述检索信息对应的数据。
第三方面,本申请实施例提供了一种数据库系统的建立装置,所述数据库系统为第一方面或第一方面任一可选的所述的系统;
所述装置包括:
读取模块,用于读取目标数据库表的结构信息和所述目标数据库表中的数据;
存储模块,用于将所述结构信息存储在所述第二存储系统,将所述目标数据库表中的数据存储在所述第一存储系统;将所述结构信息的标识和所述目标数据库表中的数据在所述第一存储系统中的位置信息对应保存在所述第二存储系统中的标识与位置信息对应关系中。
可选的,所述装置还包括:
查询模块,用于根据待查询的检索信息,在所述存储层中查询所述检索信息对应的数据。
可选的,所述查询模块包括:确定单元、获取单元和查询单元;
所述确定单元,用于确定所述待查询的检索信息所属的目标数据项;
所述获取单元,用于从所述第二存储系统中获取包括所述目标数据项的结构信息;根据所述结构信息的标识,从所述第二存储系统中获取对应的位置信息;
所述确定单元,还用于根据所述位置信息,确定出对应的确定出对应的数据库表;
所述查询单元,用于根据所述检索信息在所述数据库表查询所述检索信息对应的数据。
本申请实施例提供的技术方案可以包括以下有益效果:
通过在第一存储系统中存储有源数据层中的每个数据库表中的每个数据表中的数据,以及在第二存储系统中存储每个数据库表对应的结构信息,这样在查询各数据库中的数据时,可以根据第二存储系统中的各结构信息,查询第一存储系统,从而不需要查询源数据层中的各数据库,不会对各数据库对应的原业务访问数据库产生影响。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1-1是本申请实施例提供的一种数据库系统的结构示意图;
图1-2是本申请实施例提供的另一种数据库系统的结构示意图;
图2-1是本申请实施例提供的一种数据库系统的建立方法流程图;
图2-2是本申请实施例提供的一种数据库系统的建立方法的另一流程图;
图3是本申请实施例提供的一种数据库系统的建立装置结构示意图;
图4是本申请实施例提供的一种终端结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
参见图1-1,本申请实施例提供了一种数据库系统,包括:
存储层1和源数据层2,存储层1包括第一存储系统11和第二存储系统12,源数据层2包括多个数据库,该多个数据库中的每个数据库包括至少一个数据库表,每个数据库包括的每个数据库表用于存储数据;
第一存储系统11,用于存储每个数据库包括的每个数据库表中存储的数据;
第二存储系统12,用于存储目标数据库表对应的结构信息以及存储该结构信息的标识与位置信息的对应关系,该位置信息包括目标数据库表包括的数据在所述第一存储系统中的存储位置,该结构信息包括目标数据库表中的各数据项,目标数据库表为该多个数据库中的任一数据库中的数据库表。
对于源数据层2中的每个数据库包括的每个数据库表,该数据库表包括多个数据项,在该数据库表中每个数据项对应一列,数据项对应的列用于存储属于该数据项的数据。例如,参见下表1所示的数据库表,该数据库表为户籍信息表,用于存储用户的户籍信息。户籍信息表中包括四个数据项,分别为“身份证号”、“姓名”、“户口地址”和“民族”,在户籍信息表中数据项“身份证号”对应的列用于存储各用户的身份证号,数据项“姓名”对应的列用于存储各用户的姓名,数据项“户口地址”对应的列用于存储各用户的户口地址,以及数据项“民族”对应的列用于存储各用户的民族。
表1为户籍信息表
身份证号 姓名 户口地址 民族
No1 Name1 Address1
No2 Name2 Address2
…… …… …… ……
再例如,参见下表2所示的数据库表,该数据库表为学历信息表,用于存储用户的学历信息。学历信息表中包括四个数据项,分别为“身份证号”、“姓名”、“学历”和“学校”,在学历信息表中数据项“身份证号”对应的列用于存储各用户的身份证号,数据项“姓名”对应的列用于存储各用户的姓名,数据项“学历”对应的列用于存储各用户的学历,以及数据项“学校”对应的列用于存储各用户的学校。
表2为学历信息表
身份证号 姓名 学历 学校
No1 Name1 本科 北京###大学
No2 Name2 研究生 北京***大学
…… …… …… ……
可选的,第一存储系统11用于存储有表1所示的户籍信息表中的数据,以及用于存储表2所示的学历信息表中的数据。第一存储系统11中可以不保存户籍信息表第一行存储的各数据项,以及可以不不保存学历信息表第一行存储的各数据项。
可选的,参见下表3,第二存储系统12,用于存储户籍信息表对应的结构信息,该结构信息中包括户籍信息表中的数据项“身份证号”、“姓名”、“户口地址”和“民族”,以及用于存储学历信息表对应的结构信息,该结构信息包括学历信息表中的数据项“身份证号”、“姓名”、“学历”和“学校”。
表3
结构信息
“身份证号”、“姓名”、“户口地址”和“民族”
“身份证号”、“姓名”、“学历”和“学校”
……
以及,参见下表4,第二存储系统12,还用于存储标识与位置信息的对应关系,该对应关系中包括户籍信息表对应的第一记录和学历信息表对应的第二记录。第一记录包括户籍信息表对应的结构信息的标识ID1和户籍信息表包括的数据在第一存储系统11中的位置信息Position1;以及第二记录包括学历信息表对应的结构信息的标识ID2和学历信息表包括的数据在第一存储系统11中的位置信息Position2。
表4
标识 位置信息
ID1 Position1
ID2 Position2
…… ……
可选的,参见图1-2,本申请实施例还提供:采集转换层3,采集转换层3中包括至少一个建立装置;
该建立装置,用于读取目标数据库表的结构信息和目标数据库表中的数据,将该结构信息存储在第二存储系统12中,将目标数据库表中的数据存储在第一存储系统11中,将该结构信息的标识和目标数据库表中的数据在第一存储系统11中的位置信息对应存储在第二存储系统12中的标识与位置信息的对应关系中。
可选的,源数据层2中的数据库可能属于不同的数据库类型。例如,源数据层2中可能存在至少一个数据库的数据库类型为Oracle,可能存在至少一个数据库的数据库类型为MySQL,和/或,可能存在至少一个数据库的数据库类型为Hadoop分布式文件系统(HadoopDistributed File System,HDFS)等。
采集转换层3可以包括至少一个数据库类型中的每个数据库类型对应的建立装置;对于每个数据库类型对应的建立装置,该建立装置用于从源数据层2中确定属于该数据库类型的数据库,对于该数据库中任一个数据库表(称为目标数据库表),获取目标数据库表的结构信息,并将该结构信息存储在第二存储系统12中,获取目标数据库表中的数据,并将目标数据库表中的数据存储在第一存储系统11以及获取该数据在第一存储系统11中的位置信息,将该结构信息的标识和该位置信息对应保存在第二存储系统12中的标识与位置信息的对应关系。
由于不同数据库类型的数据库的结构不同,所以需要不同的建立装置来分析数据库的结构以及读取数据。在采集转换层3中的每个建立装置中预设有用于读取分析数据库的结构以及读取数据的方案,该建立装置可以采用该方案分析属于其对应的数据库类型的数据库的结构以及从该数据库中读取数据。
采集转换层3中的各建立装置可以是技术人员事先设置的。当源数据层2中出现新的数据库类型的数据库时,技术人员可以设计该数据库类型对应的建立装置,将该建立装置添加到采集转换层3中。
可选的,第一存储系统11可以为HDFS,第二存储系统12可以为关系数据库管理系统(Relational Data(base)Management System,RDMS)。
可选的,源数据层2包括的数据库类型可以为Oracle、MySQL和HDFS等中的一种或多种。
在本申请实施例中,由于在第一存储系统中存储有源数据层中的每个数据库表中的每个数据表中的数据,以及在第二存储系统中存储每个数据库表对应的存储项,这样在查询各数据库中的数据时,可以根据第二存储系统中的各存储项,查询第一存储系统,从而不需要查询源数据层中的各数据库,这样源数据层中的各数据库对应的原业务访问源数据层中的各数据库,不会对各数据库对应的原业务访问数据库产生影响。
本申请实施例提供了一种数据库系统的建立方法,其中,该系统包括存储层和源数据层,存储层包括第一存储系统和第二存储系统,源数据层包括多个数据库,多个数据库中的每个数据库包括至少一个数据库表,每个数据库包括的每个数据库表用于存储数据。
参见图2-1,该方法的执行主体可以为图1-2所示的采集转换层中的任一个建立装置,包括:
步骤201:获取目标数据库表对应的结构信息,该结构信息包括目标数据库表中的各数据项,目标数据库表是源数据层中的一个数据库中的一个数据库表。
对于采集转换层中的任一个建立装置,该建立装置对应至少一个数据库类型,从源数据层包括的数据库中确定属于其对应的数据库类型的数据库,选择该数据库中的任一个数据库表作为目标数据表,然后从本步骤开始执行。
可选的,源数据层中的每个数据库包括的每个数据库表包括多个数据项,在该数据库表中每个数据项对应一列,数据项对应的列用于存储属于该数据项的数据。例如,参见上述表1所示的数据库表,该数据库表为户籍信息表,用于存储用户的户籍信息。户籍信息表中包括四个数据项,分别为“身份证号”、“姓名”、“户口地址”和“民族”,在户籍信息表中数据项“身份证号”对应的列用于存储各用户的身份证号,数据项“姓名”对应的列用于存储各用户的姓名,数据项“户口地址”对应的列用于存储各用户的户口地址,以及数据项“民族”对应的列用于存储各用户的民族。
再例如,参见上述表2所示的数据库表,该数据库表为学历信息表,用于存储用户的学历信息。户籍信息表中包括四个数据项,分别为“身份证号”、“姓名”、“学历”和“学校”,在学历信息表中数据项“身份证号”对应的列用于存储各用户的身份证号,数据项“姓名”对应的列用于存储各用户的姓名,数据项“学历”对应的列用于存储各用户的学历,以及数据项“学校”对应的列用于存储各用户的学校。
例如,假设选择表1所示的户籍信息表,则在本步骤中可以从如表1所示的户籍信息表中获取户籍信息表对应的第一结构信息,第一结构信息包括户籍信息表中的数据项,分别为“身份证号”、“姓名”、“户口地址”和“民族”。
再例如,假设选择表2所示的学历信息表,则在本步骤中获取学历信息表对应的第二结构信息,第二结构信息包括学历信息表中的数据项,分别为“身份证号”、“姓名”、“学历”和“学校”。
步骤202:将该结构信息存储在第二存储系统中,并获取该结构信息的标识。
可选的,将该结构信息存储在第二存储系统后,可以分配一个用于唯一标识该结构信息的标识。
例如,如上表3所示,将第一结构信息包括的“身份证号”、“姓名”、“户口地址”和“民族”存储在第二存储系统中,并分配第一结构信息的标识ID1。将第二结构信息包括的“身份证号”、“姓名”、“学历”和“学校”存储在第二存储系统中,并分配第二结构信息的标识ID2。
步骤203:获取目标数据库表中的数据,将目标数据库表中的数据存储在第一存储系统,获取该数据在第一存储系统中的位置信息。
例如,获取表1所示的户籍信息表中的数据,在第一存储系统中存储表1所示的户籍信息表中的数据,并获取在第一存储系统中户籍信息表中的数据的第一位置信息,第一位置信息包括存储位置Position1。
再例如,获取表2所示的学历信息表中的数据,在第一存储系统11中存储表2所示的学历信息表中的数据,并获取在第一存储系统11中学历信息表中的数据的第二位置信息,第二位置信息包括存储位置Position2。
步骤204:将目标数据库表的结构信息的标识和该位置信息对应保存在第二存储系统中的标识与位置信息的对应关系中。
例如,参见上表4,可以将第一结构信息的标识ID1和第一位置信息包括的Position1对应保存在第二存储系统中的标识与位置信息的对应关系中,以及,将第二结构信息的标识ID2和第二位置信息包括的Position2对应保存在第二存储系统中的标识与位置信息的对应关系中。
可选的,建立完数据库系统后,当需要访问源数据层中的多个数据库时,可以发送查询请求给该系统,参见图2-2,该系统可以通过如下操作进行查询。
步骤205:接收查询请求消息,该查询请求消息携带检索信息。
该检索信息属于至少一个数据项,例如,假设该检索信息是No1,则该检索信息属于的数据项为身份证号。
步骤206:根据该检索信息,在存储层中查询数据。
本步骤可以,通过如下2061至2064的操作来实现,分别为:
2061:确定该检索信息所属的目标数据项。
例如,假设,该检索信息是No1,则该检索信息属于的目标数据项为身份证号。
2062:从第二存储系统中查询出包括该目标数据项的结构信息。
可选的,还可以根据目标数据项在结构信息的位置,确定目标数据项对应的列。
例如,从上述表3所示的第二存储系统中查询出包括身份证号的结构信息,包括第一结构信息和第二结构信息。第一结构信息包括的结构信息为“身份证号”、“姓名”、“户口地址”和“民族”,“身份证号”在第一结构信息的位置为第一个位置,进而据此确定出“身份证号”对应的列为第一列;第二结构信息包括的结构信息为“身份证号”、“姓名”、“学历”和“学校”,“身份证号”在第一结构信息的位置为第一个位置,进而据此确定出“身份证号”对应的列为第一列。
2063:根据该结构信息的标识获取该结构信息对应的数据库表的位置信息,在第一存储系统中确定出该位置信息对应的数据库表,该数据库表中至少包括该检索信息和与该检索信息相对应的数据。
可选的,由于该数据库表中第一行的数据项不存在,则还可以根据该目标数据项在该结构信息的位置,确定在该数据库表中目标数据项对应的列。
例如,根据第一结构信息的标识ID1,从表4所示的标识与位置信息的对应关系中获取对应的位置信息Position1,在第一存储系统中确定出该位置信息Position1对应的户籍信息表,户籍信息表中包括身份证号No1和与No1相对应的数据,该数据包括姓名“Name1”、户口地址“Address1”以及民族“汉”。
目标数据项“身份证号”排在第一结构信息中的第一个位置,根据该第一个位置确定在户籍信息表中目标数据项“身份证号”对应的列为第一列。
根据第二结构信息的标识ID2,从表4所示的标识与位置信息的对应关系中获取对应的位置信息Position2,在第一存储系统中确定出该位置信息Position2对应的学历信息表,学历信息表中包括身份证号No2和与No2相对应的数据,该数据包括姓名“Name1”、学历“本科”以及学校“北京###大学”。
目标数据项“身份证号”排在第二结构信息中的第一个位置,根据该第一个位置确定在学历信息表中目标数据项“身份证号”对应的列为第一列。
2064:根据该检索信息在该数据库表查询该检索信息对应的数据,发送查询到的数据。
可选的,在该数据库表中目标数据项对应的列中寻找出与该检索信息相同的数据,获取位于该数据所在行中的其他数据,该其他数据即为查询到的该检索信息对应的数据。
例如,根据身份证号“No1”,在户籍信息表中的第一列中查找出身份证号“No1”,在身份证号“No1”所在行中获取其他数据,包括姓名“Name1”、户口地址“Address1”以及民族“汉”;根据身份证号“No1”,在学历信息表中的第一列中查找出身份证号“No1”,在身份证号“No1”所在行中获取其他数据,包括姓名“Name1”、学历“本科”以及学校“北京###大学”。然后,可以将从各数据库表中获取的数据进行融合并发送融合后的数据。
在本申请实施例中,源数据层中的每个数据库都有各自对应的业务,对于每个业务,可以从该业务对应的数据库中查询属于该业务的数据;当需要查询多个数据库时,由于在第一存储系统中存储有源数据层中的每个数据库表中的每个数据库表中的数据,以及在第二存储系统中存储每个数据库表对应的结构信息,这样在查询各数据库中的数据时,可以根据第二存储系统中的各结构信息,查询第一存储系统,从而不需要查询源数据层中的各数据库,不会对各数据库对应的原业务访问数据库产生影响。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
参见图3,本申请实施例提供了一种数据库系统的建立装置300,其中,该系统包括存储层和源数据层,存储层包括第一存储系统和第二存储系统,源数据层包括多个数据库,该多个数据库中的每个数据库包括至少一个数据库表,每个数据库包括的每个数据库表用于存储数据。
该装置300包括:
读取模块301,用于目标数据库表的结构信息和所述目标数据库表中的数据;
存储模块302,用于将所述结构信息存储在所述第二存储系统,将所述目标数据库表中的数据存储在所述第一存储系统;将所述结构信息的标识和所述目标数据库表中的数据在所述第一存储系统中的位置信息对应保存在所述第二存储系统中的标识与位置信息对应关系中。
可选的,所述装置300还包括:
查询模块,用于根据待查询的检索信息,在所述存储层中查询所述检索信息对应的数据。
可选的,所述查询模块包括:确定单元、获取单元和查询单元;
所述确定单元,用于确定所述待查询的检索信息所属的目标数据项;
所述获取单元,用于从所述第二存储系统中获取包括所述目标数据项的结构信息;根据所述结构信息的标识,从所述第二存储系统中获取对应的位置信息;
所述确定单元,还用于根据所述位置信息,确定出对应的确定出对应的数据库表;
所述查询单元,用于根据所述检索信息在所述数据库表查询所述检索信息对应的数据。
在本申请实施例中,由于在第一存储系统中存储有源数据层中的每个数据库表中的每个数据表中的数据,以及在第二存储系统中存储每个数据库表对应的结构信息,这样在查询各数据库中的数据时,可以根据第二存储系统中的各结构信息,查询第一存储系统,从而不需要查询源数据层中的各数据库,不会对各数据库对应的原业务访问数据库产生影响。另外,该存储系统还具有冗错的功能,就是在源数据层中的某个数据库表出现故障时,由于第一存储系统中保存有该数据库表,所以可以第一存储系统恢复该数据库表。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4示出了本发明一个示例性实施例提供的终端400的结构框图。该终端400可以用于运行采集转换层3中的建立装置或者该终端400可以为采集转换层3中的建立装置,该终端400可以是笔记本电脑或台式电脑等。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端400包括有:处理器401和存储器402。
处理器401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器401可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的多源结构化数据库系统的建立方法。
在一些实施例中,终端400还可选包括有:外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地,外围设备包括:射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
外围设备接口403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中,处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上;在一些其他实施例中,处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时,显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时,显示屏405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏405可以为一个,设置终端400的前面板;在另一些实施例中,显示屏405可以为至少两个,分别设置在终端400的不同表面或呈折叠设计;在再一些实施例中,显示屏405可以是柔性显示屏,设置在终端400的弯曲表面上或折叠面上。甚至,显示屏405还可以设置成非矩形的不规则图形,也即异形屏。显示屏405可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地,摄像头组件406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器401进行处理,或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路407还可以包括耳机插孔。
定位组件408用于定位终端400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于:加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号,控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测终端400的机体方向及转动角度,陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时,可以检测用户对终端400的握持信号,由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时,由处理器401根据用户对触摸显示屏405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹,由处理器401根据指纹传感器414采集到的指纹识别用户的身份,或者,由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商Logo时,指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中,处理器401可以根据光学传感器415采集的环境光强度,控制触摸显示屏405的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏405的显示亮度;当环境光强度较低时,调低触摸显示屏405的显示亮度。在另一个实施例中,处理器401还可以根据光学传感器415采集的环境光强度,动态调整摄像头组件406的拍摄参数。
接近传感器416,也称距离传感器,通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中,当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时,由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态;当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时,由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图4中示出的结构并不构成对终端400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种数据库系统,其特征在于,包括:
存储层和源数据层,所述存储层包括第一存储系统和第二存储系统,所述源数据层包括多个数据库,所述多个数据库中的每个数据库包括至少一个数据库表,所述每个数据库包括的每个数据库表用于存储数据;
所述第一存储系统,用于存储所述每个数据库包括的每个数据库表中存储的数据;
所述第二存储系统,用于存储目标数据库表对应的结构信息,以及存储所述结构信息的标识与位置信息的对应关系,所述位置信息包括所述目标数据库表包括的数据在所述第一存储系统中的存储位置,所述结构信息包括所述目标数据库表中的各数据项,所述目标数据库表为所述多个数据库中的任一数据库中的数据库表。
2.如权利要求1所述的系统,其特征在于,所述第一存储系统为Hadoop分布式文件系统HDFS,所述第二存储系统为关系数据库管理系统RDMS。
3.如权利要求1所述的系统,其特征在于,所述源数据层包括的数据库类型为Oracle、MySQL和HDFS中的一种或多种。
4.一种数据库系统的建立方法,其特征在于,所述数据库系统为如权利要求1至3任一项所述的系统,所述方法包括:
读取所述目标数据库表的结构信息和所述目标数据库表中的数据;
将所述结构信息存储在所述第二存储系统,将所述目标数据库表中的数据存储在所述第一存储系统;
将所述结构信息的标识和所述目标数据库表中的数据在所述第一存储系统中的位置信息对应保存在所述第二存储系统中的标识与位置信息对应关系中。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
根据待查询的检索信息,在所述存储层中查询所述检索信息对应的数据。
6.如权利要求5所述的方法,其特征在于,所述根据待查询的检索信息,在所述存储层中查询所述检索信息对应的数据,包括:
确定待查询的检索信息所属的目标数据项;
从所述第二存储系统中获取包括所述目标数据项的结构信息;
根据所述结构信息的标识,从所述第二存储系统中获取对应的位置信息;
根据所述位置信息,在所述第一存储系统中确定出对应的数据库表;
根据所述检索信息在所述数据库表查询所述检索信息对应的数据。
7.一种数据库系统的建立装置,其特征在于,所述数据库系统为如权利要求1至3任一项所述的系统,所述装置包括:
读取模块,用于读取目标数据库表的结构信息和所述目标数据库表中的数据;
存储模块,用于将所述结构信息存储在所述第二存储系统,将所述目标数据库表中的数据存储在所述第一存储系统;将所述结构信息的标识和所述目标数据库表中的数据在所述第一存储系统中的位置信息对应保存在所述第二存储系统中的标识与位置信息对应关系中。
8.如权利要求7所述的装置,其特征在于,所述装置还包括:
查询模块,用于根据待查询的检索信息,在所述存储层中查询所述检索信息对应的数据。
9.如权利要求8所述的装置,其特征在于,所述查询模块包括:确定单元、获取单元和查询单元;
所述确定单元,用于确定所述待查询的检索信息所属的目标数据项;
所述获取单元,用于从所述第二存储系统中获取包括所述目标数据项的结构信息;根据所述结构信息的标识,从所述第二存储系统中获取对应的位置信息;
所述确定单元,还用于根据所述位置信息,确定出对应的确定出对应的数据库表;
所述查询单元,用于根据所述检索信息在所述数据库表查询所述检索信息对应的数据。
CN201810502231.0A 2018-05-23 2018-05-23 一种数据库系统及其建立方法和装置 Active CN110597801B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810502231.0A CN110597801B (zh) 2018-05-23 2018-05-23 一种数据库系统及其建立方法和装置
PCT/CN2019/087242 WO2019223601A1 (zh) 2018-05-23 2019-05-16 一种数据库系统及其建立方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810502231.0A CN110597801B (zh) 2018-05-23 2018-05-23 一种数据库系统及其建立方法和装置

Publications (2)

Publication Number Publication Date
CN110597801A true CN110597801A (zh) 2019-12-20
CN110597801B CN110597801B (zh) 2021-09-17

Family

ID=68616176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810502231.0A Active CN110597801B (zh) 2018-05-23 2018-05-23 一种数据库系统及其建立方法和装置

Country Status (2)

Country Link
CN (1) CN110597801B (zh)
WO (1) WO2019223601A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538713A (zh) * 2020-04-02 2020-08-14 咪咕文化科技有限公司 面向Hive的多模式数据处理方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309709B (zh) * 2020-02-20 2023-05-23 全球能源互联网研究院有限公司 一种数据库建立与检索方法及装置
CN112818752A (zh) * 2021-01-11 2021-05-18 中国石油天然气集团有限公司 产品加工系统的安全管理的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942209A (zh) * 2013-01-18 2014-07-23 阿里巴巴集团控股有限公司 数据处理方法
US20160092557A1 (en) * 2014-09-26 2016-03-31 Oracle International Corporation Techniques for similarity analysis and data enrichment using knowledge sources
CN105630847A (zh) * 2014-11-21 2016-06-01 深圳市腾讯计算机系统有限公司 数据存储方法、数据查询方法、装置及系统
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN106294009A (zh) * 2016-08-05 2017-01-04 北京小米移动软件有限公司 数据库归档方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942209A (zh) * 2013-01-18 2014-07-23 阿里巴巴集团控股有限公司 数据处理方法
US20160092557A1 (en) * 2014-09-26 2016-03-31 Oracle International Corporation Techniques for similarity analysis and data enrichment using knowledge sources
CN105630847A (zh) * 2014-11-21 2016-06-01 深圳市腾讯计算机系统有限公司 数据存储方法、数据查询方法、装置及系统
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN106294009A (zh) * 2016-08-05 2017-01-04 北京小米移动软件有限公司 数据库归档方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538713A (zh) * 2020-04-02 2020-08-14 咪咕文化科技有限公司 面向Hive的多模式数据处理方法、装置及电子设备
CN111538713B (zh) * 2020-04-02 2023-10-17 咪咕文化科技有限公司 面向Hive的多模式数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN110597801B (zh) 2021-09-17
WO2019223601A1 (zh) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110674022A (zh) 行为数据获取方法、装置及存储介质
CN111104402A (zh) 查找数据的方法、装置、电子设备及介质
CN111949680A (zh) 数据处理方法、装置、计算机设备及存储介质
CN110597801B (zh) 一种数据库系统及其建立方法和装置
CN112052354A (zh) 视频推荐方法、视频展示方法、装置及计算机设备
CN111192072A (zh) 用户分群方法及装置、存储介质
CN110471614B (zh) 一种存储数据的方法、检测终端的方法及装置
CN110737692A (zh) 一种检索数据的方法、建立索引库的方法及装置
CN111752658A (zh) 管理功能教程的方法、装置、设备以及存储介质
CN110825465A (zh) 日志数据处理方法、装置、电子设备及存储介质
CN112925922A (zh) 获取地址的方法、装置、电子设备及介质
CN113051485B (zh) 群组搜索方法、装置、终端及存储介质
CN110928867B (zh) 一种数据融合的方法及装置
CN114329292A (zh) 资源信息的配置方法、装置、电子设备以及存储介质
CN111125095B (zh) 数据前缀添加的方法、装置、电子设备及介质
CN109871411B (zh) 同步数据的方法、装置、电子设备及介质
CN113836426A (zh) 一种信息推送的方法、装置及电子设备
CN110851435B (zh) 一种存储数据的方法及装置
CN111580892B (zh) 一种业务组件调用的方法、装置、终端和存储介质
CN111294320B (zh) 数据转换的方法和装置
CN110427362B (zh) 一种获取数据库类型的方法及装置
CN111680039A (zh) 订单信息的存储方法、查询方法、装置、设备及存储介质
CN112135256A (zh) 移动轨迹的确定方法、装置、设备及可读存储介质
CN112132472A (zh) 资源管理方法、装置、电子设备及计算机可读存储介质
CN114385723A (zh) 数据读取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant