CN110928895B - 一种数据查询、数据表建立方法、装置及设备 - Google Patents
一种数据查询、数据表建立方法、装置及设备 Download PDFInfo
- Publication number
- CN110928895B CN110928895B CN201811095820.8A CN201811095820A CN110928895B CN 110928895 B CN110928895 B CN 110928895B CN 201811095820 A CN201811095820 A CN 201811095820A CN 110928895 B CN110928895 B CN 110928895B
- Authority
- CN
- China
- Prior art keywords
- data
- type
- data table
- database
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013507 mapping Methods 0.000 claims description 8
- 230000002688 persistence Effects 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 5
- 239000000523 sample Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据查询、数据表建立方法、装置及设备,该数据查询方法包括:获取一个业务请求,所述业务请求包括表建立信息和表查询信息;根据所述表建立信息在第一数据库中建立目标数据表;根据所述表查询信息从所述目标数据表中查询目标数据。通过本申请的技术方案,可以通过一个业务请求,实现创建数据表和查询数据的过程,用户业务体验较好。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据查询、数据表建立方法、装置及设备。
背景技术
数据湖分析(Data Lake Analytics)用于为用户提供无服务器化(Serverless)的查询分析服务,能够对海量的数据进行任意维度的分析和查询,支持高并发、低延时(毫秒级响应)、实时在线分析、海量数据查询等功能。在数据湖分析系统中,可以包括数据库和前端节点,数据库用于存储大量数据,而前端节点在接收到查询请求后,可以从数据库中查询与该查询请求对应的数据。
目前,为了实现数据的查询,则用户可以向前端节点发送数据表的创建请求,前端节点在接收到该创建请求后,可以创建数据表。然后,用户可以向前端节点发送数据的查询请求,前端节点在接收到该查询请求后,可以从数据表中查询数据。显然,在上述方式中,需要通过创建请求创建数据表,通过查询请求查询数据,也就是说,用户需要发送多个请求,用户的业务体验较差。
发明内容
本申请提供一种数据查询方法,所述方法包括:
获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
根据所述表建立信息在第一数据库中建立目标数据表;
根据所述表查询信息从所述目标数据表中查询目标数据。
本申请提供一种数据表建立方法,所述方法包括:
获取与目标数据表对应的表建立信息;
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表。
本申请提供一种数据查询方法,所述方法包括:
获取用户发出的一个业务请求,前端节点从所述一个业务请求中获取表建立信息和表查询信息;
所述前端节点根据所述表建立信息在第一数据库中建立目标数据表;
所述前端节点根据所述表查询信息从所述目标数据表中查询目标数据。
本申请提供一种数据查询装置,所述装置包括:
获取模块,用于获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
建立模块,用于根据所述表建立信息在第一数据库中建立目标数据表;
查询模块,用于根据所述表查询信息从目标数据表中查询目标数据。
本申请提供一种数据表建立装置,所述装置包括:
获取模块,用于获取与目标数据表对应的表建立信息;
建立模块,用于若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表。
本申请提供一种数据查询设备,包括:
处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:
获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
根据所述表建立信息在第一数据库中建立目标数据表;
根据所述表查询信息从所述目标数据表中查询目标数据。
本申请提供一种数据表建立设备,包括:
处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:
获取与目标数据表对应的表建立信息;
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表。
基于上述技术方案,本申请实施例中,可以获取业务请求,该业务请求包括表建立信息和表查询信息,根据表建立信息在数据库中建立目标数据表,并根据表查询信息从目标数据表中查询目标数据。这样,可以通过一个业务请求,实现创建数据表和查询数据的过程,用户业务体验较好。上述方式可以简化云上数据查询的用户体验,数据分析闭环,提供更加简短的数据查询流程。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其它的附图。
图1A是本申请一种实施方式中的系统结构示意图;
图1B是本申请另一种实施方式中的系统结构示意图;
图2是本申请一种实施方式中的数据查询方法的流程图;
图3是本申请一种实施方式中的数据表建立方法的流程图;
图4A-图4F是本申请一种实施方式中的数据查询的示意图;
图5是本申请一种实施方式中的数据查询装置的结构图;
图6是本申请一种实施方式中的数据表建立装置的结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出了一种数据查询方法,该方法可以应用于包括客户端、负载均衡设备、前端节点(front node,也可以称为前端服务器)和数据库的系统,如用于实现数据湖分析的数据库系统。参见图1A和图1B所示,为本实施例的应用场景示意图,在图1A中,包括客户端、负载均衡设备、前端节点和数据库,在图1B中,包括客户端、负载均衡设备、前端节点、计算节点(compute node,也可以称为计算服务器)和数据库。当然,在图1A和图1B中,还可以包括其它服务器,如还可以包括资源调度服务器等,对此系统结构不做限制。
在图1A和图1B中,以3个前端节点为例,实际应用中,前端节点的数量还可以为其它数量,对此不做限制。在图1B中,以5个计算节点为例,实际应用中,计算节点的数量还可以为其它数量,对此不做限制。由于每个前端节点的处理流程相同,每个计算节点的处理流程相同,因此,为了方便描述,后续实施例中,以1个前端节点的处理流程为例,以1个计算节点的处理流程为例。
其中,客户端可以是终端设备(如PC(Personal Computer,个人计算机)、笔记本电脑、移动终端等)包括的APP(Application,应用),也可以是终端设备包括的浏览器,对此不做限制。负载均衡设备用于对查询请求进行负载均衡,如接收到查询请求后,将该查询请求负载均衡到各前端节点,对此不做限制。
其中,多个前端节点用于提供相同功能,形成前端节点的资源池。针对该资源池中的每个前端节点,用于接收客户端发送的查询请求,并对查询请求进行SQL(StructuredQuery Language,结构化查询语言)解析,根据解析结果生成执行计划。在图1A的应用场景中,前端节点处理该执行计划。在图1B的应用场景中,前端节点将执行计划发送给计算节点,由计算节点处理该执行计划。多个计算节点用于提供相同的功能,形成计算节点的资源池;针对该资源池中的每个计算节点,若接收到前端节点发送的执行计划,则可以处理该执行计划。
其中,数据库用于存储各种类型的数据,对此数据类型不做限制,如可以是用户数据、商品数据、地图数据、视频数据、图像数据、音频数据等。
参见图1A和图1B所示,是以5个数据库为例进行说明,实际应用中,数据库的数量还可以为其它数量,对此不做限制。本实施例中,可以是针对异构数据源的场景,也就是说,对于数据库101-数据库105来说,可以是相同类型的数据库,也可以是不同类型的数据库。例如,数据库101和数据库102可以是相同类型的数据库,数据库101和数据库103可以是不同类型的数据库。
本实施例的数据库可以是关系型数据库,也可以是非关系型数据库,对此不做限制。其中,每个数据库的类型可以包括但不限于:OSS(Object Storage Service,对象存储服务)、TableStore(表格存储)、HBase(Hadoop Database,Hadoop数据库)、HDFS(HadoopDistributed File System,Hadoop分布式文件系统)、MySQL等,当然,上述只是几个示例,对此数据库的类型不做限制。
在上述应用场景下,参见图2所示,为本申请实施例提出的数据查询方法的流程示意图,该方法可以应用于前端节点,该方法可以包括以下步骤:
步骤201,获取一个业务请求,该业务请求包括表建立信息和表查询信息。
步骤202,根据该表建立信息在第一数据库中建立目标数据表。
在一个例子中,若该表建立信息包括第一类数据和第二类数据,则可以根据第一类数据和第二类数据在第一数据库中建立目标数据表;或者,若该表建立信息包括第一类数据,且未包括第二类数据,则可以获取与源数据表对应的第二类数据,并根据第一类数据和第二类数据在第一数据库中建立目标数据表。
在一个例子中,获取与源数据表对应的第二类数据,可以包括但不限于:可以根据该第一类数据确定该源数据表所在第二数据库的类型;进一步的,还可以根据该第二数据库的类型获取与该源数据表对应的第二类数据。
其中,根据该第二数据库的类型获取与该源数据表对应的第二类数据,可以包括但不限于:若该第二数据库的类型是第一类型,则可以获取与该源数据表对应的元数据,并可以从该元数据中获取与该源数据表对应的第二类数据。
此外,若该第二数据库的类型是第二类型,则可以获取与该源数据表对应的描述文件,并可以从该描述文件中获取与该源数据表对应的第二类数据;或者,若该第二数据库的类型是第二类型,则还可以从该源数据表中读取属性数据,并可以根据该属性数据确定与该源数据表对应的第二类数据。
其中,第二类型可以包括:OSS类型;第一类型可以包括:OSS类型之外的其它类型,如TableStore类型、HBase类型、HDFS类型、MySQL类型等。
其中,第二类数据可以包括:列属性;第一类数据可以包括但不限于:目标数据表的表名、第二数据库的类型、源数据表的名称、源数据表的位置。
在一个例子中,获取与源数据表对应的第二类数据之后,还可以通过用户界面将所述第二类数据显示给用户,以使用户从所述第二类数据中选择部分或者全部数据;进一步的,可以获取用户选择的部分或者全部数据,并根据第一类数据和所述部分或者全部数据,在第一数据库中建立目标数据表。
在一个例子中,根据该表建立信息在第一数据库中建立目标数据表,可以包括但不限于:根据该表建立信息在第一数据库中建立目标数据表信息与源数据表信息的映射关系;其中,该目标数据表信息可以包括但不限于:目标数据表的表名和/或目标数据表的列属性;该源数据表信息可以包括但不限于以下至少一种:源数据表所在第二数据库的类型、源数据表的名称、源数据表的位置。
在一个例子中,根据该表建立信息在第一数据库中建立目标数据表,可以包括但不限于:根据该表建立信息生成表建立请求,并执行所述表建立请求;其中,所述表建立请求用于在第一数据库中建立目标数据表。
步骤203,根据该表查询信息从该目标数据表中查询目标数据。
具体的,可以根据该表查询信息生成表查询请求,并执行所述表查询请求;其中,所述表查询请求用于从该目标数据表中查询目标数据。
在一个例子中,在根据该表建立信息在第一数据库中建立目标数据表之后,还可以获取与该目标数据表对应的生存周期,并根据该生存周期对目标数据表进行处理。其中,若上述业务请求携带生存周期,则获取与该目标数据表对应的生存周期,可以包括:从该业务请求中获取与目标数据表对应的生存周期。
其中,根据该生存周期对目标数据表进行处理,可以包括但不限于:若该生存周期是持久化,则可以禁止从第一数据库中删除目标数据表;若该生存周期是未持久化,则根据表查询信息从目标数据表中查询目标数据之后,可以从第一数据库中删除目标数据表;若生存周期是指定时长,则可以在目标数据表的生存时间已经达到所述指定时长时,从第一数据库中删除目标数据表。
在一个例子中,上述执行顺序只是为了方便描述给出的一个示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
基于上述技术方案,本申请实施例中,可以获取业务请求,该业务请求包括表建立信息和表查询信息,根据表建立信息在数据库中建立目标数据表,并根据表查询信息从目标数据表中查询目标数据。这样,可以通过一个业务请求,实现创建数据表和查询数据的过程,用户业务体验较好。上述方式可以简化云上数据查询的用户体验,数据分析闭环,提供更加简短的数据查询流程。
基于与上述方法同样的申请构思,本申请实施例中还提出一种数据表建立方法,参见图3所示,为该方法的流程示意图,该方法可以包括以下步骤:
步骤301,获取与目标数据表对应的表建立信息。
其中,可以接收业务请求,并从该业务请求中获取与目标数据表对应的表建立信息,当然,除了携带表建立信息,该接收业务请求还可以携带表查询信息。或者,可以接收创建请求,并从该创建请求中获取与目标数据表对应的表建立信息,而且,该创建请求可以只携带表建立信息,而未携带表查询信息。
步骤302,若该表建立信息包括第一类数据和第二类数据,则根据该第一类数据和该第二类数据在第一数据库中建立目标数据表。
步骤303,若该表建立信息包括第一类数据,则获取与源数据表对应的第二类数据,并根据该第一类数据和该第二类数据在第一数据库中建立目标数据表。
在一个例子中,获取与源数据表对应的第二类数据,可以包括但不限于:可以根据该第一类数据确定该源数据表所在第二数据库的类型;进一步的,还可以根据该第二数据库的类型获取与该源数据表对应的第二类数据。
其中,根据该第二数据库的类型获取与该源数据表对应的第二类数据,可以包括但不限于:若该第二数据库的类型是第一类型,则可以获取与该源数据表对应的元数据,并可以从该元数据中获取与该源数据表对应的第二类数据。
此外,若该第二数据库的类型是第二类型,则可以获取与该源数据表对应的描述文件,并可以从该描述文件中获取与该源数据表对应的第二类数据;或者,若该第二数据库的类型是第二类型,则还可以从该源数据表中读取属性数据,并可以根据该属性数据确定与该源数据表对应的第二类数据。
其中,第二类型可以包括:OSS类型;第一类型可以包括:OSS类型之外的其它类型,如TableStore类型、HBase类型、HDFS类型、MySQL类型等。
其中,第二类数据可以包括:列属性;第一类数据可以包括但不限于:目标数据表的表名、第二数据库的类型、源数据表的名称、源数据表的位置。
在一个例子中,获取与源数据表对应的第二类数据之后,还可以通过用户界面将所述第二类数据显示给用户,以使用户从所述第二类数据中选择部分或者全部数据;进一步的,可以获取用户选择的部分或者全部数据,并根据第一类数据和所述部分或者全部数据,在第一数据库中建立目标数据表。
在一个例子中,根据该第一类数据和该第二类数据在第一数据库中建立目标数据表,可以包括但不限于:根据该第一类数据和该第二类数据在第一数据库中建立目标数据表信息与源数据表信息的映射关系;其中,目标数据表信息可以包括:目标数据表的表名和/或列属性;源数据表信息可以包括以下至少一种:源数据表所在第二数据库的类型、源数据表的名称、源数据表的位置。
在一个例子中,上述执行顺序只是为了方便描述给出的一个示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
基于上述技术方案,本申请实施例中,可以对表建立信息中的第二类数据进行补全,继而能够根据该表建立信息建立数据表,用户业务体验比较好。
本申请实施例中还提出一种数据查询方法,所述方法可以包括以下步骤:
获取用户发出的一个业务请求,前端节点从所述一个业务请求中获取表建立信息表查询信息;前端节点根据表建立信息在第一数据库中建立目标数据表;前端节点根据表查询信息从目标数据表中查询目标数据。
以下结合具体的应用场景,对上述数据查询方法进行详细说明。参见图4A所示,为该数据查询方法的流程示意图,该方法可以包括以下步骤:
步骤401,前端节点获取业务请求(也可以称为statement请求),该业务请求可以包括表建立信息(用于创建数据表)和表查询信息(用于查询数据)。
其中,客户端可以通过负载均衡设备向前端节点发送业务请求,而前端节点可以接收该业务请求。与传统方式不同的是,该业务请求可以同时携带表建立信息和表查询信息,也就是说,用户可以通过业务请求携带表建立信息和表查询信息,从而触发创建数据表和查询数据的过程,而不用通过创建请求创建数据表,通过查询请求查询数据,即用户不需要通过客户端发送多个请求。
综上所述,传统方式中,为了实现数据查询,需要先发送创建请求,且前端节点根据该创建请求创建数据表,然后发送查询请求,且前端节点根据该查询请求查询数据,即执行两个流程,而本实施例中,为了实现数据查询,只需要发送业务请求,且前端节点根据该查询请求创建数据表,并查询数据。
步骤402,前端节点判断该表建立信息中是否包括第二类数据。
如果否,则可以执行步骤403;如果是,则可以执行步骤404。
其中,为了实现目标数据表的建立,则表建立信息可以包括第一类数据和第二类数据,该第一类数据可以包括但不限于:目标数据表的表名、源数据表所在第二数据库的类型、源数据表的名称、源数据表的位置。该第二类数据可以包括但不限于列属性(即源数据表的列属性,也是目标数据表的列属性)。
当然,上述只是第一类数据和第二类数据的一个示例,对此不做限制。
参见图4B所示,为业务请求的一个示例,第一行和第二行可以为表查询信息,temp1是目标数据表的表名,S1和S2是列属性(如列名称等),如用户名、身份证、手机号、地址等,这个表查询信息用于表示查询目标数据表temp1中的列属性为S1和S2的数据。此外,第二行至最后一行可以为表建立信息,temp1是目标数据表的表名,S1和S2是列属性(如列名称等),MySQL是源数据表所在第二数据库的类型,test_db是源数据表的名称,MySQL://x.x.x.x:xxx/test_db是源数据表的位置,这个表建立信息用于表示建立目标数据表temp1,且该目标数据表temp1中的列属性可以为S1和S2,而且,这个目标数据表temp1中的数据来源于源数据表test_db,该源数据表test_db所在的第二数据库的类型可以是MySQL,该源数据表test_db所在的位置是MySQL://x.x.x.x:xxx/test_db。
在该表建立信息中,为了描述方便,可以将所有的内容区分为第一类数据和第二类数据,如目标数据表的表名“temp1”、第二数据库的类型“MySQL”、源数据表的名称“test_db”、源数据表的位置“MySQL://x.x.x.x:xxx/test_db”,均可以是第一类数据,此外,该列属性“S1和S2”可以是第二类数据。
在一个例子中,当用户需要查询源数据表中的某些列属性(如源数据表的全部或者部分列属性)的数据时,可以获取源数据表的名称、源数据表的位置、源数据表所在的第二数据库的类型等第一类数据,具体获取方式不做限制。
例如,前端节点可以获取所有数据库的信息,如数据库的类型(如OSS类型、TableStore类型、HBase类型、HDFS类型、MySQL类型等)、数据库中所有数据表的名称、每个数据表的位置等,然后,前端节点可以向用户显示这些信息,参见图4C所示,前端节点可以通过用户界面将上述信息显示给用户。
进一步,用户可以从所有数据库的所有数据表中选择数据表,表示用户需要查询该数据表的数据,如选择数据库101中的数据表A,这样,数据表A是源数据表的名称,数据表A的位置是源数据表的位置,数据库101是第二数据库,数据库101的类型是第二数据库的类型,综上所述,用户可以从用户界面得到源数据表的名称、源数据表的位置、第二数据库的类型等第一类数据。此外,用户还可以获取目标数据表的表名,如任意设置的表名,对此不做限制。
在一个例子中,当用户需要查询源数据表中的某些列属性(如源数据表的全部或者部分列属性)的数据时,还可以获取列属性,具体获取方式不做限制。例如,若用户需要查询数据表A中的所有列的数据,则确定列属性可以是标记X,用于表示数据表A的所有列;若用户需要查询数据表A中的第一列数据和第二列数据,则可以确定列属性是1和2,用于表示数据表A的第一列和第二列。又例如,若上述用户界面还携带数据表A的每个列的属性(如用户名、身份证、手机号、地址等),则用户还可以从用户界面得到列属性,例如,当用户需要查询用户名和身份证的数据时,则列属性可以是用户名和身份证。
综上所述,用户可以获取到列属性等第二类数据,当然,实际应用中,若用户界面未携带数据表A的每个列的属性,则用户也可以不获取第二类数据。
在一个例子中,若用户获取到第一类数据和第二类数据,则业务请求携带的表建立信息中,可以包括第一类数据和第二类数据,因此,步骤402的判断结果为表建立信息中包括第二类数据;若用户获取到第一类数据,而未获取到第二类数据,则业务请求携带的表建立信息中,可以包括第一类数据,而不包括第二类数据,因此,步骤402的判断结果为表建立信息中不包括第二类数据。
步骤403,前端节点获取与该源数据表对应的第二类数据,如列属性等。
在一个例子中,前端节点还可以建立数据表模板,这个数据表模板可以包括目标数据表的表名、第二数据库的类型、源数据表的名称、源数据表的位置、列属性等内容。前端节点在接收到业务请求后,若基于数据表模板确定该业务请求携带的表建立信息缺少列属性(即第二类数据),则前端节点可以获取与该源数据表对应的第二类数据,并利用获取的第二类数据补全该业务请求中携带的表建立信息,这样,该表建立信息可以包括第一类数据和第二类数据。
其中,前端节点获取与该源数据表对应的第二类数据,可以包括但不限于:
步骤4031,前端节点根据该第一类数据确定第二数据库的类型。
第一类数据可以包括目标数据表的表名、第二数据库的类型、源数据表的名称、源数据表的位置等内容,因此,可以根据第一类数据确定第二数据库的类型,如OSS类型、TableStore类型、HBase类型、HDFS类型、MySQL类型。
步骤4032,前端节点根据第二数据库的类型获取与该源数据表对应的第二类数据。例如,由于第一类数据可以包括源数据表的名称,如数据表A,因此,前端节点可以根据第二数据库的类型获取与数据表A对应的第二类数据。
其中,若第二数据库的类型是第一类型(如OSS类型之外的其它类型,如TableStore类型、HBase类型、HDFS类型、MySQL类型),则前端节点可以获取与该源数据表对应的元数据,并从该元数据中获取与该源数据表对应的第二类数据。具体的,对于TableStore类型、HBase类型、HDFS类型、MySQL类型的第二数据库,该第二数据库中的每个数据表可以具有对应的元数据,且该元数据中可以包括列属性(即第二类数据),因此,前端节点可以从源数据表对应的元数据中,获取与该源数据表对应的第二类数据,对此不做限制。
其中,若第二数据库的类型是第二类型(如OSS类型),则前端节点可以获取与该源数据表对应的描述文件(如元数据描述文件),并从该描述文件中获取与该源数据表对应的第二类数据;或者,前端节点可以从该源数据表中读取属性数据,并可以根据该属性数据确定与该源数据表对应的第二类数据。
具体的,对于OSS类型的第二数据库,若为该第二数据库中的源数据表(如可以是对象存储文件)设置有描述文件,且该描述文件中包括该源数据表对应的列属性(即第二类数据),则前端节点可以从该描述文件中获取与该源数据表对应的第二类数据。例如,假设源数据表是对象存储文件,且该对象存储文件的存储路径是文件,则可以判断该存储路径的相同目录下是否存在描述文件,若存在,则可以从该描述文件中获取第二类数据。又例如,假设源数据表是对象存储文件,且该对象存储文件的存储路径是目录,则可以直接判断该目录下是否存在描述文件,若存在,则可以从该描述文件中获取第二类数据。
在另一个例子中,对于OSS类型的第二数据库,前端节点还可以直接从该第二数据库的源数据表中读取属性数据(如源数据表的第一行数据),并基于该属性数据分析与该源数据表对应的第二类数据,对此分析过程不做限制,例如,若读取的第一个数据是13800000000,则可以确定第一列是手机号。
步骤4033,前端节点通过用户界面将第二类数据显示给用户,以使用户从所述第二类数据中选择部分或者全部数据,获取用户选择的部分或者全部数据。
前端节点获取与源数据表对应的第二类数据之后,可以直接利用该第二类数据(如列属性1-列属性10)补全该业务请求中携带的表建立信息,也就是说,表建立信息可以包括列属性1-列属性10。或者,前端节点可以通过用户界面将第二类数据(如列属性1-列属性10)显示给用户,以使用户从所述第二类数据中选择部分或者全部数据,假设用户选择列属性1-列属性3,则前端节点可以获取用户选择的列属性1-列属性3,并利用列属性1-列属性3补全该业务请求中携带的表建立信息,也就是说,该表建立信息可以包括列属性1-列属性10。
例如,参见图4C所示,前端节点可以通过用户界面将第二类数据(如列属性1-列属性10)显示给用户,若用户点击该用户界面中的列属性1-列属性3,则可以发送携带列属性1-列属性3的请求,而前端节点可以接收到该请求。
其中,通过该用户界面,可以支持查看数据源;支持生成数据表模板;支持用户输入SQL语句,如上述业务请求、携带列属性1-列属性3的请求。
步骤404,前端节点根据第一类数据和第二类数据在第一数据库中建立目标数据表。具体的,若表建立信息包括第一类数据和第二类数据,则利用该第一类数据和该第二类数据建立目标数据表;若表建立信息包括第一类数据,则在补全第二类数据后,可以利用第一类数据和第二类数据建立目标数据表。
参见上述实施例,假设第一类数据可以包括目标数据表的表名“temp1”、第二数据库的类型“MySQL”、源数据表的名称“test_db”、源数据表的位置“MySQL://x.x.x.x:xxx/test_db”,第二类数据可以包括列属性“S1和S2”,则根据第一类数据和第二类数据在第一数据库中建立目标数据表,可以包括:
参见图4D所示,前端节点获取到表建立信息后,可以创建第一数据库,该第一数据库的类型与第二数据库的类型相同,如第一数据库的类型是MySQL类型。第一数据库可以是一个逻辑数据库,是在数据库101-数据库105基础上的新数据库,且这个第一数据库可以被删除,即在用户的查询操作后可以被删除。
然后,参见图4D所示,前端节点可以在第一数据库中建立目标数据表,该目标数据表的表名为“temp1”,目标数据表可以是一个逻辑数据表,这个目标数据表可以被删除,即在用户的查询操作后可以被删除。进一步的,前端节点还可以在第一数据库中建立目标数据表信息与源数据表信息的映射关系;其中,该目标数据表信息可以包括:目标数据表的表名“temp1”、目标数据表的列属性“S1和S2”;该源数据表信息可以包括:第二数据库的类型MySQL、源数据表的名称“test_db”、源数据表的位置“MySQL://x.x.x.x:xxx/test_db”。
在一个例子中,前端节点在第一数据库中建立目标数据表时,可以不将源数据表中的数据拷贝到第一数据库的目标数据表中,而是在第一数据库中建立目标数据表信息与源数据表信息的映射关系,这样,针对访问目标数据表的查询请求,就可以利用该映射关系链接到源数据表,继而从源数据表中查询数据。
在一个例子中,为了在第一数据库中建立目标数据表,可以包括:前端节点根据该第一类数据和该第二类数据生成表建立请求,并执行表建立请求;其中,该表建立请求用于在第一数据库中建立目标数据表。这样,前端节点就可以根据该表建立请求在第一数据库中建立目标数据表。参见图4E所示,为表建立请求的示例,通过执行该表建立请求,可以在第一数据库中建立目标数据表。
步骤405,前端节点根据表查询信息从目标数据表中查询目标数据。
例如,在上述业务请求中,表查询信息包括目标数据表的表名“temp1”、列属性“S1和S2”,这个表查询信息用于表示查询目标数据表temp1中的列属性为S1和S2的数据。此外,前端节点在第一数据库中建立目标数据表temp1后,还可以将目标数据表temp1的信息存储到元数据中,基于此,前端节点获取到表查询信息后,可以从元数据中查询第一数据库的目标数据表temp1,又由于存在目标数据表的表名“temp1”与第二数据库的类型MySQL、源数据表的名称“test_db”、源数据表的位置“MySQL://x.x.x.x:xxx/test_db”的映射关系,因此,可以链接到源数据表“test_db”,又由于表查询信息包括列属性“S1和S2”,因此,可以从源数据表“test_db”中查询列属性“S1和S2”的数据。
在一个例子中,若表查询信息中包括列属性“S1和S2”,则可以从目标数据表temp1中查询与该列属性“S1和S2”对应的数据;或者,若表查询信息中未包括列属性,则可以从目标数据表temp1中查询所有列属性的数据。
在一个例子中,为了从目标数据表中查询目标数据,则可以包括:前端节点根据该表查询信息生成表查询请求,并执行该表查询请求;其中,该表查询请求用于从该目标数据表中查询目标数据。这样,前端节点就可以根据该表查询请求从目标数据表中查询目标数据。参见图4F所示,为表查询请求的示例,通过执行该表查询请求,就可以从目标数据表中查询目标数据。
在上述实施例中,业务请求中还可以携带生存周期(LIFTCYCLE,用于指定默认保留时间),因此,前端节点可以从该业务请求中获取与目标数据表对应的生存周期,并根据该生存周期对目标数据表进行处理。具体的,若该生存周期是持久化,则可以禁止从第一数据库中删除目标数据表;若该生存周期是未持久化,则根据表查询信息从目标数据表中查询目标数据之后,可以从第一数据库中删除目标数据表;若生存周期是指定时长,则可以在目标数据表的生存时间已经达到所述指定时长时,从第一数据库中删除目标数据表。
在上述实施例中,各数据库可以为云数据库,云数据库是指云计算平台提供的数据库,云计算平台可以是以数据存储为主的存储型云平台,或以数据处理为主的计算型云平台,或计算和数据存储处理兼顾的综合云计算平台,对此云计算平台不做限制。针对云计算平台(如数据湖分析平台)提供的云数据库,可以用于为用户提供无服务器化的查询分析服务,对海量的数据进行任意维度的分析和查询,支持高并发、低延时、实时在线分析、海量数据查询等功能。
基于与上述方法同样的申请构思,本申请实施例还提供一种数据查询装置,可以应用于前端节点,如图5所示,为该装置的结构图,该装置包括:
获取模块51,用于获取一个业务请求,所述业务请求包括表建立信息和表查询信息;建立模块52,用于根据所述表建立信息在第一数据库中建立目标数据表;查询模块53,用于根据所述表查询信息从目标数据表中查询目标数据。
所述建立模块52根据所述表建立信息在第一数据库中建立目标数据表时具体用于:若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;或者,
若所述表建立信息包括第一类数据,则获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表。
所述建立模块52获取与源数据表对应的第二类数据时具体用于:
根据所述第一类数据确定所述源数据表所在第二数据库的类型;
根据所述第二数据库的类型获取与所述源数据表对应的第二类数据;
其中,所述建立模块52根据所述第二数据库的类型获取与所述源数据表对应的第二类数据时具体用于:若所述第二数据库的类型是第一类型,则获取与所述源数据表对应的元数据,并从所述元数据中获取与所述源数据表对应的第二类数据;若所述第二数据库的类型是第二类型,则获取与所述源数据表对应的描述文件,并从所述描述文件中获取与所述源数据表对应的第二类数据;或者,若所述第二数据库的类型是第二类型,则从所述源数据表中读取属性数据,并根据所述属性数据确定与所述源数据表对应的第二类数据。
基于与上述方法同样的申请构思,本申请实施例还提供一种数据查询设备,包括:处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:
获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
根据所述表建立信息在第一数据库中建立目标数据表;
根据所述表查询信息从所述目标数据表中查询目标数据。
本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令;所述计算机指令被执行时进行如下处理:
获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
根据所述表建立信息在第一数据库中建立目标数据表;
根据所述表查询信息从所述目标数据表中查询目标数据。
基于与上述方法同样的申请构思,本申请实施例还提供一种数据表建立装置,可以应用于前端节点,如图6所示,为该装置的结构图,该装置包括:
获取模块61,用于获取与目标数据表对应的表建立信息;
建立模块62,用于若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表。
所述建立模块62获取与源数据表对应的第二类数据时具体用于:
根据所述第一类数据确定所述源数据表所在第二数据库的类型;
根据所述第二数据库的类型获取与所述源数据表对应的第二类数据;
所述建立模块62根据所述第二数据库的类型获取与所述源数据表对应的第二类数据时具体用于:若所述第二数据库的类型是第一类型,则获取与所述源数据表对应的元数据,并从所述元数据中获取与所述源数据表对应的第二类数据;若所述第二数据库的类型是第二类型,则获取与所述源数据表对应的描述文件,并从所述描述文件中获取与所述源数据表对应的第二类数据;或者,若所述第二数据库的类型是第二类型,则从所述源数据表中读取属性数据,并根据所述属性数据确定与所述源数据表对应的第二类数据。
基于与上述方法同样的申请构思,本申请实施例还提供一种数据表建立设备,包括:处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:
获取与目标数据表对应的表建立信息;
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表。
本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令;所述计算机指令被执行时进行如下处理:
获取与目标数据表对应的表建立信息;
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (24)
1.一种数据查询方法,其特征在于,所述方法包括:
获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
根据所述表建立信息在第一数据库中建立目标数据表;
根据所述表查询信息从所述目标数据表中查询目标数据;
其中,所述根据所述表建立信息在第一数据库中建立目标数据表,包括:
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;或者,
若所述表建立信息包括第一类数据,则获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
其中,所述第二类数据包括:列属性;所述第一类数据包括:目标数据表的表名、第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
2.根据权利要求1所述的方法,其特征在于,
所述获取与源数据表对应的第二类数据,包括:
根据所述第一类数据确定所述源数据表所在第二数据库的类型;
根据所述第二数据库的类型获取与所述源数据表对应的第二类数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第二数据库的类型获取与所述源数据表对应的第二类数据,具体包括:
若所述第二数据库的类型是第一类型,则获取与所述源数据表对应的元数据,并从所述元数据中获取与所述源数据表对应的第二类数据;
若所述第二数据库的类型是第二类型,则获取与所述源数据表对应的描述文件,并从所述描述文件中获取与所述源数据表对应的第二类数据;
其中,所述第二类型包括:对象存储服务OSS类型;所述第一类型包括:OSS类型之外的其它类型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第二数据库的类型获取与所述源数据表对应的第二类数据,具体包括:
若所述第二数据库的类型是第二类型,则从所述源数据表中读取属性数据,并根据所述属性数据确定与所述源数据表对应的第二类数据。
5.根据权利要求3或4所述的方法,其特征在于,
所述获取与源数据表对应的第二类数据之后,所述方法还包括:
通过用户界面将第二类数据显示给用户,以使用户从第二类数据中选择部分或者全部数据;获取用户选择的所述部分或者全部数据,并根据所述第一类数据和所述部分或者全部数据,在所述第一数据库中建立目标数据表。
6.根据权利要求1所述的方法,其特征在于,
所述根据所述表建立信息在第一数据库中建立目标数据表,包括:
根据所述表建立信息在所述第一数据库中建立目标数据表信息与源数据表信息的映射关系;其中,所述目标数据表信息包括:所述目标数据表的表名和/或所述目标数据表的列属性;所述源数据表信息包括以下至少一种:所述源数据表所在第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
7.根据权利要求1所述的方法,其特征在于,
所述根据所述表建立信息在第一数据库中建立目标数据表,包括:
根据所述表建立信息生成表建立请求,执行所述表建立请求;
其中,所述表建立请求用于在第一数据库中建立目标数据表。
8.根据权利要求1所述的方法,其特征在于,
所述根据所述表查询信息从所述目标数据表中查询目标数据,包括:
根据所述表查询信息生成表查询请求,执行所述表查询请求;
其中,所述表查询请求用于从所述目标数据表中查询目标数据。
9.根据权利要求1所述的方法,其特征在于,所述根据所述表建立信息在第一数据库中建立目标数据表之后,所述方法还包括:
获取与所述目标数据表对应的生存周期;
根据所述生存周期对所述目标数据表进行处理。
10.根据权利要求9所述的方法,其特征在于,若所述业务请求携带生存周期,所述获取与所述目标数据表对应的生存周期,包括:
从所述业务请求中获取与所述目标数据表对应的生存周期。
11.根据权利要求9所述的方法,其特征在于,
所述根据所述生存周期对所述目标数据表进行处理,包括:
若所述生存周期是持久化,则禁止从第一数据库中删除所述目标数据表;
若所述生存周期是未持久化,则根据所述表查询信息从所述目标数据表中查询目标数据之后,从所述第一数据库中删除所述目标数据表;
若所述生存周期是指定时长,则在所述目标数据表的生存时间已经达到所述指定时长时,从所述第一数据库中删除所述目标数据表。
12.一种数据表建立方法,其特征在于,所述方法包括:
获取与目标数据表对应的表建立信息;其中,所述获取与目标数据表对应的表建立信息,包括:接收业务请求,并从该业务请求中获取与目标数据表对应的表建立信息,该业务请求还携带目标数据表对应的表查询信息;
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
所述第二类数据包括:列属性;所述第一类数据包括:目标数据表的表名、第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
13.根据权利要求12所述的方法,其特征在于,
所述获取与源数据表对应的第二类数据,包括:
根据所述第一类数据确定所述源数据表所在第二数据库的类型;
根据所述第二数据库的类型获取与所述源数据表对应的第二类数据。
14.根据权利要求13所述的方法,其特征在于,所述根据所述第二数据库的类型获取与所述源数据表对应的第二类数据,具体包括:
若所述第二数据库的类型是第一类型,则获取与所述源数据表对应的元数据,并从所述元数据中获取与所述源数据表对应的第二类数据;
若所述第二数据库的类型是第二类型,则获取与所述源数据表对应的描述文件,并从所述描述文件中获取与所述源数据表对应的第二类数据;
其中,所述第二类型包括:对象存储服务OSS类型;所述第一类型包括:OSS类型之外的其它类型。
15.根据权利要求14所述的方法,其特征在于,所述根据所述第二数据库的类型获取与所述源数据表对应的第二类数据,具体包括:
若所述第二数据库的类型是第二类型,则从所述源数据表中读取属性数据,并根据所述属性数据确定与所述源数据表对应的第二类数据。
16.根据权利要求14或15所述的方法,其特征在于,
所述获取与源数据表对应的第二类数据之后,所述方法还包括:
通过用户界面将第二类数据显示给用户,以使用户从第二类数据中选择部分或者全部数据;获取用户选择的所述部分或者全部数据,并根据所述第一类数据和所述部分或者全部数据,在所述第一数据库中建立目标数据表。
17.根据权利要求12所述的方法,其特征在于,所述根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表,包括:
根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表信息与源数据表信息的映射关系;其中,所述目标数据表信息包括:所述目标数据表的表名和/或列属性;所述源数据表信息包括以下至少一种:所述源数据表所在第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
18.一种数据查询方法,其特征在于,所述方法包括:
获取用户发出的一个业务请求,前端节点从所述一个业务请求中获取表建立信息和表查询信息;
所述前端节点根据所述表建立信息在第一数据库中建立目标数据表;
所述前端节点根据所述表查询信息从所述目标数据表中查询目标数据;
其中,所述前端节点根据所述表建立信息在第一数据库中建立目标数据表,包括:若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;或者,
若所述表建立信息包括第一类数据,则获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
所述第二类数据包括:列属性;所述第一类数据包括:目标数据表的表名、第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
19.一种数据查询装置,其特征在于,所述装置包括:
获取模块,用于获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
建立模块,用于根据所述表建立信息在第一数据库中建立目标数据表;
查询模块,用于根据所述表查询信息从目标数据表中查询目标数据;
其中,所述建立模块根据所述表建立信息在第一数据库中建立目标数据表时具体用于:若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;或者,
若所述表建立信息包括第一类数据,则获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
其中,所述第二类数据包括:列属性;所述第一类数据包括:目标数据表的表名、第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
20.根据权利要求19所述的装置,其特征在于,
所述建立模块获取与源数据表对应的第二类数据时具体用于:
根据所述第一类数据确定所述源数据表所在第二数据库的类型;
根据所述第二数据库的类型获取与所述源数据表对应的第二类数据;
其中,所述建立模块根据所述第二数据库的类型获取与所述源数据表对应的第二类数据时具体用于:若所述第二数据库的类型是第一类型,则获取与所述源数据表对应的元数据,并从所述元数据中获取与所述源数据表对应的第二类数据;若所述第二数据库的类型是第二类型,则获取与所述源数据表对应的描述文件,并从所述描述文件中获取与所述源数据表对应的第二类数据;或者,若所述第二数据库的类型是第二类型,则从所述源数据表中读取属性数据,并根据所述属性数据确定与所述源数据表对应的第二类数据;
其中,所述第二类型包括:对象存储服务OSS类型;所述第一类型包括:OSS类型之外的其它类型。
21.一种数据表建立装置,其特征在于,所述装置包括:
获取模块,用于获取与目标数据表对应的表建立信息;所述获取与目标数据表对应的表建立信息包括:接收业务请求,并从该业务请求中获取与目标数据表对应的表建立信息,该业务请求还携带目标数据表对应的表查询信息;
建立模块,用于若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
所述第二类数据包括:列属性;所述第一类数据包括:目标数据表的表名、第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
22.根据权利要求21所述的装置,其特征在于,
所述建立模块获取与源数据表对应的第二类数据时具体用于:
根据所述第一类数据确定所述源数据表所在第二数据库的类型;
根据所述第二数据库的类型获取与所述源数据表对应的第二类数据;
所述建立模块根据所述第二数据库的类型获取与所述源数据表对应的第二类数据时具体用于:若所述第二数据库的类型是第一类型,则获取与所述源数据表对应的元数据,并从所述元数据中获取与所述源数据表对应的第二类数据;若所述第二数据库的类型是第二类型,则获取与所述源数据表对应的描述文件,并从所述描述文件中获取与所述源数据表对应的第二类数据;或者,若所述第二数据库的类型是第二类型,则从所述源数据表中读取属性数据,并根据所述属性数据确定与所述源数据表对应的第二类数据;
其中,所述第二类型包括:对象存储服务OSS类型;所述第一类型包括:OSS类型之外的其它类型。
23.一种数据查询设备,其特征在于,包括:
处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:
获取一个业务请求,所述业务请求包括表建立信息和表查询信息;
根据所述表建立信息在第一数据库中建立目标数据表;
根据所述表查询信息从所述目标数据表中查询目标数据;
其中,所述根据所述表建立信息在第一数据库中建立目标数据表,包括:
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;或者,
若所述表建立信息包括第一类数据,则获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
所述第二类数据包括:列属性;所述第一类数据包括:目标数据表的表名、第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
24.一种数据表建立设备,其特征在于,包括:
处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:
获取与目标数据表对应的表建立信息;其中,所述获取与目标数据表对应的表建立信息,包括:接收业务请求,并从该业务请求中获取与目标数据表对应的表建立信息,该业务请求还携带目标数据表对应的表查询信息;
若所述表建立信息包括第一类数据和第二类数据,则根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
若所述表建立信息包括第一类数据,获取与源数据表对应的第二类数据,并根据所述第一类数据和所述第二类数据在第一数据库中建立目标数据表;
所述第二类数据包括:列属性;所述第一类数据包括:目标数据表的表名、第二数据库的类型、所述源数据表的名称、所述源数据表的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811095820.8A CN110928895B (zh) | 2018-09-19 | 2018-09-19 | 一种数据查询、数据表建立方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811095820.8A CN110928895B (zh) | 2018-09-19 | 2018-09-19 | 一种数据查询、数据表建立方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110928895A CN110928895A (zh) | 2020-03-27 |
CN110928895B true CN110928895B (zh) | 2023-07-04 |
Family
ID=69856082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811095820.8A Active CN110928895B (zh) | 2018-09-19 | 2018-09-19 | 一种数据查询、数据表建立方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110928895B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434189A (zh) * | 2020-12-02 | 2021-03-02 | 新华三大数据技术有限公司 | 数据查询方法、装置及设备 |
CN113505128B (zh) * | 2021-06-30 | 2024-05-31 | 平安科技(深圳)有限公司 | 创建数据表的方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1248206A1 (en) * | 2001-04-05 | 2002-10-09 | Sun Microsystems, Inc. | Method and apparatus for database table definition |
CN103810219A (zh) * | 2012-11-15 | 2014-05-21 | 中国移动通信集团公司 | 一种基于行存储数据库的数据处理方法及装置 |
WO2014124566A1 (zh) * | 2013-02-17 | 2014-08-21 | 上海帜讯信息技术有限公司 | 面向业务信息的多企业用户划屏切换展现与交互方法 |
WO2017018702A2 (ko) * | 2015-07-24 | 2017-02-02 | 에스케이플래닛 주식회사 | 사용자 장치, 서비스 제공 장치, 그를 포함하는 광고 시스템, 그의 제어 방법, dsp/ssp간 타겟팅 정보 매핑 방법 및 이를 이용한 리타겟팅 광고 제공 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
CN106681999A (zh) * | 2015-11-05 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 一种数据表查询方法及设备 |
CN107545044A (zh) * | 2017-08-15 | 2018-01-05 | 北京微影时代科技有限公司 | 一种数据表建立方法、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8271650B2 (en) * | 2009-08-25 | 2012-09-18 | Vizibility Inc. | Systems and method of identifying and managing abusive requests |
-
2018
- 2018-09-19 CN CN201811095820.8A patent/CN110928895B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1248206A1 (en) * | 2001-04-05 | 2002-10-09 | Sun Microsystems, Inc. | Method and apparatus for database table definition |
CN103810219A (zh) * | 2012-11-15 | 2014-05-21 | 中国移动通信集团公司 | 一种基于行存储数据库的数据处理方法及装置 |
WO2014124566A1 (zh) * | 2013-02-17 | 2014-08-21 | 上海帜讯信息技术有限公司 | 面向业务信息的多企业用户划屏切换展现与交互方法 |
WO2017018702A2 (ko) * | 2015-07-24 | 2017-02-02 | 에스케이플래닛 주식회사 | 사용자 장치, 서비스 제공 장치, 그를 포함하는 광고 시스템, 그의 제어 방법, dsp/ssp간 타겟팅 정보 매핑 방법 및 이를 이용한 리타겟팅 광고 제공 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
CN106681999A (zh) * | 2015-11-05 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 一种数据表查询方法及设备 |
CN107545044A (zh) * | 2017-08-15 | 2018-01-05 | 北京微影时代科技有限公司 | 一种数据表建立方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110928895A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11651008B2 (en) | Method and system for synchronizing databases automatically and periodically | |
US20170364697A1 (en) | Data interworking method and data interworking device | |
US10291704B2 (en) | Networked solutions integration using a cloud business object broker | |
CN113254779B (zh) | 内容搜索方法、装置、设备及介质 | |
CN105335477B (zh) | 一种数据库的操作方法及装置 | |
CN112769679A (zh) | 消息展示方法及装置 | |
WO2021047323A1 (zh) | 一种数据操作方法、装置及系统 | |
US11226982B2 (en) | Synchronization of offline instances | |
CN107798135B (zh) | 分页查询方法及装置和电子设备 | |
CN111723161A (zh) | 一种数据处理方法、装置及设备 | |
EP3553675A1 (en) | Picture-based method and apparatus for implementing service operations | |
CN113094387A (zh) | 一种数据查询方法、装置、电子设备及机器可读存储介质 | |
CN107423037B (zh) | 应用程序接口定位方法及设备 | |
CN108259533A (zh) | 一种数据传输方法和装置 | |
CN103902548B (zh) | 一种访问数据库的系统和方法及注册、订票、网购系统 | |
CN110928895B (zh) | 一种数据查询、数据表建立方法、装置及设备 | |
CN111400301B (zh) | 一种数据查询方法、装置及设备 | |
CN110909072B (zh) | 一种数据表建立方法、装置及设备 | |
CN112948383A (zh) | 政务数据共享交换方法和装置 | |
CN111506613A (zh) | 一种数据记录的关联关系的查询方法、系统、装置及设备 | |
CN111104408A (zh) | 基于地图数据的数据交换方法、装置及存储介质 | |
CN114329091A (zh) | 一种数据目录生成方法、装置及设备 | |
CN114722782A (zh) | 数据申请方法及装置、电子设备、存储介质 | |
CN110781191B (zh) | 编排数据的处理方法及服务器 | |
CN111221858B (zh) | 一种数据处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |