CN106844545A

CN106844545A - 一种基于标准sql的双引擎数据库系统的实现方法

Info

Publication number: CN106844545A
Application number: CN201611260595.XA
Authority: CN
Inventors: 卢强; 缪广忠; 陈贤枭; 王远
Original assignee: CHINA REALTIME DATABASE Co Ltd
Current assignee: CHINA REALTIME DATABASE Co Ltd
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2017-06-13

Abstract

本发明公开了一种基于标准SQL的双引擎数据库系统的实现方法，提供一种双引擎数据库系统，选择关系数据库作为关系数据引擎以及选择实时数据库作为时序数据引擎，将关系数据引擎和时序数据引擎作为双引擎数据库系统，该系统包括SQL查询编译器和查询计划执行器，SQL查询编译器包括查询分析模块和查询重写模块；该方法逻辑上将时序数据映射到关系数据库的外部表，在统一表空间对时序数据和关系数据进行管理，为业务系统提供标准的SQL语法进行统一数据访问；使用标准SQL访问两种数据库，实现了实时数据和关系数据的统一管理，屏蔽了不同数据库在访问方式、存储方式上的差异，简化业务系统实现的复杂性。

Description

一种基于标准SQL的双引擎数据库系统的实现方法

技术领域

本发明属于数据库技术领域，具体是涉及一种基于标准SQL的双引擎数据库系统的实现方法。

背景技术

随着智能化、信息化的不断发展，面向电力、石化、钢铁等流程工业的时序数据量不断增长，同时需要面对大量的关系模型、管理信息等结构化数据，因此，时序数据与传统关系数据的融合面临越来越多的挑战。以电力系统为例，关系数据库和实时数据库均被广泛应用，但由于两种数据库的结构和实现原理不同，其应用的场景也有很大区别。对于大部分应用系统，业务应用需要同时访问这两种数据库中的数据，并进行联合查询等操作。由于关系数据库使用标准SQL进行访问，而实时数据库使用API获取数据，因此两种数据库接口不统一，出现关系数据库和实时数据库接口不统一、数据无法统一管理、无法进行实时数据和关系数据联合操作等问题，并且无法做到灵活扩展，使得对数据集的操作必须由业务系统完成，造成业务逻辑复杂，并且处理效率非常低下。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于标准SQL的双引擎数据库系统的实现方法，该方法逻辑上将时序数据映射到关系数据库的外部表，在统一表空间对时序数据和关系数据进行管理，为业务系统提供标准的SQL语法进行统一数据访问，并且支持实时数据与关系数据的联合查询、数据集合并等复杂操作，简化业务系统实现的复杂性。

技术方案：为实现上述目的，本发明的一种基于标准SQL的双引擎数据库系统的实现方法，提供一种双引擎数据库系统，选择关系数据库作为关系数据引擎以及选择实时数据库作为时序数据引擎，将关系数据引擎和时序数据引擎作为双引擎数据库系统，该系统包括SQL查询编译器和查询计划执行器，所述SQL查询编译器包括查询分析模块和查询重写模块；

所述方法包括以下步骤：

S1使用关系数据库的外部表技术，将实时数据库作为关系数据库的外部数据源，将实时数据库中时序数据映射到关系数据库的外部表；

S2用户针对关系数据引擎或/和时序数据引擎在系统中输入SQL查询语句，当系统接收到SQL查询语句后，首先将该SQL查询语句发送给所述查询分析模块；

S3所述查询分析模块将该SQL查询语句进行词法、语法和语义分析，并为该SQL查询语句构建查询树，然后将该查询树发送给所述查询重写模块；

S4所述查询重写模块接收到查询树后，按照该查询所涉及的规则和视图对该查询树进行重写，生成新的查询树；

S5所述查询编译器依据新的查询树生成路径模块，并根据该路径模块生成查询计划，所述查询编译器将该查询计划发送给所述查询计划执行器；

S6所述查询计划执行器执行所述查询计划，获取时序数据集或/和本地关系数据集；

S7将时序数据集和本地关系数据集进行投影、连接、联合操作，将最终结果集返回给用户。

进一步地，所述步骤S5包括以下步骤：

当针对时序数据引擎时，需考虑实时数据库中时序数据映射的外部表的访问方式、连接方式和连接顺序，首先根据实时数据库中时序数据量的大小，估算实时数据库中时序数据映射的外部表的规模、数据页数量以及记录所占空间大小；然后根据估算结果设置影响因子；接着采用该影响因子作为动态规划算法或遗传算法的输入参数，生成最优的外部表连接路径；最后由最优的外部表连接路径生成查询计划；

当针对关系数据引擎时，需考虑本地关系数据表的访问方式、连接方式和连接顺序，通过新的查询树生成本地关系表的查询计划。

进一步地，所述步骤S6包括以下步骤：

当针对时序数据引擎时，所述查询计划执行器执行所述查询计划获取时序数据集，需要根据得到的新的查询树，将SQL查询转化为调用实时数据库对应的API接口从实时数据库中时序数据映射的外部表中获取时序数据集，并将获取的时序数据集转化为关系数据库的元祖数据结构，最后返回给所述查询计划执行器；

当针对关系数据引擎时，直接通过所述查询计划执行器获取本地关系数据集。

进一步地，在调用实时数据库对应的API接口前，根据新的查询树中Where条件解析，获取查询的测点名或测点ID，并根据条件中设置的时间段生成对应的时间区间，将条件信息封装成API接口所需的数据格式，再调用实时数据库对应的API接口从外部获取时序数据集。

进一步地，将获取的时序数据集转化为关系数据库的元祖数据结构，包括以下步骤：根据实时数据库中时序数据映射的外部表名称，调用BuidTupleFromCStrings将时序数据构造为元祖数据。

进一步地，实时数据库中时序数据映射到关系数据库的外部表中，其中实时数据库中时序数据从存储内容来看被分为测点信息和采集的数据值，将实时数据库中时序数据映射到测点信息表和测点值表。

有益效果：本发明与现有技术比较，具有的优点是：本发明提供一种基于标准SQL的双引擎数据库系统的实现方法，该方法逻辑上将时序数据映射到关系数据库的外部表，在统一表空间对时序数据和关系数据进行管理，为业务系统提供标准的SQL语法进行统一数据访问；在应用系统中同时需要访问实时数据和关系数据时，使用标准SQL访问两种数据库，并且支持实时数据与关系数据的联合查询、数据集合并等复杂操作，实现了实时数据和关系数据的统一管理，屏蔽了不同数据库在访问方式、存储方式上的差异，简化业务系统实现的复杂性。

附图说明

图1是双引擎数据库系统结构示意图。

图2是查询处理步骤流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明提出的一种基于标准SQL的双引擎数据库系统的实现方法，提供一种双引擎数据库系统，选择关系数据库作为关系数据引擎以及选择实时数据库作为时序数据引擎，将关系数据引擎和时序数据引擎作为双引擎数据库系统，该系统包括SQL查询编译器和查询计划执行器，SQL查询编译器包括查询分析模块和查询重写模块，由SQL查询编译器将客户提交的SQL查询语句转变成查询计划后，由查询执行器继续执行查询计划的处理过程，在查询计划执行阶段，将根据查询计划进行数据提取、处理、存储等一系列活动，以完成整个查询计划的执行过程。

基于标准SQL的双引擎数据库系统的实现方法包括以下步骤：

需要使用关系数据库的外部表技术，将实时数据库作为关系数据库的外部数据源，将实时数据库中时序数据映射到关系数据库的外部表中，在本发明中，实时数据库中时序数据从存储内容来看被分为测点信息和采集的数据值信息，因此，将实时数据库中时序数据映射到测点信息表和测点值表中，即映射到关系数据库的二维表中，该方法逻辑上将时序数据映射到关系数据库的外部表中，在统一表空间对时序数据和关系数据进行管理，为业务系统提供标准的SQL语法进行统一数据访问，实现在电网应用系统中同时需要访问实时数据和关系数据时，使用标准SQL可以访问两种数据库；

首先用户针对关系数据引擎或/和时序数据引擎在系统中输入SQL查询语句，当系统接收到SQL查询语句后，首先将该SQL查询语句发送给查询分析模块对SQL查询语句进行解析；查询分析模块通过对该SQL查询语句进行词法、语法和语义分析，并为该查询构建查询树，然后将查询树发送给查询重写模块；查询重写模块接收到查询树以后，按照该查询所涉及的规则和视图对收到的查询树进行重写，从而生成新的查询树；查询编译器依据新的查询树生成路径模块，并由该路径模块生成可执行的查询计划，查询编译器将该查询计划发送给查询计划执行器执行；查询编译器将用户输入的SQL查询语句转变成可执行的查询计划后，查询计划执行器执行生成的查询计划，在查询计划执行阶段，查询计划执行器将根据查询计划进行数据提取、处理、存储等一系列活动，以完成整个查询计划的执行过程；查询计划执行器执行查询计划，获取得到时序数据集或/和本地关系数据集，最终将时序数据集和本地数据集进行投影、连接、联合操作，将最终结果集返回给用户；

当用户针对时序数据引擎在系统中输入SQL查询语句时，为了业务系统提供标准的SQL语法进行统一数据访问，需要使用关系数据库的外部表技术，将实时数据库作为关系数据库的外部数据源，将实时数据库中时序数据映射到关系数据库的外部表中，在本发明中，实时数据库中时序数据从存储内容来看被分为测点信息和采集的数据值信息，因此，将实时数据库中时序数据映射到测点信息表和测点值表中，即映射到关系数据库的二维表(测点信息表和测点值表)中；用户针对时序数据引擎在系统中输入SQL查询语句，当系统接收到该SQL查询语句后，首先将该SQL查询语句发送给查询分析模块；查询分析模块通过对该SQL查询语句进行解析，将该SQL查询语句进行词法、语法和语义分析，并为该SQL查询构建查询树，然后将该查询树发送给查询重写模块，查询重写模块接收到查询树后，按照用户提交的SQL查询所涉及的规则和视图对收到的查询树进行重写，生成新的查询树；查询编译器依据新的查询树生成路径模块，需要考虑实时数据库中时序数据映射的外部表的访问方式、连接方式和连接顺序等问题，具体包括以下步骤：首先根据实时数据库中时序数据量的大小，估算实时数据库中时序数据映射的外部表的规模、数据页数量以及记录所占空间大小；然后根据估算结果设置影响因子；接着采用该影响因子作为动态规划算法或遗传算法的输入参数，生成最优的外部表连接路径；最后由最优的外部表连接路径生成可执行的查询计划，查询编译器将提交的SQL查询语句转变成可执行的查询计划后，将该查询计划传递到查询执行器中；由查询计划执行器执行查询计划获取时序数据集，查询计划执行器在查询计划执行阶段，将根据查询计划进行数据提取、处理、存储等一系列活动，以完成整个查询计划的执行过程；在整个数据提取过程中，与实时数据库中时序数据映射的外部表中数据是从实时数据库获取的，因此在进行数据提取时，需要根据SQL查询语句解析后得到的新的查询树，将SQL查询转化为调用实时数据库对应的API接口从实时数据库中时序数据映射的外部表中获取时序数据集；为了支持多种SQL查询语句，屏蔽SQL语法与API接口参数之间的差异，调用实时数据库对应的API接口前，根据新的查询树中Where条件解析，获取查询的测点名或测点ID，并根据条件中设置的时间段生成对应的时间区间，将条件信息封装成API接口所需的数据格式，再调用实时数据库对应的API接口从外部获取时序数据集；将获取得到的时序数据集转化为关系数据库的元组数据结构，最后返回给查询计划执行器，对于时序数据集封装，由于关系数据库的存储管理器采用分页存储管理方式，数据在内存中是以页面块的形式存在，每个表文件由多个固定字节大小的文件块组成，每个文件块包含多个元组，而从实时数据库获取的时序数据集是按照固定结构体组织数据的，必须将其转化为关系数据库的元组结构，元组结构按照外部表的定义，以行的形式进行存储，将获取的时序数据集转化为关系数据库的元组数据结构，包括以下步骤：根据实时数据库中时序数据映射的外部表名称，调用BuidTupleFromCStrings将时序数据构造为元组数据，返回给查询计划执行器；

当用户针对关系数据引擎在系统中输入SQL查询语句时，如果获取实时数据的过程中涉及关系数据获取时，则需考虑本地关系数据表的访问方式、连接方式和连接顺序，通过新的查询树生成本地关系表的查询计划，直接通过查询计划执行器执行查询计划获取本地关系数据集；获取得到时序数据集或/和本地关系数据集，最终将时序数据集和本地数据集进行投影、连接、联合操作，将最终结果集返回给用户；

如图1所示，为双引擎数据库系统结构示意图，包括关系数据库引擎和实时数据库引擎，用户通过双引擎数据库接口访问层访问关系数据库引擎或实时数据库引擎，当用户访问关系数据库引擎时，通过SQL解析树得到查询计划，执行查询计划得到关系数据集；用户访问实时数据库引擎时，通过双引擎数据库接口访问层访问，实时数据库作为关系数据库的外部数据源，实时数据库中时序数据映射到关系数据库的外部表中，通过外部表数据获取得到时序数据集；将时序数据集和本地关系数据集进行投影、连接、联合操作，将最终结果集返回给用户；

如图2所示，为查询处理流程图，通过主进程进入处理子进程，进入查询处理工作，通过查询分析、查询重写得到查询树，由查询树生成路径模块，由路径模块生成查询计划，由查询计划执行器执行查询计划，获取目标数据。

实施例：

在本发明实施例中，使用开源关系数据库PostgreSQL作为关系数据引擎，选择电网业务中广泛使用的海迅实时数据库作为时序数据引擎，形成双引擎数据库系统；

实时数据库作为关系数据库的外部数据源，需要在逻辑上将实时数据库中时序数据映射到关系数据库的外部表，从时序数据存储内容来看，分为测点信息和采集的数据值，因此，将时序数据映射到测点信息表和测点值表，下面以对某时间点的实时数据查询为例来详细描述本发明的实现方法，假设测点信息表名为hspoint，测点值表名为hsvalue，

测点信息表hspoint结构为：

(name,addr,desp,unit,deadband,mirror,archive,precision,dataType,statistics,histdays,cSource,cGroup,id,groupId)

测点值表hsvalue结构为：

(pointname,pointid,value,status,pointtime,mode,step)

首先，实时数据库中时序数据映射到关系数据库的外部表中，具体包括以下步骤：

1.执行“create extension hs_fdw”，创建实时数据引擎实例；

2.执行“create server hs_server foreign data wrapper hs_fdw options(address '192.168.128.15',port'9000',database'HSFDW@HS-FDW')”为每个需要连接的远程实时数据库创建一个外部服务器对象，指定实时数据库的IP地址、端口、连接字符串；

3.执行“create user mapping for pgdb server hs_server options(username'SA',password'123456')”为每个需要通过外部服务器访问的数据库创建用户映射；

4.执行“create foreign table hspoint(name varchar(64),addr varchar(64),desp varchar(128),unit varchar(8),deadband real,mirror boolean,archiveboolean,precision integer,dataType integer,statistics boolean,histdaysinteger,cSource varchar(32),cGroup varchar(32),id integer,groupId integer)server hs_server”创建外部表-测点信息表hspoint；

5.执行“create foreign table hsvalue(pointname varchar(64),pointidinteger,value varchar(32),status varchar(4),pointtime timestamp without timezone,mode integer,step integer)server hs_server；”创建外部表-测点值表hsvalue。

然后，查询测点信息：

依次执行以下SQL查询语句，获取不同条件下的测点信息：

select*from hspoint；

select*from hspoint where name＝'HS.P00001'or name＝'HS.P00002'；

select*from hspoint where name in('HS.P00001','HS.P00002')；

select name,id,groupid from hspoint；

select*from hspoint where name in(select name from hs_point_test)；

针对测点信息查询，支持全表查询，“＝”条件、“in”操作符和子查询，可以指定不同的查询字段。

最后，查询测点值：

依次执行以下SQL，获取不同条件下的测点值：

//原始值查询

select*from hsvalue where pointname＝'HS.P00001'or pointname＝'HS.P00002'and pointtime<'2015-01-01 00:10:10.250'and pointtime>'2014-12-3123:59:59.500'and mode＝0；

//阶梯查询

select*from hsvalue where pointname＝'HS.P00001'and pointtime<'2015-01-0100:10:10.250'and pointtime>'2014-12-31 23:59:59.500'and step＝2and mode＝1；

//断面查询

select*from hsvalue where pointtime＝'2015-01-01 00:10:00.00'and mode＝2；

//实时值查询

select*from hsvalue where mode＝3；

//插值查询

select*from hsvalue where pointname＝'HS.P00001'and pointtime<'2015-01-0100:10:10.250'and pointtime>'2014-05-13 18:10:10.500'and step＝2and mode＝4；

查询测点值时，支持根据pointname和pointtime的组合条件查询，数据库引擎会根据pointtime指定的条件，自动生成对应的时间区间，从实时库获取该区间内的数据，并且通过指定mode字段的值，可以查询不同类型的实时数据，如原始值、阶梯值、断面值等。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于标准SQL的双引擎数据库系统的实现方法，其特征在于：提供一种双引擎数据库系统，选择关系数据库作为关系数据引擎以及选择实时数据库作为时序数据引擎，将关系数据引擎和时序数据引擎作为双引擎数据库系统，该系统包括SQL查询编译器和查询计划执行器，所述SQL查询编译器包括查询分析模块和查询重写模块；

所述方法包括以下步骤：

S3所述查询分析模块将该SQL查询语句进行词法、语法和语义分析，并为该SQL查询构建查询树，然后将该查询树发送给所述查询重写模块；

S5所述查询编译器依据新的查询树生成路径模块，由该路径模块生成查询计划，所述查询编译器将该查询计划发送给所述查询计划执行器；

2.根据权利要求1所述的基于标准SQL的双引擎数据库系统的实现方法，其特征在于：所述步骤S5包括以下步骤：

3.根据权利要求1所述的基于标准SQL的双引擎数据库系统的实现方法，其特征在于：所述步骤S6包括以下步骤：

当针对时序数据引擎时，所述查询计划执行器执行所述查询计划获取时序数据集，需要根据得到的新的查询树，将SQL查询转化为调用实时数据库对应的API接口从实时数据库中时序数据映射的外部表中获取时序数据集，并将获取的时序数据集转化为关系数据库的元组数据结构，最后返回给所述查询计划执行器；

4.根据权利要求3所述的基于标准SQL的双引擎数据库系统的实现方法，其特征在于：在调用实时数据库对应的API接口前，根据新的查询树中Where条件解析，获取查询的测点名或测点ID，并根据条件中设置的时间段生成对应的时间区间，将条件信息封装成API接口所需的数据格式，再调用实时数据库对应的API接口从外部获取时序数据集。

5.根据权利要求3所述的基于标准SQL的双引擎数据库系统的实现方法，其特征在于：将获取的时序数据集转化为关系数据库的元组数据结构，包括以下步骤：根据实时数据库中时序数据映射的外部表名称，调用BuidTupleFromCStrings将时序数据构造为元组数据。

6.根据权利要求1、2、3或5中任意一项权利要求所述的基于标准SQL的双引擎数据库系统的实现方法，其特征在于：实时数据库中时序数据映射到关系数据库的外部表中，其中实时数据库中时序数据从存储内容来看被分为测点信息和采集的数据值，将实时数据库中时序数据映射到测点信息表和测点值表。