CN110716955A - 一种快速响应数据查询请求的方法和系统 - Google Patents

Abstract

本发明公开了一种快速响应数据查询请求的方法和系统，其中，所述方法包括以下步骤：从后台管理系统中调取数据体系的若干分类表，根据种类标签和全类计算规则生成任务日志；从数据源中调取数据到离线任务中，从任务日志中提取出HQL计算规则，利用HQL计算规则得到数据源中数据对应的基础结果集，将基础结果集以Rowkey规则插入到Hbase数据库；从任务日志中提取出Method计算规则，利用Method计算规则和基础结果集得到衍生结果集，将衍生结果集以Rowkey规则插入到Hbase数据库；对Hbase数据库的发出数据查询请求，根据Rowkey规则对数据查询请求作出响应。本发明实施例能够对数据库中特定数据的请求快速响应，使得数据接口的数据流通更加稳定和高效。

Description

一种快速响应数据查询请求的方法和系统

技术领域

本发明涉及大数据领域，具体涉及一种快速响应数据查询请求的方法和系统。

背景技术

随着数据的不断积累以及人们对数据分析的重视程度不断提升，对于数据的应用数量以及广度都在增加，其中，对于数据库中特定数据的请求，不管是传统数据架构的数据库，还是目前使用基于大数据的数据分析架构的数据库，基本都还是根据具体业务需求进行数据模型的定制化开发，最后把结果数据同步到数据库或者druid之类可以直接进行数据展示的数据存储中，再通过报表工具或者自开发的平台进行前端页面展示。

但是上述的数据查询请求的整个过程中存在着下述的问题：随着数据库中业务量数据的分析不断增加，数据模型的开发工作会越来越多，需要的开发资源不断提升，且在处理大量数据时，不管是数据库还是Druid连接池等在需要快速响应的应用场景下很难达到毫秒级的性能要求，虽然Druid连接池有支持快速的聚合、过滤等优势，且通过Druid连接池的数据库使用简单，但是其响应在秒级，响应的性能往往更低，同样无法达到目前数据请求中对于高速性能的要求。如何在项目中有效降低开发工作量，提升数据指标接口的响应速度就显得格外重要。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种快速响应数据查询请求的方法和系统，能够对数据库中特定数据的请求快速响应，使得数据接口的数据流通更加稳定和高效。

为解决上述技术问题，本发明采用的技术方案是：

第一方面，本发明实施例提供了一种快速响应数据查询请求的方法，所述方法包括以下步骤：

从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；

从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；

从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结果集，将所述衍生结果集以Rowkey规则插入到Hbase数据库；

对所述Hbase数据库的发出数据查询请求，根据所述Rowkey规则对所述数据查询请求作出响应。

进一步地，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括能够自由组合的指标和指标属性，所述维度种类至少包括能够自由组合的维度名称和维度值，所述视角由若干所述维度种类自由组合。

进一步地，所述任务日志的生成还包括对于所述种类标签的导入和排列，所述排列的结果至少包括基础指标任务结果和衍生指标任务结果，所述基础指标任务对应于所述基础结果集，所述衍生指标任务结果对应于所述衍生指标结果集。

进一步地，所述HQL计算规则的利用包括将所述HQL计算规则解析成为若干可执行的SQL计算语句，通过所述SQL计算语句将所述种类标签的编码和所述数据库中数据种类的进行匹配，所述种类标签的组合数量对应于所述SQL计算语句解析的数量。

进一步地，所述Method计算规则的利用包括通过JaveScript计算引擎解析所述Method计算规则，所述Method计算规则的计算先后顺序由所述衍生结果集的等级决定。

另一方面，本发明实施例还提供了一种快速响应数据查询请求的系统，所述系统包括：

任务日志生成单元，用于从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；

基础任务处理单元，用于从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；

衍生任务处理单元，用于从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结果集，将所述衍生结果集以Rowkey规则插入到Hbase数据库；

数据查询请求单元，用于对所述Hbase数据库的发出数据查询请求，根据所述Rowkey规则对所述数据查询请求作出响应。

进一步地，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括可以自由组合的指标和指标属性，所述维度种类至少包括可以自由组合的维度名称和维度值，所述视角由不同的维度自由组合。

进一步地，所述任务日志生成单元还用于对所述种类标签的导入和排列，所述排列的结果至少包括基础指标任务结果和衍生指标任务结果，所述基础指标任务对应于所述基础结果集，所述衍生指标任务结果对应于所述衍生指标结果集。

进一步地，所述基础任务处理单元还用于将所述HQL计算规则解析成为若干可执行的SQL计算语句，通过所述SQL计算语句将所述种类标签的编码和所述数据库中数据种类的进行匹配，所述种类标签的组合数量对应于所述SQL计算语句解析的数量。

进一步地，所述衍生任务处理单元还用于通过JaveScript计算引擎解析所述Method计算规则，所述Method计算规则的计算先后顺序由所述衍生结果集的等级决定。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例公开了一种快速响应数据查询请求的方法和系统，其中，在对数据库中特定数据请求前，先通过后台管理系统对于数据的体系设计若干分类表，分别对所述分类表配置不同的种类标签并编码，根据种类标签设计全类计算规则，通过离线任务的处理计算，将这些种类标签对应数据源的数据种类相互匹配，计算出包括基础指标和衍生指标的结果集，使得所有种类标签对应下的数据最终都以Rowkey规则插入到Hbase数据库。使得一旦数据查询请求单元发出特定的请求，Hbase数据库存储的数据都可以快速的作出响应，从而显著提高数据请求响应的性能，进而使得数据接口的数据流通更加稳定和高效。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的快速响应数据查询请求的方法的一种流程示意图；

图2是本发明实施例公开的快速响应数据查询请求的方法中关于指标计算任务的流程图；

图3是本发明实施例公开的快速响应数据查询请求系统的一种结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1所示，本实施例公开了一种快速响应数据查询请求的方法，所述方法包括以下步骤：

S1：从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；

S2：从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；

S3：从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结果集，将所述衍生结果集以Rowkey规则插入到Hbase数据库；

S4：对所述Hbase数据库的发出数据查询请求，根据所述Rowkey规则对所述数据查询请求作出响应。

具体地，在对数据源的数据进行计算处理之前，需要对该数据源中的数据的体系进行若干分类表的配置，在分类表中配置不同的种类标签，对各种种类标签进行编码，然后根据种类标签设计全类计算规则，并将这些种类标签、编码和全类计算规则储存在后台管理系统中，例如，在电商平台下目前一般将购物数据储存在HIVE数据源中，在购物是后台管理系统中，根据购物数据的体系，可以将购物数据进行分类表的设计，在该购物数据的分类表中配置不同的种类标签，优选地，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括能够自由组合的指标和指标属性，所述维度种类至少包括能够自由组合的维度名称和维度值，所述视角由若干所述维度种类自由组合。指标种类包括指标和指标属性，指标和指标属性可以自由组合。如付款金额的指标属性包含：本期值、同期值、上期值、同比率、环比率等等，维度种类包括查询维度和多个维度值和维度值描述，查询维度下设有门店、大区、品类等，维度值描述百货、虚拟产品、商旅、OA办公等；不同的维度种类组合成不同的视角种类，维度种类组合的顺序不同视角种类也是不同的。如大区->品类和品类->大区就是2个不同的视角种类；同时，根据不同的查询周期设置周期维度，包括周期ID、周期名称、周期描述等，如：日、周、月、季、年、周日累计、月累计、季日累计、年日累计等。对于这些具体的种类标签，分别给予不同的编码，根据这些种类标签进行全类计算规则的配置，其中，全类计算规则主要是通过排列组合的形式进行编码的排列。

由于传统数据架构的数据库和目前使用基于大数据的数据分析架构的数据库，基本都还是根据具体业务需求进行数据模型的定制化开发，最后把结果数据同步到数据库或者druid之类可以直接进行数据展示的数据存储中，再通过报表工具或者自开发的平台进行前端页面展示，因此，这种传统的数据处理速度很难达到毫秒级的性能要求，因此，本实施例中先进行数据类型的配置，再配置计算规则，通过计算规则将数据进行先处理，后请求查询发明构思，可以显著提高数据处理的速度，使得每个数据的请求都在毫秒级，性能非常好。

优选地，所述任务日志的生成还包括对于所述种类标签的导入和排列，所述排列的结果至少包括基础指标任务结果和衍生指标任务结果，所述基础指标任务对应于所述基础结果集，所述衍生指标任务结果对应于所述衍生指标结果集。进一步地，所述HQL计算规则的利用包括将所述HQL计算规则解析成为若干可执行的SQL计算语句，通过所述SQL计算语句将所述种类标签的编码和所述数据库中数据种类的进行匹配，所述种类标签的组合数量对应于所述SQL计算语句解析的数量；所述Method计算规则的利用包括通过JaveScript计算引擎解析所述Method计算规则，所述Method计算规则的计算先后顺序由所述衍生结果集的等级决定。

具体地，如图2所示，是购物平台下的指标数据处理方法流程，在对指标数据进行处理之前，先配置计算规则和指标计算规则关系的建立，对于这种全类计算规则的建立之后，后续只要种类标签中指标类型不再增加，都无需重复建立这种全类计算规则，一旦存在种类标签的中指标类型的变动，也只需更改一下全类计算规则而已，因此，相对于目前的数据处理方法而言，这种处理的速度和效率显著增加，由于在不同的指标下，维度的组合都可以是多种，通过全类计算规则可以将后续的基础指标计算任务和衍生指标计算任务的处理时间显著缩小。在指标数据处理的过程中，包括任务日志生成任务、基础指标计算任务和衍生指标计算任务三个流程，其中，任务日志需要将指标的种类标签导入，根据全类计算规则下的指标计算关系表生成任务日志；基础指标计算任务包括：根据任务日志和指标计算关系表得到HQL计算规则，同时提取HIVE数据源中的具体数据，再解析HQL计算规则得到标准的HQL，通过Spalksql执行HQL得到基础指标结果集，最后将基础指标结果集按Rowkey规则插入到Hbase数据库；衍生指标计算任务包括：根据任务日志既指标计算关系表得到Method计算规则，从Hbase数据库获取对应的基础指标结果集，通过JaveScript计算引擎计算得到衍生指标结果集，最后把衍生指标结果集按Rowkey规则插入到Hbase数据库。一旦需要查询该指标下的具体数据时，都可以在Hbase数据库接口发出数据查询的请求，立刻可以查到已经计算完成的指标数据，其响应时间在毫秒级，性能相比于现有技术而言提升非常明显，进而使得数据接口的数据流通更加稳定和高效。

实施例二：

如图3所示，本实施例公开了一种快速响应数据查询请求的系统，所述系统包括：

任务日志生成单元，用于从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；

基础任务处理单元，用于从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；

衍生任务处理单元，用于从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结果集，将所述衍生结果集以Rowkey规则插入到Hbase数据库；

数据查询请求单元，用于对所述Hbase数据库的发出数据查询请求，根据所述Rowkey规则对所述数据查询请求作出响应。

优选地，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括可以自由组合的指标和指标属性，所述维度种类至少包括可以自由组合的维度名称和维度值，所述视角由不同的维度自由组合。

具体地，首先通过后台管理系统对该数据源中的数据的体系进行若干分类表的配置，在分类表中配置不同的种类标签，对各种种类标签进行编码，然后根据种类标签设计全类计算规则，并将这些种类标签、编码和全类计算规则储存在后台管理系统中，例如，在电商平台下目前一般将购物数据储存在HIVE数据源中，在购物是后台管理系统中，根据购物数据的体系，可以将购物数据进行分类表的设计，在该购物数据的分类表中配置不同的种类标签，优选地，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括能够自由组合的指标和指标属性，所述维度种类至少包括能够自由组合的维度名称和维度值，所述视角由若干所述维度种类自由组合。指标种类包括指标和指标属性，指标和指标属性可以自由组合。如付款金额的指标属性包含：本期值、同期值、上期值、同比率、环比率等等，维度种类包括查询维度和多个维度值和维度值描述，查询维度下设有门店、大区、品类等，维度值描述百货、虚拟产品、商旅、OA办公等；不同的维度种类组合成不同的视角种类，维度种类组合的顺序不同视角种类也是不同的。如大区->品类和品类->大区就是2个不同的视角种类；同时，根据不同的查询周期设置周期维度，包括周期ID、周期名称、周期描述等，如：日、周、月、季、年、周日累计、月累计、季日累计、年日累计等。对于这些具体的种类标签，分别给予不同的编码，根据这些种类标签进行全类计算规则的配置，其中，全类计算规则主要是通过排列组合的形式进行编码的排列。

例如，后台管理系统中新增指标时，配置新增的指标名称、指标所属业务分类、业务定义，同时选择指标涉及到的周期、视角、指标属性(在选择指标属性的时候，同时需要选择指标在该指标属性下对应的单位和指标等级)。配置完成后，系统会自动生成指标ID，同时生成指标、周期、视角、计算规则关系。但是此时生成的关系中指标计算规则都是null，需要在最后批量配置，若指标存在，只是新增指标涉及的周期、视角、指标属性则直接在配置页面做修改即可。新增的指标计算关系也会自动生成。删除同理，对应的指标计算关系也会自动删除。因此，通过后台管理系统可以对新增在数据体系下的种类标签作出总的修改和调整，可以显著缩短数据的处理时间。譬如原本配置1个指标相同的4个维度组合可能需要配置15个SQL计算规则，那么现在只要配置一个SQL计算规则就可以，通过SQL解析引擎会自动解析成15个SQL语句进行执行。

优选地，对于Hbase数据库是按照rowkey的规则的进行的存储，在存储时的数据是按照字典排序的，Hbase数据库中数据的插入和读取带有周期、视角、指标、具体周期日期、具体视角值，所以按照这个设计能加快写入速度和读取速度。具体指标放在同一个列簇中，均以编码的形式进行排列。例如，在Hbase数据库中有一个RowKey的例子：

WD1001-VV1-ZB_XS_0001-20171217-10001-00001，

其具体的表示如下：WD1001:周期编码(日)、VV1:视角编码(大区->品类)、ZB_XS_0001:指标编码(付款金额)、20171217:具体日期(2017年12月17日)、10001:大区考核具体维度值(南京大区)、00001:品类具体维度值(空调)。通过spark离线任务模块的技术处理，提前把各个周期各维度的指标计算好，采用Hbase这种分布式NoSql存储，合理的Hbase数据库中的储存表设计，使请求海量数据指标达到的响应速度达到毫秒级。譬如目前使用较多的Druid,同样请求一年的某个大区全部品类的付款金额，响应耗时是在2～3秒之间，使用本技术方案响应耗时在0.025～0.05秒之间。

例如，对于购物平台下的指标数据处理方法，在对指标数据进行处理之前，先配置计算规则和指标计算规则关系的建立，对于这种全类计算规则的建立之后，后续只要种类标签中指标类型不再增加，都无需重复建立这种全类计算规则，一旦存在种类标签的中指标类型的变动，也只需更改一下全类计算规则而已，所述日志生成单元还用于将指标的种类标签导入，根据全类计算规则下的指标计算关系表生成任务日志。优选地，所述任务日志包括对于所述种类标签的导入和排列，所述排列的结果至少包括基础指标任务结果和衍生指标任务结果，所述基础指标任务对应于所述基础结果集，所述衍生指标任务结果对应于所述衍生指标结果集。优选地，所述基础任务处理单元还用于将所述HQL计算规则解析成为若干可执行的SQL计算语句，通过所述SQL计算语句将所述种类标签的编码和所述数据库中数据种类的进行匹配，所述种类标签的组合数量对应于所述SQL计算语句解析的数量。进一步地，所述衍生任务处理单元还用于通过JaveScript计算引擎解析所述Method计算规则，所述Method计算规则的计算先后顺序由所述衍生结果集的等级决定。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的快速响应数据查询请求的系统在对数据的查询请求过程中，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将快速响应数据查询请求的系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的快速响应数据查询请求的与快速响应数据查询请求的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种快速响应数据查询请求的方法，其特征在于，所述方法包括以下步骤：

从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；

从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；

从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结果集，将所述衍生结果集以Rowkey规则插入到Hbase数据库；

对所述Hbase数据库的发出数据查询请求，根据所述Rowkey规则对所述数据查询请求作出响应。

2.根据权利要求1所述的快速响应数据查询请求的方法，其特征在于，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括能够自由组合的指标和指标属性，所述维度种类至少包括能够自由组合的维度名称和维度值，所述视角由若干所述维度种类自由组合。

3.根据权利要求2所述的快速响应数据查询请求的方法，其特征在于，所述任务日志的生成还包括对于所述种类标签的导入和排列，所述排列的结果至少包括基础指标任务结果和衍生指标任务结果，所述基础指标任务对应于所述基础结果集，所述衍生指标任务结果对应于所述衍生指标结果集。

4.根据权利要求1所述的快速响应数据查询请求的方法，其特征在于，所述HQL计算规则的利用包括将所述HQL计算规则解析成为若干可执行的SQL计算语句，通过所述SQL计算语句将所述种类标签的编码和所述数据库中数据种类的进行匹配，所述种类标签的组合数量对应于所述SQL计算语句解析的数量。

5.根据权利要求1所述的快速响应数据查询请求的方法，其特征在于，所述Method计算规则的利用包括通过JaveScript计算引擎解析所述Method计算规则，所述Method计算规则的计算先后顺序由所述衍生结果集的等级决定。

6.一种快速响应数据查询请求的系统，其特征在于，所述系统包括：

任务日志生成单元，用于从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；

基础任务处理单元，用于从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；

衍生任务处理单元，用于从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结果集，将所述衍生结果集以Rowkey规则插入到Hbase数据库；

数据查询请求单元，用于对所述Hbase数据库的发出数据查询请求，根据所述Rowkey规则对所述数据查询请求作出响应。

7.根据权利要求6所述的快速响应数据查询请求的系统，其特征在于，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括可以自由组合的指标和指标属性，所述维度种类至少包括可以自由组合的维度名称和维度值，所述视角由不同的维度自由组合。

8.根据权利要求7所述的快速响应数据查询请求的系统，其特征在于，所述任务日志生成单元还用于对所述种类标签的导入和排列，所述排列的结果至少包括基础指标任务结果和衍生指标任务结果，所述基础指标任务对应于所述基础结果集，所述衍生指标任务结果对应于所述衍生指标结果集。

9.根据权利要求6所述的快速响应数据查询请求的系统，其特征在于，所述基础任务处理单元还用于将所述HQL计算规则解析成为若干可执行的SQL计算语句，通过所述SQL计算语句将所述种类标签的编码和所述数据库中数据种类的进行匹配，所述种类标签的组合数量对应于所述SQL计算语句解析的数量。

10.根据权利要求6所述的快速响应数据查询请求的系统，其特征在于，所述衍生任务处理单元还用于通过JaveScript计算引擎解析所述Method计算规则，所述Method计算规则的计算先后顺序由所述衍生结果集的等级决定。

Images