CN110489441A - 一种基于大数据的即席查询方法及设备 - Google Patents

Abstract

本发明提供一种基于大数据的即席查询方法，包括如下步骤：在Hadoop平台上创建大宽表，建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，将该字段及字段对应的值写入主题对应的大宽表中，用户自定义查询内容；系统后台中的查询适配器根据要访问的数据库类型将自定义查询内容构建成可在对应数据库中执行的SQL语句；系统后台中的数据库适配器根据要访问的数据库的类型将SQL语句转换成符合该数据库函数标准的执行语句，运行该执行语句；以二维表格和图形中的至少一种形式展现查询结果。本发明提供了贴源的数据环境和平台，分析人员可根据需求组装自己的数据视角，扩宽分析视角，提高分析效率。

Description

一种基于大数据的即席查询方法及设备

技术领域

本发明涉及一种基于大数据的即席查询方法及设备，属于大数据查询领域。

背景技术

即席查询，是指在事先没有设定好查询内容和数据展现方式的情况下，由用户自行发起的数据探索性查询展现的方式，即，没有数据库操作技能的用户根据自己的思路操作分析数据库中的数据。随着数据服务价值的提升，越来越多的产品人员、运营人员开始适应数据化运营的工作方式，因此，提供针对海量多维数据的即席查询功能，将极大提升数据分析的效率，释放数据产品经理及数据分析师的潜能，逐渐为企业的大数据应用打下良好的基础。

在传统的关系型数据库平台上进行数据查询，根据用户设置的查询字段构建SQL语句，在数据表中字段数太多或者设置的查询字段太多时，都会影响SQL语句的查询效率，现有技术支撑不了随机大数据量即席查询所需要的效率，因此，现有技术中从未考虑过构建300-500字段（至少包含1亿条记录）的大宽表。同时，在现有技术中，本领域技术人员一般都是将数据表经过层层的加工处理，去除技术人员认为无用的字段，使得单表字段减少后再提供给用户进行查询，为了保证数据查询的效率，但是数据的价值就大大折扣，很多有价值的信息在本领域技术人员常规的数据加工处理过程中被动删除导致数据的失真，即为了效率丢掉了数据价值。

除此之外，现有的数据查询平台与数据库之间还存在兼容性差、适配灵活性差等问题：现有数据查询平台生成查询语句时，只能根据当前系统构建的数据库类型生成对应的执行语句，例如，数据表存储在ORACLE数据库上，则数据查询平台根据ORACLE数据库平台的执行语句标准生成对应的执行语句，当对接的数据库更换为Hadoop数据库时，则数据查询平台生成的执行语句无法访问新的数据库平台，需要重新再编写执行语句，造成重复劳动，生产效率低下。

发明内容

本发明要解决的技术问题之一，在于如何提供一种基于大数据的即席查询方法，给数据分析人员提供了贴源的数据环境和平台，操作人员可根据需求组装自己的数据视角，完成数据分析，扩宽了数据分析视角，提高了分析效率。

一种基于大数据的即席查询方法，包括如下步骤：在Hadoop平台上创建大宽表，每一大宽表对应一主题，根据主题建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，形成包含多字段的大宽表；用户选择一主题对应的大宽表，然后跳转到该主题对应的查询操作页面，用户自定义查询内容，所述查询内容包括查询字段；系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQL语句转自动换成符合该数据库平台函数标准的执行语句，然后运行该执行语句；获取到查询结果，以二维表格和图形中的至少一种形式展现查询结果。

更优地，用户在查询操作页面还可以自定义的查询内容包括展示属性和过滤条件，系统后台的查询适配器根据用户自定义的查询字段、展示属性和过滤条件，构建SQL语句。

更优地，所述自定义展示属性包括设定查询结果按其中一查询字段的升序或降序排列和设定查询结果按其中一查询字段进行分组，所述其中一查询字段由用户从设定的查找字段中自定义设置。

更优地，所述图形展现查询结果具体为：将查询结果转换成Json格式，然后调用Highchart函数进行图形展现。

更优地，所述查询操作页面还提供多个可供选择的查询字段，用户通过点击或拖拽自定义需要的查询字段。

更优地，所述数据库适配器内建立了所述SQL语句与不同类型数据库的函数映射关系，根据要访问的数据库类型，所述数据库适配器调用对应的函数映射关系将所述SQL语句转成可在该数据库执行的执行语句。

本发明还提供一种基于大数据的即席查询设备。

一种基于大数据的即席查询设备，所述设备包括微处理器和存储器，所述存储器上存储有程序，所述微处理器运行该程序后，执行如下步骤：在Hadoop平台上创建大宽表，每一大宽表对应一主题，根据主题建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，形成包含多字段的大宽表；用户选择一主题对应的大宽表，然后跳转到该主题对应的查询操作页面，用户自定义查询内容，所述查询内容包括查询字段；系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQL语句转自动换成符合该数据库平台函数标准的执行语句，然后运行该执行语句；获取到查询结果，以二维表格和图形中的至少一种形式展现查询结果。

更优地，用户在查询操作页面还可以自定义的查询内容包括展示属性和过滤条件，系统后台的查询适配器根据用户自定义的查询字段、展示属性和过滤条件，构建SQL语句；所述自定义展示属性包括设定查询结果按其中一查询字段的升序或降序排列和设定查询结果按其中一查询字段进行分组，所述其中一查询字段由用户从设定的查找字段中自定义设置。

更优地，所述数据库适配器内建立了所述SQL语句与不同类型数据库的函数映射关系，根据要访问的数据库类型，所述数据库适配器调用对应的函数映射关系将所述SQL语句转成可在该数据库执行的执行语句。

更优地，所述查询操作页面还提供多个可供选择的查询字段，用户通过点击或拖拽自定义需要的查询字段；所述图形展现查询结果具体为：将查询结果转换成Json格式，然后调用Highchart函数进行图形展现。

本发明具有如下优点：

本发明一种基于大数据的即席查询方法和设备，通过设定关联字段将相关数据关联得到大宽表，最大限度的保留了原始数据的原汁原味性，即抛开了传统的数据加工思维模式，创新地利用了Hadoop平台读写效率提升大数据查询效率，使数据分析的价值得到真实体现。同时，本发明采用查询适配器和数据库适配器，数据分析人员通过页面的拖拉点击即可组装自己的数据视角，通过查询适配器的对数据分析人员操作的查询内容进行SQL语句转换，通过数据库适配器将SQL语句转换成执行语句，填补了数据分析人员依赖于技术人员实现数据组装加工的部分，从而最大限度地提升了数据加工展现的落地时间，极大的提升了数据分析人员的分析效率。

本发明一种基于大数据的即席查询方法和设备，采用大宽表的方式，创新性地将数据分析提前到贴源的原始数据端，给数据分析人员提供了贴源的原始数据环境和平台，支持数据分析人员根据自身分析视角建立数据分析模式，极大地提高了数据分析的效率，分析人员再也不用为分析一张数据表而等待一个月甚至更长的时间，也不用受限于在有限的字段内分析数据，扩宽了数据分析员的分析视角，提高了分析效率，保证了数据价值的真实性。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种基于大数据的即席查询方法的流程示意图；

图2为本发明中多个大宽表的主题展示示意图；

图3为本发明中大宽表对应的查询操作页面提供的供筛选的查询字段示意图；

图4为本发明中自定义设置查询字段示意图；

图5为本发明中自定义展示属性示意图；

图6为本发明中自定义过滤条件示意图；

图7为本发明中以二维表展示查询结果示意图；

图8为本发明中以图形展示查询结果示意图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

请参阅图1，一种基于大数据的即席查询方法，包括如下步骤：在Hadoop平台上创建大宽表，每一大宽表对应一主题（如图2所示），根据主题建立多个关联字段名，以主题为厦门电商企业清单为例：企业ID，成立日期，统一社会信用号，所属行业，注册状态，建立的关联字段名可以是企业名称，企业ID号，企业状态等等，即企业名称相同关联，企业ID号相同关联，企业状态相同关联，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，例如，字段名为：企业名称，对应的值为：厦门AA公司、厦门BB公司……等，形成包含多字段的大宽表；用户选择一主题对应的大宽表，然后跳转到该主题对应的查询操作页面，用户自定义查询内容，所述查询内容包括查询字段，例如，以主题为厦门电商企业清单为例，自定义的查询字段为：企业ID，成立日期，统一社会信用号，所属行业，注册状态；系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQL语句转自动换成符合该数据库平台函数标准的执行语句，然后运行该执行语句；获取到查询结果，以二维表格和图形中的至少一种形式展现查询结果。所述图形展现查询结果具体为：将查询结果转换成Json格式，然后调用Highchart函数进行图形展现。图1中展示了可在Hadoop平台上创建的三种数据库类型，分别是：Postgresql、Impala以及Hive。在构建SQL语句和执行语句时，查询适配器和数据库适配器均依据要访问的数据库类型构建SQL语句和映射执行语句。

如图3所示，所述查询操作页面还提供多个可供选择的查询字段，用户通过点击或拖拽自定义需要的查询字段。用户在查询操作页面还可以自定义的查询内容包括展示属性和过滤条件，系统后台的查询适配器根据用户自定义的查询字段、展示属性和过滤条件，构建SQL语句。所述自定义展示属性包括设定查询结果按其中一查询字段的升序或降序排列和设定查询结果按其中一查询字段进行分组，所述其中一查询字段由用户从设定的查询字段中自定义设置。

本实施例中，面对要查询和分析的数据内容，在事先不知道查询范围和内容的情况下，采用贴源式的原始明细数据通过字段关联将数据装载到一张大宽表中，数据量非常大，例如表拥有300-500个字段，将近1亿条记录。将该大宽表建在Hadoop平台上，由于Hadoop平台针对大体量的数据，具备分布式存储，高速读写等特性，这样的特性特别适合进行大批量读取计算等操作。Hadoop平台一般会使用Impala/Spark等分部式数据库。数据分布在不同机器上，通过不同机器高速的读取，网络交换，既能充分利用每台机器的读写计算资源，有能在短时间内快速汇集计算结果，以此满足数据快速读写计算的需求。因此，基于Hadoop大数据平台的大宽表方式，利用大数据平台的分布式计算能力，提供即使是大数据量读取的情况下，也能高效满足查询返还所需。

所述大宽表的创建过程为：确定要查询的主题数据方向（如图2所示各个主题），基于收集到的原始数据，将散落在不同原始数据表中的数据项通过相同字段关联的方式关联成一张大宽表（图2中各主题对应链接一张大宽表），比如名称相同关联，企业ID号相同关联，状态相同关联等等。技术关联语句如下：Select a.*,b.* from a,b where a.企业ID=b.企业ID。同时该方法可以针对用户惯用的查询数据，做收藏和积累工作，这样下次再次访问和应用时，可以很方便的找到对应要操作的数据。

所述查询适配器根据页面用户自定义的查询字段、过滤条件、分组字段、排序字段，构建可在对应数据库中执行的SQL语句，完成页面自定义到标准SQL语句转换的工作。具体地，在SQL语句时，先按照SQL92标准进行编写，例如：1）拼接查询字段：将页面定义的查询字段，按设置的顺序拼接到SQL语句的Select后面/from前面，作为要查询的字段，该过程中，可以对查询字段进行加载函数、数学运算，指定值等字段处理；2）拼接分组字段：将页面定义的分组字段，按照设定的内容，拼接到group by后面；3）拼接排序字段：将页面定义的排序字段，按照设定的内容，拼接ASC（升序）/DESC（降序）到最后；4）拼接过滤条件：将页面定义的过滤条件，按照设定的内容，拼接到SQL语句的Where后面，作为SQL语句的过滤条件。完成上述拼接后，再针对不同数据库的写法将符合SQL92标准的语句转换成对应数据库的SQL查询语句。

如图4所示，在查询操作页，我们可以面对众多的查询数据字段，挑选出和我们本次查询相关的数据字段进行展现，无需都进行全字段展现操作，这样也省去了大批量库表读写带来的I/O问题，提高展现效率；该挑选过程是全界面化方式操作的，普通的掌握了计算机使用技能的数据分析人员都可以进行拖拽式操作。该方法用普通的JS代码实现即可，筛选出来的字段作为Select语句的查询项，具体功能执行过程会在大宽表中筛选出要展示查询的数据项，主要体现了操作直观，方便用户的便捷性功能创意；技术查询语句如：Select 企业ID，成立日期，统一社会信用号，所属行业，注册状态 from 厦门电商企业清单表。

如图5所示，展示属性自定义：对查询结果表进行排序（升序/降序）和分组展现，数据分析人员可方便设置多个分析角度，观察数据特征，从中挖掘出数据价值。针对自定义的排序和分组处理配置，通过前端的JS代码，可以转换组装成查询语句，如下： Select 企业ID，成立日期，统一社会信用号，所属行业，注册状态 from 厦门电商企业清单表 Order by注册状态 DESC（降序）；Select 企业ID，成立日期，统一社会信用号，所属行业，注册状态from 厦门电商企业清单表 Group by 注册状态。

如图6所示，自定义过滤条件：在查询操作过程中，可以对挑选出来的数据字段做自定义筛选条件处理，数据筛选条件提供了如下几类条件自定义功能：1）加载通用函数：ASCII码、字符串连接、指定分隔符连接、查找位置、查找字符串、长度计算、转小写、清空左空格、清空右空格、字符串截取、清除空格、大写；2）自定义函数：可以用表达式的方式自定义函数进行加载；3）数学运算：等于、大于、小于、大于等于、小于等于、不等于、包含、相似；4）自定义指定值；5）大小写敏感；6）支持多值；按以上提供的功能，对自定义的查询字段按自定义的过滤条件进行处理，筛选出满足条件的数据进行展示。自定义的过滤条件通过页面设置好后，通过JS代码处理拼装成标准的SQL语句，比如筛选出注册状态为活跃状态的企业： Select 企业ID，成立日期，统一社会信用号，所属行业，注册状态 from 厦门电商企业清单表 where 注册状态=“活跃”。

所述数据库适配器内建立了所述SQL语句与不同类型数据库的函数映射关系，根据要访问的数据库类型，所述数据库适配器调用对应的函数映射关系将所述SQL语句转成可在该数据库执行的执行语句。数据库适配器主要是针对不同类型数据库的特有函数，进行函数映射工作，使执行语句到不同类型的数据库执行时，用的是该数据库对应的函数。

如图7和如图8所示，将查询结果分别用二维表格展现和图形展现，二维表格展现，是将查询结果直接以二维表形式在页面展现；图形展现，将查询结果数据转换成Json格式，然后调用Highchart（前端报表）展现图形即可。将Highchart的报表工具引入本系统中，提高了即席查询系统的开发效率。

本实施例中，基于贴源散落的数据表，通过字段关联，组成有众多字段的大宽表，为使用人员提供尽可能全面的主题数据；同时还通过拖拽式的查询模式筛选和自己查询主题相关的数据项，并可自定义查询过滤条件以及展示属性，快速生成图表，支持数据分析人员根据自身分析视角建立数据分析模式，提高了数据分析的效率。同时，本发明采用查询适配器和数据库适配器，填补了数据分析人员依赖于技术人员实现数据组装加工的部分，从而最大限度地提升了数据加工展现的落地时间，进一步提升了数据分析人员的分析效率。

实施例二

请参阅图1至图8，一种基于大数据的即席查询设备，所述设备包括微处理器和存储器，所述存储器上存储有程序，所述微处理器运行该程序后，执行如下步骤：在Hadoop平台上创建大宽表，每一大宽表对应一主题，根据主题建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，形成包含多字段的大宽表；用户选择一主题对应的大宽表，然后跳转到该主题对应的查询操作页面，用户自定义查询内容，所述查询内容包括查询字段；系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQL语句转自动换成符合该数据库平台函数标准的执行语句，然后运行该执行语句；获取到查询结果，以二维表格和图形中的至少一种形式展现查询结果。所述图形展现查询结果具体为：将查询结果转换成Json格式，然后调用Highchart函数进行图形展现。述数据库适配器内建立了所述SQL语句与不同类型数据库的函数映射关系，根据要访问的数据库类型，所述数据库适配器调用对应的函数映射关系将所述SQL语句转成可在该数据库执行的执行语句。

所述查询操作页面还提供多个可供选择的查询字段，用户通过点击或拖拽自定义需要的查询字段；用户在查询操作页面还可以自定义的查询内容包括展示属性和过滤条件，系统后台的查询适配器根据用户自定义的查询字段、展示属性和过滤条件，构建SQL语句；所述自定义展示属性包括设定查询结果按其中一查询字段的升序或降序排列和设定查询结果按其中一查询字段进行分组，所述其中一查询字段由用户从设定的查找字段中自定义设置。

本实施例的具体实施方式可参见实施例一中的描述。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于大数据的即席查询方法，其特征在于，包括如下步骤：

在Hadoop平台上创建大宽表，每一大宽表对应一主题，根据该主题建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，形成包含多字段的大宽表；

用户选择一主题对应的大宽表，然后跳转到与该主题对应的查询操作页面，在所述查询操作页面用户自定义查询内容，所述查询内容包括查询字段；

系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；

系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQL语句转自动换成符合该数据库平台函数标准的执行语句并执行；

获取到查询结果，以二维表格和图形中的至少一种形式展现查询结果。

2.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：用户在查询操作页面还可以自定义的查询内容包括展示属性和过滤条件，系统后台的查询适配器根据用户自定义的查询字段、展示属性和过滤条件自动构建SQL语句。

3.如权利要求2所述的一种基于大数据的即席查询方法，其特征在于：所述自定义展示属性包括设定查询结果按其中一查询字段的升序或降序排列和设定查询结果按其中一查询字段进行分组，所述其中一查询字段由用户从设定的查询字段中自定义设置。

4.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：所述图形展现查询结果具体为：将查询结果转换成Json格式，然后调用Highchart函数进行图形展现。

5.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：所述查询操作页面还提供多个可供选择的查询字段，用户通过点击或拖拽自定义需要的查询字段。

6.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：所述数据库适配器内建立了所述SQL语句与不同类型数据库的函数映射关系，根据要访问的数据库类型，所述数据库适配器调用对应的函数映射关系将所述SQL语句转成可在该数据库执行的执行语句。

7.一种基于大数据的即席查询设备，其特征在于，所述设备包括微处理器和存储器，所述存储器上存储有程序，所述微处理器运行该程序后，执行如下步骤：

在Hadoop平台上创建大宽表，每一大宽表对应一主题，根据主题建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，形成包含多字段的大宽表；

用户选择一主题对应的大宽表，然后跳转到该主题对应的查询操作页面，用户自定义查询内容，所述查询内容包括查询字段；

系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；

系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQL语句转自动自动换成符合该数据库平台函数标准的执行语句，然后运行该执行语句；

获取到查询结果，以二维表格和图形中的至少一种形式展现查询结果。

8.如权利要求7所述的一种基于大数据的即席查询设备，其特征在于：用户在查询操作页面还可以自定义的查询内容包括展示属性和过滤条件，系统后台的查询适配器根据用户自定义的查询字段、展示属性和过滤条件，构建SQL语句；所述自定义展示属性包括设定查询结果按其中一查询字段的升序或降序排列和设定查询结果按其中一查询字段进行分组，所述其中一查询字段由用户自定义设置。

9.如权利要求7所述的一种基于大数据的即席查询设备，其特征在于：所述数据库适配器内建立了所述SQL语句与不同类型数据库的函数映射关系，根据要访问的数据库类型，所述数据库适配器调用对应的函数映射关系将所述SQL语句转成可在该数据库执行的执行语句。

10.如权利要求7所述的一种基于大数据的即席查询设备，其特征在于： 所述查询操作页面还提供多个可供选择的查询字段，用户通过点击或拖拽自定义需要的查询字段；

所述图形展现查询结果具体为：将查询结果转换成Json格式，然后调用Highchart函数进行图形展现。