CN111506594B - 一种大数据查询平台及其管理方法和数据查询方法 - Google Patents

一种大数据查询平台及其管理方法和数据查询方法 Download PDF

Info

Publication number
CN111506594B
CN111506594B CN202010303933.3A CN202010303933A CN111506594B CN 111506594 B CN111506594 B CN 111506594B CN 202010303933 A CN202010303933 A CN 202010303933A CN 111506594 B CN111506594 B CN 111506594B
Authority
CN
China
Prior art keywords
query
data
management module
service
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010303933.3A
Other languages
English (en)
Other versions
CN111506594A (zh
Inventor
于洪洋
钱律求
陶存宝
曹长虎
沙邦乐
胡磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runa Smart Equipment Co Ltd
Original Assignee
Runa Smart Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runa Smart Equipment Co Ltd filed Critical Runa Smart Equipment Co Ltd
Priority to CN202010303933.3A priority Critical patent/CN111506594B/zh
Publication of CN111506594A publication Critical patent/CN111506594A/zh
Application granted granted Critical
Publication of CN111506594B publication Critical patent/CN111506594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据查询平台及其管理方法和数据查询方法，所述查询平台包括：数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块。本发明的大数据查询平台只需用户拖动业务查询列表，指定汇总函数即可实现面向不同的大数据存储系统的数据查询，操作简单，而且本发明的大数据查询平台只要和不同的数据存储系统进行对接，即可实现对该数据存储系统的查询，本发明提供了一种面向不同数据存储系统的不同业务需求的操作简单的大数据查询平台及方法。

Description

一种大数据查询平台及其管理方法和数据查询方法
技术领域
本发明涉及大数据查询技术领域，特别是涉及一种大数据查询平台及其管理方法和数据查询方法。
背景技术
现有的查询平台或工具只针对一个数据存储系统实现的，如常见数据库系统(MYSQL)。缺陷：(1)只能针对特定数据平台；(2)缺乏基本的查询分析方法指导，操作比较复杂，只能供技术人员使用；(3)技术人员只是简单使用现成的查询工具，无法实现面向不同的业务需求的查询。
发明内容
本发明的目的是提供一种大数据查询平台及其管理方法和数据查询方法，以提供一种面向不同数据存储系统的不同业务需求的操作简单的大数据查询平台及方法。
为实现上述目的，本发明提供了如下方案：
一种大数据查询平台，所述查询平台包括：
数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；
所述图形界面应用模块用于接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令；
所述数据源管理模块用于将技术人员通过图形界面应用模块上传的数据存储系统的客户端连接程序包、连接源信息和连接格式存储至指定文件路径下，并在指定文件路径下，对所述数据存储系统进行安装，生成所述数据存储系统的数据源连接操作代码，将数据存储系统的数据源连接操作代码存储至指定文件路径下；
所述数据集管理模块用于根据技术人员的操作指令，及根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段，生成查询语句数据集；将所述查询语句数据集存储至指定文件路径下；
所述查询标签维度管理模块用于根据技术人员的操作指令，将所述查询字段转换成业务标签，并将所述业务标签加入业务查询列表；所述业务标签包括查询标签和统计汇总标签；
所述图形界面应用模块还用于显示所述业务查询列表，并接收用户对所述业务查询列表的拖动操作，生成拖动指令，返回并显示根据所述拖动指令对所述数据存储系统进行查询得到的查询结果。
可选的，所述数据源管理模块，具体包括：数据源连接管理单元和数据源应用单元；
所述数据源连接管理单元用于将技术人员通过图形界面应用模块上传的数据存储系统的客户端连接程序包存储至指定文件路径下，在指定文件路径下，对所述数据存储系统进行安装，并生成所述数据存储系统的数据源连接操作代码；
所述数据源应用单元用于根据技术人员的操作指令对所述数据源连接代码进行测试，并根据业务需要修改所述连接源信息，并将所述测试完成之后的数据源连接代码、修改完成之后的连接源信息和连接格式存储至指定文件路径下。
可选的，所述查询标签维度管理模块，具体包括：查询标签管理单元、查询标签维度应用单元；
所述查询标签管理单元用于根据技术人员的操作指令，将所述查询字段转换成业务标签；
所述查询标签维度应用单元用于将所述业务标签加入业务查询列表，供所述图形界面应用模块进行显示和操作。
可选的，所述图形界面应用模块包括界面配置单元、查询标签执行单元；
所述界面配置单元用于接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令；
所述查询标签执行单元用于显示所述业务查询列表，并接收用户对所述业务查询列表的拖动操作，生成拖动指令，返回并显示根据所述拖动指令对所述数据存储系统进行查询得到的查询结果。
可选的，所述查询标签执行单元，具体包括：业务查询列表显示子单元和维度查询子单元；
所述业务查询列表显示子单元用于显示所述业务查询列表；
所述维度查询子单元包括列维度框和统计分析汇总维度框，所述列维度框用于接收用户从所述业务查询列表拖入的查询标签，所述统计分析汇总维度框用于接收用户从所述业务查询列表拖入的统计汇总标签。
可选的，所述维度查询子单元还包括过滤框，所述过滤框用于接收用户指定的数据过滤器。
一种大数据查询平台的管理方法，所述大数据查询平台包括数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；所述管理方法包括如下步骤：
通过图形界面应用模块接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令；
通过数据集管理模块将通过图形界面应用模块上传的数据存储系统的客户端连接程序包、连接源信息和连接格式存储至指定文件路径下，并在指定文件路径下，对所述数据存储系统进行安装，生成所述数据存储系统的数据源连接操作代码，将数据存储系统的数据源连接操作代码存储至指定文件路径下；
通过所述数据集管理模块根据技术人员的操作指令，及根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段，生成查询语句数据集；将所述查询语句数据集存储至指定文件路径下；
通过所述查询标签维度管理模块根据技术人员的操作指令，将所述查询字段转换成业务标签，并将所述业务标签加入业务查询列表；
通过所述图形界面应用模块对所述业务查询列表进行显示。
一种基于大数据查询平台的数据查询方法，所述大数据查询平台包括数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；所述数据查询方法包括如下步骤：
通过图形界面应用模块接收用户对所述业务查询列表的拖动操作，生成拖动指令；
通过数据集管理模块根据所述拖动指令获取所述拖动指令对应的查询指令；
通过数据源管理模块根据所述查询指令中的数据源连接指令调用数据源连接操作代码，连接数据存储系统；
在所述数据存储系统执行所述查询指令，返回查询结果。
可选的，所述根据所述拖动指令获取所述拖动指令对应的查询指令，具体包括：
确定所述拖动指令对应的查询字段；
根据所述查询字段在所述查询语句数据集，查找所述查询字段对应的查询指令。
与现有技术相比，本发明的有益效果是：
本发明提出了一种大数据查询平台及其管理方法和数据查询方法，所述查询平台包括：数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；通过数据源管理模块-对接各种数据存储系统；通过数据集管理模块根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段；通过查询标签维度管理模块根据查询字段生成查询标签，通过图形界面应用模块将查询标签和维度展现到页面上，使用者可以将查询标签拖放到列维度，并在统计汇总维度指定汇总函数(例如：Max、Avg、Min、Sum、Count)，拖放完后，按标签和维度匹配规则确定查询指令，执行查询并反馈数据到图形界面应用模块进行显示。本发明的大数据查询平台只需用户拖动业务查询列表，指定汇总函数即可实现面向不同的大数据存储系统的数据查询，操作简单，而且本发明的大数据查询平台只要和不同的数据存储系统进行对接，即可实现对该数据存储系统的查询，本发明提供了一种面向不同数据存储系统的不同业务需求的操作简单的大数据查询平台及方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种大数据查询平台的结构图；
图2为本发明实施例中的数据源配置的输入界面图；
图3为本发明实施例中的数据集合配置的输入界面图；
图4为本发明实施例中的查询标签界面图；
图5为本发明实施例中的查询标签执行单元的查询界面图；
图6为本发明实施例中的查询标签执行单元的查询结果显示界面图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种大数据查询平台及其管理方法和数据查询方法，以提供一种操作简单的面向不同数据存储系统的不同业务需求的大数据查询平台及方法。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示本发明提供一种大数据查询平台，所述查询平台包括：数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块。
所述图形界面应用模块用于接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令。
所述数据源管理模块用于将技术人员通过图形界面应用模块上传的数据存储系统的客户端连接程序包、连接源信息和连接格式存储至指定文件路径下，并在指定文件路径下，对所述数据存储系统进行安装，生成所述数据存储系统的数据源连接操作代码，并将数据存储系统的数据源连接操作代码存储至指定文件路径下。
所述数据集管理模块用于根据技术人员的操作指令，及根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段，生成查询语句数据集；将所述查询语句数据集存储至指定文件路径下。
所述查询标签维度管理模块用于根据技术人员的操作指令，将所述查询字段转换成业务标签，并将所述业务标签加入业务查询列表；所述业务标签包括查询标签和统计汇总标签。
所述图形界面应用模块还用于显示所述业务查询列表，并接收用户对所述业务查询列表的拖动操作，生成拖动指令，返回并显示根据所述拖动指令对所述数据存储系统进行查询得到的查询结果。
其中，所述数据源管理模块用于实现连接各种数据存储平台(如:HBase、MSQL、ElasticSearch)，并管理数据源配置及连接，为数据集管理模块提供支持。数据源管理模块有两个单元：连接管理单元、数据源应用单元。具体包括：数据源连接管理单元和数据源应用单元。
所述数据源连接管理单元用于将技术人员通过图形界面应用模块上传的数据存储系统的客户端连接程序包存储至指定文件路径下，在指定文件路径下，对所述数据存储系统进行安装，并生成所述数据存储系统的数据源连接操作代码。所述数据存储系统为种数据存储平台(如：HBase、MSQL、ElasticSearch)。
数据源连接管理单元的输入、处理和输出。
输入:数据源类型名称，上传客户数据源连接程序资源包，及对应连接元信息及格式。
数据存储系统或服务平台，一般都会提供客户端连接程序包，及对应的连接元信息及格式。以Phoenix提供数据源为例：程序包-phoenix-5.0.0-cdh6.0.1-client.jar...；连接元信息内容-连接字符串(url)、驱动类(driver)；用户名(username)/密码(password)。
处理:将客户端数据源连接程序资源包保存到指定文件路径下。按数据源标准接口，定制数据源连接操作代码(类)，提供标准方法(根据连接字符串、用户名和密码，返回数据源连接或连接池对象；通过连接对象执行查询指令，得到查询结果)，并将代码打包放在指定文件路径下。
输出:数据源类型名称，连接元信息(url、driver、username\password)，数据源连接操作代码(类)。
以关系型数据库系统-MYSQL为例(上传MYSQL客户端连接的jar包)：
输入:元数据配置信息，如下:
类型名称：MYSQL；
资源包路径：${PLANTFORM_PATH}/lib/mysql-connector-java-5.1.25.jar；
驱动类：com.mysql.cj.jdbc.Driver；
连接URL：jdbc:mysql://${host}:${port}/${database}；
用户名/密码：${username}|${password}。
处理：测试数据源连接是否成功。如果失败，提示用户重新配置。如果成功，持久化化保存数据源连接及相关的元数据配置信息。
输出：向数据源应用配置单元提供成功配置后的数据源类型-MYSQ及连接操作元数据信息(如输入中介绍的元数据配置信息)。
通过连接管理单元可以实现灵活定制化，对接各种数据存储平台，如：HBase列式数据库、ElasticSearch、NoSQL(如:MongDb、Redis)。
所述数据源应用单元用于根据技术人员的操作指令对所述数据源连接代码进行测试，并根据业务需要修改所述连接源信息，并将所述测试完成之后的数据源连接代码、修改完成之后的连接源信息和连接格式存储至指定文件路径下。
数据源应用单元的输入、处理和输出分别为：
输入:通过图形界面应用模块的界面配置单元，选择数据连接管理单元的数据连接管理单元输出的数据源类型名称，填写数据源名称，并根据连接元信息提示，填上具体连接字符串(url)、登录用户名(username)和密码(password)。
处理:调用上面数据连接管理单元提供的数据源连接代码(类)进行连接，如果失败，提示重新输入；如果成功，保存数据源。
输出:对外提供配置好且测试成功的数据源连接。
根据具体要连接的数据源情况，通过图形界面应用模块-应用配置单元，进行界面化操作。以MYSQL为例，具体操作如下:
输入：根据连接管理单元输出提供的数据源别名及连接相关元数据信息。
处理：根据具体要连接的服务器信息，修改元数据中的url、用户名\密码信息，如下:
url根据模板修改成:jdbc:mysql://192.168.1.65:3310/guangrao_db；
用户名\密码：guangrao\runa123。
根据配置好的信息，测试连接是否成功。如果失败，提示用户重新输入。如果成功，保存配置数据源配置。根据数据源配置，自动生成数据源连接基本操作。
输出：向数据集管理模块的管理提供基本操作，如：
得到连接-GetConnectionPool；
执行句柄-GetStatement；
执行查询-executeQuery；
释放资源-CloseResource。
其中，所述数据集管理模块的输入、处理和输出分别为：
输入：通过图形界面应用模块的界面配置单元(下面介绍)，填写数据集名称，选择数据源管理模块-数据源应用单元输出的数据源连接，输入对应的查询指令(不同类型数据源的查询指令语法，也不尽相同)。
处理：根据选择的数据源连接，调用数据源连接操作代码(类)，将查询指令执行。如果执行失败，提示重新输入；如果执行成功，将返回的结果集合进行保存。
输出：获得数据集及所有查询字段。
数据集管理模块，由技术人员，通过数据管理系统原生的查询技术(例如:关系型数据库的SQL、ElasticSearch的DSL查询以及HBase的HQL)，自由定制要查询数据集合。通过图形界面应用模块-应用配置单元进行图形界面化操作，以MYSQL:
输入:数据集合名称(如:mysql-monitor-service)。根据业务需要，编写SQL查询。
处理:测试语句执行查询，并根据返回结果，判断是否成功。如果执行语法出错或不是预期结果，提示用户调整查询语句重新输入；如果符合预期结果，保存数据集元信息(名称、SQL及数据集的字段名称)。
输出:向查询标签维度模块-查询标签生成单元，提供数据集元信息(包括:字段中英文名)。
数据集管理模块还用于使用数据管理系统原始查询语句，执行查询，并反馈结果。
输入:由图形界面应用模块中-查询标签执行单元转换的查询语句和数据格式。
处理：通过数据源管理模块-数据源应用单元执行查询命令，返回查询结果。
输出：按照指定的数据格式，将反馈的结果数据进行处理，并反馈给图形界面应用模块-查询标签执行单元进行显示。
其中，查询标签维度管理模块，根据指定的数据集，生成业务查询标签(以中文字段显示)，非技术人员将业务标签拖动进行维度中，生成数据管理系统的底层查询语句，查询结果。
查询标签维度管理模块的输入、处理和输出分别为：
输入:数据集管理模块输出的数据集及所有查询字段。
处理:将输入的查询字段转换为业务标签。业务标签的信息结构：数据表(table)、标签中文名(cName)、英文名(name)、所属列维度(colDim)、所属统计分析维度(statDim)。
输出:将所有业务标签信息返回到前端，以可视化的图形标签形式展示。
所述查询标签维度管理模块，具体包括：查询标签管理单元、查询标签维度应用单元。
所述查询标签管理单元用于根据技术人员的操作指令，将所述查询字段转换成业务标签。
根据数据集管理模块自动生成查询标签，查询标签支持修改标签名称。查询标签管理单元的输入、处理和输出分别为：
输入：数据集管理模块输出数据集元信息(包括:字段中英文名)。
处理：遍历所有字段信息，将每个字段信息拆解封装到成一个查询标签对应的数据结构。
输出：将封装好的所有查询标签数据提供给查询标签维度应用模块。
所述查询标签维度应用单元用于将所述业务标签加入业务查询列表，供所述图形界面应用模块进行显示和操作。
将查询标签管理单元提供的封装好的所有查询标签数据、固定两个查询维度(列维度、统计汇总维度)及查询过滤通过统一的接口提供给图形界面应用模块-查询标签执行单元所使用。
其中，所述图形界面应用模块包括界面配置单元、查询标签执行单元；
所述界面配置单元用于接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令。即，为数据源管理模块、数据集管理模块、查询标签维度管理模块以及图形界面应用模块-查询标签执行单元提供界面操作。
所述查询标签执行单元用于显示所述业务查询列表，并接收用户对所述业务查询列表的拖动操作，生成拖动指令，返回并显示根据所述拖动指令对所述数据存储系统进行查询得到的查询结果。
所述查询标签执行单元的输入、处理和输出分别为：
输入:当前查询维度有-列维度(分组列)和统计分析维度(汇总列)，将上述的业务标签拖拽到对应的维度，汇总列可以指定汇总函数(sum、avg、max、min等)。
处理:根据列维度中的标签，汇总统计分析维度中标签聚合值。生成分组聚合的查询指令，调用根据数据源管理模块的数据源连接管理单元输出提供的数据源连接操作代码(类)，执行查询指令，并返回结果集。
输出:设定结果显示方式(统计图或表格)，显示返回结果集。
查询标签执行单元的界面，所述查询标签执行单元，具体包括：业务查询列表显示子单元和维度查询子单元；所述业务查询列表显示子单元用于显示所述业务查询列表；所述维度查询子单元包括列维度框和统计分析汇总维度框，所述列维度框用于接收用户从所述业务查询列表拖入的查询标签，所述统计分析汇总维度框用于接收用户从所述业务查询列表拖入的统计汇总标签。其中的查询标签包含的字段字段名称，例如学生管理数据中的学生姓名、年龄、性别、分数等，数据表名统计汇总标签是指汇总函数的标签，例如：sum、avg、max、min等。所述维度查询子单元还包括过滤框，所述过滤框用于接收用户指定的数据过滤器。
查询标签执行单元的执行查询流程为：
输入:将标签拖放到指定维度及过滤栏目中。
处理:通过过滤器将不符合查询条件的数据过滤，并根据维度中的查询标签、统计汇总标签，将其转换成数据管理系统底层的查询语句，交给图形界面应用模块-查询标签执行单元执行。
输出:默认以表格形式输出。
本发明还提供一种大数据查询平台的管理方法，所述大数据查询平台包括数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；所述管理方法包括如下步骤：
通过图形界面应用模块接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令。
通过数据集管理模块将通过图形界面应用模块上传的数据存储系统的客户端连接程序包、连接源信息和连接格式存储至指定文件路径下，并在指定文件路径下，对所述数据存储系统进行安装，生成所述数据存储系统的数据源连接操作代码，将数据存储系统的数据源连接操作代码存储至指定文件路径下。
通过所述数据集管理模块根据技术人员的操作指令，及根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段，生成查询语句数据集；将所述查询语句数据集存储至指定文件路径下。
通过所述查询标签维度管理模块根据技术人员的操作指令，将所述查询字段转换成业务标签，并将所述业务标签加入业务查询列表。
通过所述图形界面应用模块对所述业务查询列表进行显示。
具体的实施流程为:
步骤1：配置数据源，让自由查询平台具备连接数据平台(Phoenix提供的数据源)的能力。
输入：数据源名称、选择数据源类型、驱动类、连接字符串、用户名和密码。
处理:通过平台提供的数据库连接操作代码(类)，测试是否连通。如果失败，提示重新输入。
如果连接成功，保存本次数据源及对应的名称。
输出:测试成功的数据源连接。
步骤2:配置数据集
输入:选择步骤1中配置好的数据源名称，编写数据表查询指令。
数据集查询指令：FROM数据表SELECT查询字段WHERE条件。
处理:通过平台提供的数据库连接操作代码(类)，执行查询语句。如果失败，提示重新输入；
如果连接成功，保存执行成功的数据集和对应的字段。
输出:数据集和对应的字段。
步骤3：
输入:步骤2输出的数据集和对应字段。
处理:将数据集字段转换成业务查询标签信息结构。
输出:前端将查询标签信息进行展示(上面已介绍)。
通过本发明提供的管理方法技术人员可以将本发明的大数据查询平台与不同的数据存储系统进行对接，根据不同数据存储系统的用户业务需求预先制定不同数据存储系统的查询指令，并指定查询指令的查询字段，以业务标签的形式添加至业务查询列表。供用户使用。
本发明还提供一种基于大数据查询平台的数据查询方法，所述大数据查询平台包括数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；所述数据查询方法包括如下步骤：
通过图形界面应用模块接收用户对所述业务查询列表的拖动操作，生成拖动指令。
通过数据集管理模块根据所述拖动指令获取所述拖动指令对应的查询指令；具体包括：确定所述拖动指令对应的查询字段；根据所述查询字段在所述查询语句数据集，查找所述查询字段对应的查询指令。
通过数据源管理模块根据所述查询指令中的数据源连接指令调用数据源连接操作代码，连接数据存储系统。
在所述数据存储系统执行所述查询指令，返回查询结果。
具体的流程为：
输入：将业务标签拖放到指定维度；
处理：根据拖放的结果，业务标签对应查询字段，列维度构成分组字段(GroupBy)，统计维度对字段做聚合处理(AVG\SUM\MAX\MIN)。根据这些规则将其转换成数据源对应的查询指令，使用平台提供的数据库连接操作代码(类)执行返回数据。
输出:设定的表格或统计图形式，将输出的结果展示出来。
本发明还给出了一个具体的实施方式。
广饶县供暖实时和历史数据由Hbase列式数据管理系统，通过Phoenix插件实现完全的关系型数据操作管理。数据管理系统都基本都提供客户端工具，通过对应的标准配置和指令既可以实现连接和查询操作。
数据源配置：
通过数据源管理模块-数据源应用单元配置数据源，并对其数据源连接配置信息进行管理。
数据源配置的输入界面如图2所示。
处理:保存参数:
数据源类型:pheonix_guangrao；
新建数据源名称:org.apache.phoenix.jdbc.PhoenixDriver；
连接串:jdbc:phoenix:runacloud01,runacloud02,runacloud03:2181；
数据库用户名:admin；
数据库密码:admin123；
输出:给数据集合配置提供输入。
数据集合配置。
通过数据集管理模块，技术人员通过数据管理系统底层查询语句，给客户编写查询数据集。
输入:数据源管理模块-数据源应用单元配置数据源提供配置好的pheonix_guangrao数据源，查询语句。数据集合配置的输入界面如图3所示。
处理:根据选择的数据源和查询语句，调用数据源管理模块-数据源应用单元提供的连接查询操作，执行验证数据集合配置是否成功。将成功后保存数据集及对应的字段。
输出：向查询标签维度管理模块提供数据集和对应的查询字段。
查询标签维度管理模块
输入:上述数据集合配置提供数据集和对应的查询字段。
处理:将这些查询字段转换成业务查询标签信息。
输出:前端页面展示查询标签。输出的查询标签界面如图4所示。
4、自由查询实现
自由查询界面如图5所示。
自由查询界面显示流程：
输入:获取查询标签维度管理模块-查询标签维度应用单元提供的标签及维度封装数据。
处理：图形界面应用模块-查询标签执行单元，将输入信息装载到图形显示元素。
输出：返回查询结果的界面如图5所示。
执行查询流程:
输入:自由查询界面，用户拖放后，维度及过滤对应设置信息。
处理：将输入信息转换成对应的数据管理系统的底层查询语句，交给数据集管理模块执行，并得到反馈数据。
输出：反馈数据转换成表格显示的数据结构如图6所示。
与现有技术相比，本发明的有益效果是：
本发明提出了一种大数据查询平台及其管理方法和数据查询方法，所述查询平台包括：数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；通过数据源管理模块-对接各种数据存储系统；通过数据集管理模块根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段；通过查询标签维度管理模块根据查询字段生成查询标签，通过图形界面应用模块将查询标签和维度展现到页面上，使用者可以将查询标签拖放到列维度，并在统计汇总维度指定汇总函数(例如：Max、Avg、Min、Sum、Count)，拖放完后，按标签和维度匹配规则确定查询指令，执行查询并反馈数据到图形界面应用模块进行显示。本发明的大数据查询平台只需用户拖动业务查询列表，指定汇总函数即可实现面向不同的大数据存储系统的数据查询，操作简单，而且本发明的大数据查询平台只要和不同的数据存储系统进行对接，即可实现对该数据存储系统的查询，本发明提供了一种面向不同数据存储系统的不同业务需求的操作简单的大数据查询平台及方法。
本说明书中等效实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，等效实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种大数据查询平台，其特征在于，所述查询平台包括：
数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；
所述图形界面应用模块用于接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令；
所述数据源管理模块用于将技术人员通过图形界面应用模块上传的数据存储系统的客户端连接程序包、连接源信息和连接格式存储至指定文件路径下，并在指定文件路径下，对所述数据存储系统进行安装，生成所述数据存储系统的数据源连接操作代码，并将数据存储系统的数据源连接操作代码存储至指定文件路径下；
所述数据集管理模块用于根据技术人员的操作指令，及根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段，生成查询语句数据集；将所述查询语句数据集存储至指定文件路径下；
所述查询标签维度管理模块用于根据技术人员的操作指令，将所述查询字段转换成业务标签，并将所述业务标签加入业务查询列表；所述业务标签包括查询标签和统计汇总标签；
所述图形界面应用模块还用于显示所述业务查询列表，并接收用户对所述业务查询列表的拖动操作，生成拖动指令，返回并显示根据所述拖动指令对所述数据存储系统进行查询得到的查询结果。
2.根据权利要求1所述的大数据查询平台，其特征在于，所述数据源管理模块，具体包括：数据源连接管理单元和数据源应用单元；
所述数据源连接管理单元用于将技术人员通过图形界面应用模块上传的数据存储系统的客户端连接程序包存储至指定文件路径下，在指定文件路径下，对所述数据存储系统进行安装，并生成所述数据存储系统的数据源连接操作代码；
所述数据源应用单元用于根据技术人员的操作指令对所述数据源连接代码进行测试，并根据业务需要修改所述连接源信息，并将所述测试完成之后的数据源连接代码、修改完成之后的连接源信息和连接格式存储至指定文件路径下。
3.根据权利要求1所述的大数据查询平台，其特征在于，所述查询标签维度管理模块，具体包括：查询标签管理单元、查询标签维度应用单元；
所述查询标签管理单元用于根据技术人员的操作指令，将所述查询字段转换成业务标签；
所述查询标签维度应用单元用于将所述业务标签加入业务查询列表，供所述图形界面应用模块进行显示和操作。
4.根据权利要求1所述的大数据查询平台，其特征在于，所述图形界面应用模块包括界面配置单元、查询标签执行单元；
所述界面配置单元用于接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令；
所述查询标签执行单元用于显示所述业务查询列表，并接收用户对所述业务查询列表的拖动操作，生成拖动指令，返回并显示根据所述拖动指令对所述数据存储系统进行查询得到的查询结果。
5.根据权利要求1所述的大数据查询平台，其特征在于，所述查询标签执行单元，具体包括：业务查询列表显示子单元和维度查询子单元；
所述业务查询列表显示子单元用于显示所述业务查询列表；
所述维度查询子单元包括列维度框和统计分析汇总维度框，所述列维度框用于接收用户从所述业务查询列表拖入的查询标签，所述统计分析汇总维度框用于接收用户从所述业务查询列表拖入的统计汇总标签。
6.根据权利要求5所述的大数据查询平台，其特征在于，所述维度查询子单元还包括过滤框，所述过滤框用于接收用户指定的数据过滤器。
7.一种大数据查询平台的管理方法，其特征在于，所述大数据查询平台包括数据源管理模块、数据集管理模块、查询标签维度管理模块、图形界面应用模块；所述管理方法包括如下步骤：
通过图形界面应用模块接收技术人员对数据源管理模块、数据集管理模块、查询标签维度管理模块的操作，生成操作指令；
通过数据集管理模块将通过图形界面应用模块上传的数据存储系统的客户端连接程序包、连接源信息和连接格式存储至指定文件路径下，并在指定文件路径下，对所述数据存储系统进行安装，生成所述数据存储系统的数据源连接操作代码，将数据存储系统的数据源连接操作代码存储至指定文件路径下；
通过所述数据集管理模块根据技术人员的操作指令，及根据所述数据存储系统的查询技术资料和用户业务需要生成查询指令，并指定每个查询指令的查询字段，生成查询语句数据集；将所述查询语句数据集存储至指定文件路径下；
通过所述查询标签维度管理模块根据技术人员的操作指令，将所述查询字段转换成业务标签，并将所述业务标签加入业务查询列表；
通过所述图形界面应用模块对所述业务查询列表进行显示。
8.一种基于大数据查询平台的数据查询方法，其特征在于，所述数据查询方法基于权利要求1-6任一项所述的大数据查询平台；所述数据查询方法包括如下步骤：
通过图形界面应用模块接收用户对所述业务查询列表的拖动操作，生成拖动指令；
通过数据集管理模块根据所述拖动指令获取所述拖动指令对应的查询指令；
通过数据源管理模块根据所述查询指令中的数据源连接指令调用数据源连接操作代码，连接数据存储系统；
在所述数据存储系统执行所述查询指令，返回查询结果。
9.根据权利要求8所述的基于大数据查询平台的数据查询方法，其特征在于，所述根据所述拖动指令获取所述拖动指令对应的查询指令，具体包括：
确定所述拖动指令对应的查询字段；
根据所述查询字段在查询语句数据集查找所述查询字段对应的查询指令。
CN202010303933.3A 2020-04-17 2020-04-17 一种大数据查询平台及其管理方法和数据查询方法 Active CN111506594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010303933.3A CN111506594B (zh) 2020-04-17 2020-04-17 一种大数据查询平台及其管理方法和数据查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010303933.3A CN111506594B (zh) 2020-04-17 2020-04-17 一种大数据查询平台及其管理方法和数据查询方法

Publications (2)

Publication Number Publication Date
CN111506594A CN111506594A (zh) 2020-08-07
CN111506594B true CN111506594B (zh) 2023-03-24

Family

ID=71867440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010303933.3A Active CN111506594B (zh) 2020-04-17 2020-04-17 一种大数据查询平台及其管理方法和数据查询方法

Country Status (1)

Country Link
CN (1) CN111506594B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204588A (zh) * 2021-05-18 2021-08-03 绿漫科技有限公司 一种基于ElasticSearch快速搭建搜索平台的方法
CN114090124A (zh) * 2021-11-23 2022-02-25 智器云南京信息科技有限公司 数据处理方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208985B1 (en) * 1997-07-09 2001-03-27 Caseventure Llc Data refinery: a direct manipulation user interface for data querying with integrated qualitative and quantitative graphical representations of query construction and query result presentation
US8375014B1 (en) * 2008-06-19 2013-02-12 BioFortis, Inc. Database query builder
CN103092610A (zh) * 2012-12-31 2013-05-08 武汉中地数码科技有限公司 一种基于手持终端的电信外线资源一站式查询流程的配置方法
WO2015154474A1 (zh) * 2014-09-12 2015-10-15 中兴通讯股份有限公司 一种查询界面的生成方法及装置
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法
CN107239536A (zh) * 2017-05-31 2017-10-10 北京凤凰理理它信息技术有限公司 业务数据查询方法、装置、系统、存储介质及电子设备
CN110321121A (zh) * 2018-03-30 2019-10-11 北京资采信息技术有限公司 数家系统
CN110543477A (zh) * 2019-07-16 2019-12-06 武汉烽火众智数字技术有限责任公司 一种标签构建系统及方法
CN110955646A (zh) * 2019-11-29 2020-04-03 北京达佳互联信息技术有限公司 一种数据存储、查询方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2519001A1 (en) * 2005-09-13 2007-03-13 Cognos Incorporated System and method of data agnostic business intelligence query

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208985B1 (en) * 1997-07-09 2001-03-27 Caseventure Llc Data refinery: a direct manipulation user interface for data querying with integrated qualitative and quantitative graphical representations of query construction and query result presentation
US8375014B1 (en) * 2008-06-19 2013-02-12 BioFortis, Inc. Database query builder
CN103092610A (zh) * 2012-12-31 2013-05-08 武汉中地数码科技有限公司 一种基于手持终端的电信外线资源一站式查询流程的配置方法
WO2015154474A1 (zh) * 2014-09-12 2015-10-15 中兴通讯股份有限公司 一种查询界面的生成方法及装置
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法
CN107239536A (zh) * 2017-05-31 2017-10-10 北京凤凰理理它信息技术有限公司 业务数据查询方法、装置、系统、存储介质及电子设备
CN110321121A (zh) * 2018-03-30 2019-10-11 北京资采信息技术有限公司 数家系统
CN110543477A (zh) * 2019-07-16 2019-12-06 武汉烽火众智数字技术有限责任公司 一种标签构建系统及方法
CN110955646A (zh) * 2019-11-29 2020-04-03 北京达佳互联信息技术有限公司 一种数据存储、查询方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERP系统跨界信息查询平台的设计研究;黄敏等;《制造业自动化》;20110210(第03期);全文 *
基于元数据的分布式通用查询系统研究与实现;王战英等;《微型电脑应用》;20170820(第08期);全文 *

Also Published As

Publication number Publication date
CN111506594A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN110018955B (zh) 通过转换手动测试用例来生成自动化测试脚本
CN108519967B (zh) 图表可视化方法、装置、终端和存储介质
US8601438B2 (en) Data transformation based on a technical design document
US9037549B2 (en) System and method for testing data at a data warehouse
US10691584B2 (en) Behavior driven development integration with test tool
US10042921B2 (en) Robust and readily domain-adaptable natural language interface to databases
US9038017B2 (en) Method and system for facilitating rapid development of end-to-end software applications
US20150089403A1 (en) Dynamic generation of user interface
US9507751B2 (en) Managing seed data
CN114981775B (zh) 用于api综合管理的基于云的api元数据管理方法及系统
CN111324609A (zh) 知识图谱构建方法、装置、电子设备及存储介质
CA3002052C (en) Natural language translation and localization
CN111125064B (zh) 一种生成数据库模式定义语句的方法和装置
US20200151276A1 (en) Cognitive automation tool
CN111506594B (zh) 一种大数据查询平台及其管理方法和数据查询方法
CN110990274B (zh) 一种生成测试案例的数据处理方法、装置及系统
US20120278708A1 (en) Verifying configurations
CN111784108B (zh) 一种主数据管理平台的建模方法和装置
US20230048310A1 (en) System and method for identifying members of a dynamic target segment
CN113836014A (zh) 一种接口测试方法、装置、电子设备和存储介质
US10942732B1 (en) Integration test framework
CN115374146A (zh) 用于根据关系数据编辑对话服务模块的方法和系统
US10275462B2 (en) Automatic translation of string collections
US20220035606A1 (en) System and method for tailoring a customizer for integration process modeling visual element to a domain specific language for business integrations
CN111190916A (zh) 一种可视化业务数据操作系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant