CN116010439A - 一种可视化中文sql系统及构建查询方法 - Google Patents
一种可视化中文sql系统及构建查询方法 Download PDFInfo
- Publication number
- CN116010439A CN116010439A CN202211663179.XA CN202211663179A CN116010439A CN 116010439 A CN116010439 A CN 116010439A CN 202211663179 A CN202211663179 A CN 202211663179A CN 116010439 A CN116010439 A CN 116010439A
- Authority
- CN
- China
- Prior art keywords
- sql
- chinese
- query
- module
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种可视化中文SQL系统及构建查询方法，包括数据源连接信息模块、元数据采模块、元数据维护系统、语句转义模块、查询引擎和中文SQL平台；通过数据源连接信息模块注册并提供数据源的连接信息；通过元数据采集模块新增采集任务、配置采集周期以及要采集的表信息；对没有中文描述的根据业务需求加上中文描述；在元数据维护系统中进行树型结构的展示；将生成好的SQL语句提交到查询引擎模块执行查询计划；进行JSON格式与SQL语句的转换；在元数据维护系统中生成中文SQL语句和查询结果集。本发明通过对数据库表字段和SQL语句的中文化，对于具有临时性与实时性的数据能够快速的完成数据的统计和分析，减少系统程序开发的工作量与时间。
Description
技术领域
本发明涉及数据库查询领域，特别涉及一种可视化中文SQL系统及构建查询方法。
背景技术
随着互联网信息时代的快速发展，数据库技术在企业得到越来越广泛的应用，从小型的事务处理系统到大型的信息系统，从数据统计到数据分析，每一项都离不开数据库，说到数据库那就不得不谈起SQL查询。
SQL语言已有40多年的历史，从被应用至今几乎无处不在。主要应用于数据库软件的编程或数据库数据的维护，进行查询、汇总、写入、删改等方面的操作。
在软件的开发过程中，研发人员会根据业务需求，以数据为基础，编写各式各样的SQL语句，并通过代码层的转换，以达到业务最终需要的效果。同时业务人员也会根据系统中查询到的数据进行一系列后续操作，比如数据导出、数据计算等。
在某些业务场景下，比如业务人员对公司临时外接导入的数据形成数据分析报告，需要对存在不同数据源的数据做聚合关联查询，业务人员也不懂SQL语句，从不同维度对数据做统计及排序操作，针对这些数据库表的业务系统开发还未开发实现，这些数据在库里面的都是以英文字段存储，不利于业务人员理解和报表展示。
发明内容
基于上述技术问题，本发明的目的在于提供一种可视化中文SQL系统及构建查询方法，具备能够快速完成具有临时性与实时性的数据的统计和分析，减少系统程序开发的工作量与时间的功能。
为实现上述目的，本发明提供如下技术方案：
一种可视化中文SQL系统，包括数据源连接信息模块、元数据采模块、元数据维护系统、语句转义模块、查询引擎和中文SQL平台；
所述数据源连接信息模块用于存储不同类型数据源的连接参数和连接驱动；所述元数据采集模块用于创建采集任务，所述元数据采集模块根据数据源连接信息的配置信息，周期性的获取对应数据库表以及字段的属性信息；所述元数据维护系统用于维护由元数据采集程序获取来的数据库元数据信息；所述语句转义模块用于对用户操作的结果进行转义，所述查询引擎用于获取到SQL对象生成查询计划；
所述数据源连接信息模块和元数据采集模块相连，所述元数据维护系统分别与数据源连接信息模块和元数据采集模块相连，所述元数据维护系统与中文SQL平台相连，所述语句转义模块与查询引擎相连，所述中文SQL平台分别与句转义模块与查询引擎相连。
优选的，数据源连接信息模块用于存储不同类型数据源的连接参数和连接驱动中包括关系型Mysql、Postgresql、Oracle和非关系型ElasticSearch、Redis数据库。
优选的，元数据维护系统对数据库表和字段根据业务需求进行管理和编辑，支持批量导入、字段版本变更、支持分类分级以及标签化，所述中文SQL平台的查询视图展示的信息都来自于元数据维护系统。
一种可视化中文SQL构建查询方法，包括以下步骤：
S1、搭建可视化中文SQL系统；
S2、通过数据源连接信息模块注册并提供数据源的连接信息，包括连接地址、用户名、密码和JDBC驱动；
S3、根据步骤S1的数据源的连接信息并通过元数据采集模块新增采集任务、配置采集周期以及要采集的表信息；
S4、通过元数据维护系统对采集过来的表以及字段属性信息进行编辑和维护，对没有中文描述的根据业务需求加上中文描述；
S5、根据步骤S3发布的表和字段信息在元数据维护系统中进行树型结构的展示；
S6、在元数据维护系统中筛选要查询的表和字段，对字段进行最大值、最小值的等聚合操作；将生成好的SQL语句提交到查询引擎模块执行查询计划；
S7、将勾选好表和字段生成JSON报文并通过语句转义模块进行JSON格式与SQL语句的转换；
S8、在元数据维护系统中生成中文SQL语句和查询结果集；
S9、保存本次中文SQL语句，导出数据生成报表文件或者查询语句；
S10、流程结束。
优选的，步骤S4中对采集过来的表以及字段属性信息进行编辑中，不改变原来的表库信息，只将修改的信息发布出去，每次修改发布会生成对应的版本，将修改信息的最新版本导入至步骤S5。
优选的，步骤S6中，还可以进行关系查询，当需要进行关系查询时，需要选中相关表，并且指定表与表之间的关联字段。
优选的，步骤S6中的查询引擎会会根据规则配置校验SQL的合法性以及判断是否是多数据源，最终提交查询计划并将查询数据结果返回，返回的字段会根据元数据维护系统的信息进行替换展示到前端页面。
优选的，步骤S7中进行JSON格式与SQL语句的转换包括：对用户操作的结果进行共两次转义；
第一次转义是在前端完成，将查询表对象、查询字段、查询条件、关联对象表对象、关联字段、聚合字段、排序字段信息转换成JSON格式对象，并将JSON对象传给后端程序；
第二次转义是后端程序执行，将获取到的JSON对象转换成SQL对象,并根据元数据维护系统的信息进行替换并传递给查询引擎。
优选的，转换逻辑的具体体现为：将不同的定义指定数据格式的JSON字段进行解析后，生成各自对应的语句并拼接成一条完整的SQL字段。
与现有技术相比，本发明的有益效果是：
1.本发明通过对数据库表字段和SQL语句的中文化，对比于以往的报表形式的数据统计分析的主要流程是需要研发人员完成对接数据源,创建表实体，开发sql语句、接口、前端页面等一系列工作，从功能开发到业务使用需要一定的周期，让公司的业务人员也能够实现自主查询，对于具有临时性与实时性的数据能够快速的完成数据的统计和分析，减少系统程序开发的工作量与时间。
2.对一些只需要查询、数据格式经常变化不确定的临时数据，一旦改动就意味着业务系统也随着改动，加深了与业务系统的深度绑定，无法做到灵活性，通过本发明可以实现数据与业务系统解绑，无需关心数据格式，做到了随时取随时用。
3.本发明在对不同数据源数据做汇聚整合时经常会发现命名不规范、中文注释不合理的情况，也对数据库字段中文定义提高了标准化要求，逐步实现通俗易懂的效果与目的。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的可视化中文SQL系统的结构示意图；
图2为本发明的可视化中文SQL构建查询方法流程图；
图3为本发明中生成SQL字段的流程图；
图4为本发明中层级为Ⅰ具体字段定义规则表；
图5为本发明中其他层级的具体字段定义规则表。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图5，本发明提供一种技术方案：
一种可视化中文SQL系统，如图1所示，包括数据源连接信息模块10、元数据采模块、元数据维护系统12、语句转义模块14、查询引擎15和中文SQL平台13；
所述数据源连接信息模块10用于存储不同类型数据源的连接参数和连接驱动，数据源连接信息模块10用于存储不同类型数据源的连接参数和连接驱动中包括关系型Mysql、Postgresql、Oracle和非关系型ElasticSearch、Redis数据库；
所述元数据采集模块11用于创建采集任务，所述元数据采集模块11根据数据源连接信息的配置信息，周期性的获取对应数据库表以及字段的属性信息；所述元数据维护系统12用于维护由元数据采集程序获取来的数据库元数据信息；所述语句转义模块14用于对用户操作的结果进行转义，所述查询引擎15用于获取到SQL对象生成查询计划；元数据维护系统12对数据库表和字段根据业务需求进行管理和编辑，支持批量导入、字段版本变更、支持分类分级以及标签化，所述中文SQL平台13的查询视图展示的信息都来自于元数据维护系统12。
所述数据源连接信息模块10和元数据采集模块11相连，所述元数据维护系统12分别与数据源连接信息模块10和元数据采集模块11相连，所述元数据维护系统12与中文SQL平台13相连，所述语句转义模块14与查询引擎15相连，所述中文SQL平台13分别与句转义模块与查询引擎15相连。
一种可视化中文SQL构建查询方法，具体参考图2，包括以下步骤：
S1、搭建可视化中文SQL系统；
S2、通过数据源连接信息模块10注册并提供数据源的连接信息，包括连接地址、用户名、密码和JDBC驱动；
S3、根据步骤S1的数据源的连接信息并通过元数据采集模块11新增采集任务、配置采集周期以及要采集的表信息；
S4、通过元数据维护系统12对采集过来的表以及字段属性信息进行编辑和维护，对没有中文描述的根据业务需求加上中文描述；对采集过来的表以及字段属性信息进行编辑中，不改变原来的表库信息，只将修改的信息发布出去，每次修改发布会生成对应的版本，将修改信息的最新版本导入至步骤S5。
S5、根据步骤S3发布的表和字段信息在元数据维护系统12中进行树型结构的展示；
S6、在元数据维护系统12中筛选要查询的表和字段，对字段进行最大值、最小值的等聚合操作；将生成好的SQL语句提交到查询引擎15模块执行查询计划；还可以进行关系查询，当需要进行关系查询时，需要选中相关表，并且指定表与表之间的关联字段。查询引擎15会会根据规则配置校验SQL的合法性以及判断是否是多数据源，最终提交查询计划并将查询数据结果返回，返回的字段会根据元数据维护系统12的信息进行替换展示到前端页面。
S7、将勾选好表和字段生成JSON报文并通过语句转义模块14进行JSON格式与SQL语句的转换；步骤S7中进行JSON格式与SQL语句的转换包括：对用户操作的结果进行共两次转义；
第一次转义是在前端完成，将查询表对象、查询字段、查询条件、关联对象表对象、关联字段、聚合字段、排序字段信息转换成JSON格式对象，并将JSON对象传给后端程序；
第二次转义是后端程序执行，将获取到的JSON对象转换成SQL对象,并根据元数据维护系统12的信息进行替换并传递给查询引擎15。
S8、在元数据维护系统12中生成中文SQL语句和查询结果集；
S9、保存本次中文SQL语句，导出数据生成报表文件或者查询语句；
S10、流程结束。
在本实施例中，具体参考图3，在步骤S7中JSON格式与SQL语句的转换转换逻辑的具体体现为：将不同的定义指定数据格式的JSON字段进行解析后，具体的字段定义规则参照图4和图5，生成各自对应的语句并拼接成一条完整的SQL字段。
本发明通过对数据库表字段和SQL语句的中文化，对比于以往的报表形式的数据统计分析的主要流程是需要研发人员完成对接数据源,创建表实体，开发sql语句、接口、前端页面等一系列工作，从功能开发到业务使用需要一定的周期，让公司的业务人员也能够实现自主查询，对于具有临时性与实时性的数据能够快速的完成数据的统计和分析，减少系统程序开发的工作量与时间。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种可视化中文SQL系统，其特征在于，包括数据源连接信息模块(10)、元数据采集模块(11)、元数据维护系统(12)、语句转义模块(14)、查询引擎(15)和中文SQL平台(13)；
所述数据源连接信息模块(10)用于存储不同类型数据源的连接参数和连接驱动；所述元数据采集模块(11)用于创建采集任务，所述元数据采集模块(11)根据数据源连接信息的配置信息，周期性的获取对应数据库表以及字段的属性信息；所述元数据维护系统(12)用于维护由元数据采集程序获取来的数据库元数据信息；所述语句转义模块(14)用于对用户操作的结果进行转义，所述查询引擎(15)用于获取到SQL对象生成查询计划；
所述数据源连接信息模块(10)和元数据采集模块(11)相连，所述元数据维护系统(12)分别与数据源连接信息模块(10)和元数据采集模块(11)相连，所述元数据维护系统(12)与中文SQL平台(13)相连，所述语句转义模块(14)与查询引擎(15)相连，所述中文SQL平台(13)分别与句转义模块与查询引擎(15)相连。
2.根据权利要求1所述的一种可视化中文SQL系统，其特征在于，数据源连接信息模块(10)用于存储不同类型数据源的连接参数和连接驱动中包括关系型Mysql、Postgresql、Oracle和非关系型ElasticSearch、Redis数据库。
3.根据权利要求1所述的一种可视化中文SQL系统，其特征在于，元数据维护系统(12)对数据库表和字段根据业务需求进行管理和编辑，支持批量导入、字段版本变更、支持分类分级以及标签化，所述中文SQL平台(13)的查询视图展示的信息都来自于元数据维护系统(12)。
4.一种可视化中文SQL构建查询方法，适应于权利要求1所述的一种可视化中文SQL系统，其特征在于，包括以下步骤：
S1、搭建可视化中文SQL系统；
S2、通过数据源连接信息模块(10)注册并提供数据源的连接信息，包括连接地址、用户名、密码和JDBC驱动；
S3、根据步骤S1的数据源的连接信息并通过元数据采集模块(11)新增采集任务、配置采集周期以及要采集的表信息；
S4、通过元数据维护系统(12)对采集过来的表以及字段属性信息进行编辑和维护，对没有中文描述的根据业务需求加上中文描述；
S5、根据步骤S3发布的表和字段信息在元数据维护系统(12)中进行树型结构的展示；
S6、在元数据维护系统(12)中筛选要查询的表和字段，对字段进行最大值、最小值的等聚合操作；将生成好的SQL语句提交到查询引擎(15)模块执行查询计划；
S7、将勾选好表和字段生成JSON报文并通过语句转义模块(14)进行JSON格式与SQL语句的转换；
S8、在元数据维护系统(12)中生成中文SQL语句和查询结果集；
S9、保存本次中文SQL语句，导出数据生成报表文件或者查询语句；
S10、流程结束。
5.根据权利要求4所述的一种可视化中文SQL构建查询方法，其特征在于，步骤S4中对采集过来的表以及字段属性信息进行编辑中，不改变原来的表库信息，只将修改的信息发布出去，每次修改发布会生成对应的版本，将修改信息的最新版本导入至步骤S5。
6.根据权利要求4所述的一种可视化中文SQL构建查询方法，其特征在于，步骤S6中，还可以进行关系查询，当需要进行关系查询时，需要选中相关表，并且指定表与表之间的关联字段。
7.根据权利要求4所述的一种可视化中文SQL构建查询方法，其特征在于，步骤S6中的查询引擎(15)会会根据规则配置校验SQL的合法性以及判断是否是多数据源，最终提交查询计划并将查询数据结果返回，返回的字段会根据元数据维护系统(12)的信息进行替换展示到前端页面。
8.根据权利要求4所述的一种可视化中文SQL构建查询方法，其特征在于，步骤S7中进行JSON格式与SQL语句的转换包括：对用户操作的结果进行共两次转义；
第一次转义是在前端完成，将查询表对象、查询字段、查询条件、关联对象表对象、关联字段、聚合字段、排序字段信息转换成JSON格式对象，并将JSON对象传给后端程序；
第二次转义是后端程序执行，将获取到的JSON对象转换成SQL对象,并根据元数据维护系统(12)的信息进行替换并传递给查询引擎(15)。
9.根据权利要求8所述的一种可视化中文SQL构建查询方法，其特征在于，转换逻辑的具体体现为：将不同的定义指定数据格式的JSON字段进行解析后，生成各自对应的语句并拼接成一条完整的SQL字段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211663179.XA CN116010439A (zh) | 2022-12-23 | 2022-12-23 | 一种可视化中文sql系统及构建查询方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211663179.XA CN116010439A (zh) | 2022-12-23 | 2022-12-23 | 一种可视化中文sql系统及构建查询方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116010439A true CN116010439A (zh) | 2023-04-25 |
Family
ID=86018646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211663179.XA Pending CN116010439A (zh) | 2022-12-23 | 2022-12-23 | 一种可视化中文sql系统及构建查询方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116010439A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116561132A (zh) * | 2023-07-06 | 2023-08-08 | 深圳市明源云科技有限公司 | 业务数据查询方法、电子设备及可读存储介质 |
-
2022
- 2022-12-23 CN CN202211663179.XA patent/CN116010439A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116561132A (zh) * | 2023-07-06 | 2023-08-08 | 深圳市明源云科技有限公司 | 业务数据查询方法、电子设备及可读存储介质 |
| CN116561132B (zh) * | 2023-07-06 | 2023-12-22 | 深圳市明源云科技有限公司 | 业务数据查询方法、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Luo et al. | Synthesizing natural language to visualization (NL2VIS) benchmarks from NL2SQL benchmarks | |
| Knoblock et al. | Exploiting semantics for big data integration | |
| CN109918453B (zh) | 一种以自然语言搜索关系型复杂管理信息系统数据的方法及系统 | |
| US8086592B2 (en) | Apparatus and method for associating unstructured text with structured data | |
| CN109446221B (zh) | 一种基于语义分析的交互式数据探查方法 | |
| US20050183002A1 (en) | Data and metadata linking form mechanism and method | |
| CN111680029B (zh) | 基于数据标准系统落标的优化管理方法 | |
| CN112100200A (zh) | 一种基于维度模型自动化生成sql语句的方法 | |
| CN111858649A (zh) | 一种基于本体映射的异构数据融合方法 | |
| CN112883692A (zh) | 一种ppt数据报告的自动生成方法 | |
| CN116468010A (zh) | 报表生成方法、装置、终端及存储介质 | |
| CN114328471A (zh) | 一种基于数据虚拟化引擎的数据模型及其构建方法 | |
| US11816770B2 (en) | System for ontological graph creation via a user interface | |
| CN116010439A (zh) | 一种可视化中文sql系统及构建查询方法 | |
| CN117009422A (zh) | 便利业务人员进行数据导入的实现方法 | |
| EP1745390A2 (en) | Data and metadata linking form mechanism and method | |
| CN116303641B (zh) | 一种支持多数据源可视化配置的实验室报告管理方法 | |
| CN112231380A (zh) | 采集数据的综合处理方法、系统、存储介质及电子设备 | |
| CN114077652A (zh) | 一种基于多维数据立方体的数据处理方法及电子装置 | |
| US12079251B2 (en) | Model-based determination of change impact for groups of diverse data objects | |
| US11940964B2 (en) | System for annotating input data using graphs via a user interface | |
| CN113868322B (zh) | 一种语义结构解析方法、装置、设备及虚拟化系统、介质 | |
| Georgieva et al. | Tendencies in Software Engineering Education | |
| CN110647518B (zh) | 一种数据源融合计算方法、组件及装置 | |
| CN115080594A (zh) | 一种对数据进行多维度分析方法、系统和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |