CN117609274A - 数据库语言智能生成系统及方法 - Google Patents
数据库语言智能生成系统及方法 Download PDFInfo
- Publication number
- CN117609274A CN117609274A CN202311559629.5A CN202311559629A CN117609274A CN 117609274 A CN117609274 A CN 117609274A CN 202311559629 A CN202311559629 A CN 202311559629A CN 117609274 A CN117609274 A CN 117609274A
- Authority
- CN
- China
- Prior art keywords
- database
- user
- data
- index
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000013461 design Methods 0.000 claims description 33
- 238000005457 optimization Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据库语言智能生成系统及方法，包括：步骤S1：利用生成式AI技术根据用户输入的关键词自动识别用户的查询意图，并生成最优化的SQL与索引语句；步骤S2：根据生成的最优化的SQL与索引语句利用分布式搜索引擎基于数据库快速获取用户需求的相关数据，并利用倒排索引的方式存储数据。本发明利用分布式搜索引擎的高性能检索能力，快速地从大量数据中找到与用户需求相关的数据，提高了数据查询的速度。
Description
技术领域
本发明涉及数据库技术领域，具体地，涉及数据库语言智能生成系统及方法，更为具体地，涉及基于分布式搜索引擎与生成式AI技术的数据库设计、规范与审核系统与方法。
背景技术
随着大数据时代和人工智能时代的到来，数据库应用越来越多，处理的数据量逐渐增加，系统也越来越智能化，处理的业务逻辑也更加复杂，而每个SQL的撰写人员根据个人习惯和对实际业务的理解，编写的SQL风格不一，SQL执行效率更是有很大差距。
现有技术中只是对DML(查询SQL)进行优化，如编写SQL时避免全表扫描，使用WHERE条件时，相应字段建立索引等；现有SQL优化的方法依赖人工设置的规则规范。这种方法在大数据时代将无法满足成千上万乃至上亿条SQL的人工优化。因此，现有的技术中SQL优化相关的技术方法，无法达到预期的优化效率，且优化结果未必最优，造成系统应用的执行效率未达到较佳效果，同时造成资源浪费。
专利文献CN115129746A(申请号：202211043734.9)公开了一种SQL审核分析方法，包括：获取用户端上传的数据库文件，所述数据库文件是对数据库操作的文件，所述数据库文件包括SQL语句、注释及符号；解析所述数据库文件得数据库类型；根据数据库类型从预设规则库中获取相应的语法规则，所述预设规则库包括一个或者多个数据库类型对应的规则库，每个数据库类型的预设规则库包括自定义规则库以及官方文档规则库，每个数据库类型的语法规则包括官方文档定义的规则以及用户自定义的语法规则；根据相应的语法规则审批所述数据库文件；当所述数据库文件出现不规范的内容时，提示审批失败；以及当所述数据库文件未出现不规范内容，提示审批成功。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种数据库语言智能生成系统及方法。
根据本发明提供的一种数据库语言智能生成方法，包括：
步骤S1：利用生成式AI技术根据用户输入的关键词自动识别用户的查询意图，并生成最优化的SQL与索引语句；
步骤S2：根据生成的最优化的SQL与索引语句利用分布式搜索引擎基于数据库快速获取用户需求的相关数据，并利用倒排索引的方式存储数据。
优选地，数据库设计规范包括：数据类型设计、结构设计以及索引设计。
优选地，基于当前数据库中的存储数据利用服务器在多个节点上进行分布式部署。
优选地，将数据库中的数据库设计规范热点词汇对应字段放入Redis缓存中，通过页面输入中文快速的自动检索对应中文及对应英文名称。
优选地，根据用户的查询历史和行为自动推荐相关的数据和报表。
根据本发明提供的一种数据库语言智能生成系统，包括：
模块M1：利用生成式AI技术根据用户输入的关键词自动识别用户的查询意图，并生成最优化的SQL与索引语句；
模块M2：根据生成的最优化的SQL与索引语句利用分布式搜索引擎基于数据库快速获取用户需求的相关数据，并利用倒排索引的方式存储数据。
优选地，数据库设计规范包括：数据类型设计、结构设计以及索引设计。
优选地，基于当前数据库中的存储数据利用服务器在多个节点上进行分布式部署。
优选地，将数据库中的数据库设计规范热点词汇对应字段放入Redis缓存中，通过页面输入中文快速的自动检索对应中文及对应英文名称。
优选地，根据用户的查询历史和行为自动推荐相关的数据和报表。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过Elast ic Search实现了高效的数据检索：平台利用ElasticSearch的高性能检索能力，快速地从大量数据中找到与用户需求相关的数据，提高了数据查询的速度。
2、本发明通过自定义内部审核标准，实现了可灵活构建与配置标准规则，实现规范、高效、智能、统一与审核。
3、本发明通过数据分析实现了智能推荐：平台可以根据用户的查询历史和行为，智能推荐相关的数据和报表，帮助用户更快地找到所需信息。
4、本发明通过AI技术实现了智能SQL语句生成：平台可以根据用户输入的关键词和需求自动识别用户的查询意图，并生成最优化的SQL与索引语句，大大提高了编写SQL语句的效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为数据库语言智能生成方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种数据库语言智能生成系统及方法，其是一种数据开发的降本增效解决方案，旨在解决开发时DDL、DML、Index设计时字段不规范问题，减少设计审核时间，可以快速投入到开发任务中。所述数据库语言智能生成系统及方法主要采用了分布式搜索引擎(Elastic Search)与生成式AI技术。
所述数据库语言智能生成方法，包括：
本发明设计基于标准的OLTP数据库设计规范，利用分布式搜索引擎(ElasticSearch)与生成式AI技术，可以自动化生成结构化DDL、DML、索引等.语句，实现规范、高效、智能、统一与审核。
更为具体地，
步骤S1：利用生成式AI技术根据用户输入的关键词自动识别用户的查询意图，并生成最优化的SQL与索引语句；
步骤S2：根据生成的最优化的SQL与索引语句利用分布式搜索引擎基于数据库快速获取用户需求的相关数据，并利用倒排索引的方式存储数据。
所述分布式搜索引擎包括：使用Elasticsearch技术倒排索引的方式来存储数据，获取数据库设计规范，从而实现规范性设计数据库，达到统一、高效的效果；
所述数据库设计规范包括：数据类型设计、结构设计、索引设计。
基于当前数据库中的存储数据利用服务器在多个节点上进行分布式部署；在本实施例中，使用医保服务器在多个节点上进行分布式部署，即使某个节点出现故障，也不会影响整个系统的运行；运用其强大的聚合功能，对搜索的数据库设计规范数据进行匹配和组合，直接生成对应DDL语句发送给审核人员。
还包括：预留热点数据库设计规范内容：将数据库中的数据库设计规范热点词汇对应字段放入Redis缓存中，后续通过页面输入中文会更加快速的自动检索对应中文及对应英文名称。
还包括：智能审核系统；通过打通内部审核系统，灵活构建与配置标准规则，实现规范、高效、智能、统一与审核。
本发明还提供一种数据库语言智能生成系统，所述数据库语言智能生成系统可以通过执行所述数据库语言智能生成方法的流程步骤予以实现，即本领域技术人员可以将所述数据库语言智能生成方法理解为所述数据库语言智能生成系统的优选实施方式。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种数据库语言智能生成方法，其特征在于，包括：
步骤S1：利用生成式AI技术根据用户输入的关键词自动识别用户的查询意图，并生成最优化的SQL与索引语句；
步骤S2：根据生成的最优化的SQL与索引语句利用分布式搜索引擎基于数据库快速获取用户需求的相关数据，并利用倒排索引的方式存储数据。
2.根据权利要求1所述的数据库语言智能生成方法，其特征在于，数据库设计规范包括：数据类型设计、结构设计以及索引设计。
3.根据权利要求1所述的数据库语言智能生成方法，其特征在于，基于当前数据库中的存储数据利用服务器在多个节点上进行分布式部署。
4.根据权利要求1所述的数据库语言智能生成方法，其特征在于，将数据库中的数据库设计规范热点词汇对应字段放入Redis缓存中，通过页面输入中文快速的自动检索对应中文及对应英文名称。
5.根据权利要求1所述的数据库语言智能生成方法，其特征在于，根据用户的查询历史和行为自动推荐相关的数据和报表。
6.一种数据库语言智能生成系统，其特征在于，包括：
模块M1：利用生成式AI技术根据用户输入的关键词自动识别用户的查询意图，并生成最优化的SQL与索引语句；
模块M2：根据生成的最优化的SQL与索引语句利用分布式搜索引擎基于数据库快速获取用户需求的相关数据，并利用倒排索引的方式存储数据。
7.根据权利要求6所述的数据库语言智能生成系统，其特征在于，数据库设计规范包括：数据类型设计、结构设计以及索引设计。
8.根据权利要求6所述的数据库语言智能生成系统，其特征在于，基于当前数据库中的存储数据利用服务器在多个节点上进行分布式部署。
9.根据权利要求6所述的数据库语言智能生成系统，其特征在于，将数据库中的数据库设计规范热点词汇对应字段放入Redis缓存中，通过页面输入中文快速的自动检索对应中文及对应英文名称。
10.根据权利要求6所述的数据库语言智能生成系统，其特征在于，根据用户的查询历史和行为自动推荐相关的数据和报表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311559629.5A CN117609274A (zh) | 2023-11-21 | 2023-11-21 | 数据库语言智能生成系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311559629.5A CN117609274A (zh) | 2023-11-21 | 2023-11-21 | 数据库语言智能生成系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117609274A true CN117609274A (zh) | 2024-02-27 |
Family
ID=89947294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311559629.5A Pending CN117609274A (zh) | 2023-11-21 | 2023-11-21 | 数据库语言智能生成系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117609274A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271428A (zh) * | 2018-09-11 | 2019-01-25 | 北京市计算中心 | 数据抽取方法及基于地理信息的数据展示方法 |
| CN109408526A (zh) * | 2018-10-12 | 2019-03-01 | 平安科技（深圳）有限公司 | Sql语句生成方法、装置、计算机设备及存储介质 |
| CN109815318A (zh) * | 2018-12-24 | 2019-05-28 | 平安科技（深圳）有限公司 | 问答系统中的问题答案查询方法、系统及计算机设备 |
| CN114186026A (zh) * | 2021-12-14 | 2022-03-15 | 中国建设银行股份有限公司 | 自然语言处理方法、装置、设备及存储介质 |
-
2023
- 2023-11-21 CN CN202311559629.5A patent/CN117609274A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271428A (zh) * | 2018-09-11 | 2019-01-25 | 北京市计算中心 | 数据抽取方法及基于地理信息的数据展示方法 |
| CN109408526A (zh) * | 2018-10-12 | 2019-03-01 | 平安科技（深圳）有限公司 | Sql语句生成方法、装置、计算机设备及存储介质 |
| CN109815318A (zh) * | 2018-12-24 | 2019-05-28 | 平安科技（深圳）有限公司 | 问答系统中的问题答案查询方法、系统及计算机设备 |
| CN114186026A (zh) * | 2021-12-14 | 2022-03-15 | 中国建设银行股份有限公司 | 自然语言处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111400338B (zh) | Sql优化方法、装置、存储介质及计算机设备 | |
| EP3671526B1 (en) | Dependency graph based natural language processing | |
| US9189509B1 (en) | Storing graph data representing workflow management | |
| US7716190B2 (en) | Conversion of structured information | |
| CN109522341B (zh) | 实现基于sql的流式数据处理引擎的方法、装置、设备 | |
| CN107679035B (zh) | 一种信息意图检测方法、装置、设备和存储介质 | |
| CN108170752B (zh) | 基于模板的元数据管理方法和系统 | |
| US20230030086A1 (en) | System and method for generating ontologies and retrieving information using the same | |
| Tapsai | Information processing and retrieval from CSV file by natural language | |
| CN113779062A (zh) | Sql语句生成方法、装置、存储介质及电子设备 | |
| CN112507089A (zh) | 一种基于知识图谱的智能问答引擎及其实现方法 | |
| US7529758B2 (en) | Method for pre-processing mapping information for efficient decomposition of XML documents | |
| CN115544062A (zh) | 基于Apache Calcite数据血缘和影响分析的方法及系统 | |
| CN106649333A (zh) | 字段顺序一致性检测方法和装置 | |
| CN113934786A (zh) | 一种构建统一etl的实施方法 | |
| CN113468209A (zh) | 一种电网监控系统高速内存数据库访问方法 | |
| CN113032371A (zh) | 数据库语法分析方法、装置和计算机设备 | |
| CN110019306A (zh) | 一种基于xml格式文件的sql语句查找方法及系统 | |
| CN117609274A (zh) | 数据库语言智能生成系统及方法 | |
| Eyal-Salman et al. | Identifying traceability links between product variants and their features | |
| CN112925726A (zh) | 一种自动生成数据库测试用例的方法及存储介质 | |
| WO2014051455A1 (en) | Method and system for storing graph data | |
| Homoceanu et al. | Proswip: Property-based data access for semantic web interactive programming | |
| CN111752967A (zh) | 基于sql的数据处理方法、装置、电子设备和存储介质 | |
| CN111753045A (zh) | 一种基于Elasticsearch的Hive二级全文索引技术方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |