CN117667977A - 一种管理数据库的方法、装置、设备及存储介质 - Google Patents
一种管理数据库的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117667977A CN117667977A CN202311667390.3A CN202311667390A CN117667977A CN 117667977 A CN117667977 A CN 117667977A CN 202311667390 A CN202311667390 A CN 202311667390A CN 117667977 A CN117667977 A CN 117667977A
- Authority
- CN
- China
- Prior art keywords
- structured query
- target
- query statement
- database
- statement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013507 mapping Methods 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 8
- 239000000243 solution Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 125000002015 acyclic group Chemical group 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/244—Grouping and aggregation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种管理数据库的方法、装置、设备及存储介质。该方法包括:通过可视化界面生成有向无环图;将所述有向无环图映射为初始结构化查询语句;利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句;利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。本发明实施例的技术方案,通过可视化界面生成有向无环图,利用该有向无环图生成结构化查询语言,降低了结构化查询语言编写的难度,提高了结构化查询语言编写的工作效率,并通过对生成的结构化查询语言进行优化,提高了结构化查询语言编译运行的能力,以及对应的数据库系统的性能。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种管理数据库的方法、装置、设备及存储介质。
背景技术
随着大数据时代的来临,数据量急剧增加,企业对于高效的数据库管理需求越来越迫切。SQL(Structured Query Language,结构化查询语言)作为一种广泛使用的查询语言,其编写、管理与优化能力对于数据库的性能起着至关重要的作用。
然而,传统的SQL编写方式往往需要较高的技术门槛,且容易出现性能低下和代码冗余等问题,从而导致对应的管理系统管理数据库的能力欠佳。
发明内容
本发明提供了一种管理数据库的方法、装置、设备及存储介质,以解决利用传统的SQL编写方式生成的系统管理数据库的能力欠佳的问题。
第一方面,本发明提供了一种管理数据库的方法,包括:
通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点;
将所述有向无环图映射为初始结构化查询语句;
利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句;
利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。
第二方面,本发明提供了一种管理数据库的装置,包括:
有向无环图确定模块,用于通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点;
初始语句模块,用于将所述有向无环图映射为初始结构化查询语句;
目标语句模块,用于利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句;
数据库管理模块,用于利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。
第三方面,本发明提供了一种电子设备,该电子设备包括:
至少一个处理器;
以及与至少一个处理器通信连接的存储器;
其中,存储器存储有可被至少一个处理器执行的计算机程序,该计算机程序被至少一个处理器执行,以使至少一个处理器能够执行上述第一方面的管理数据库的方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现上述第一方面的管理数据库的方法。
本发明提供的管理数据库的方案,通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点,将所述有向无环图映射为初始结构化查询语句,利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句,利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。通过采用上述技术方案,通过可视化界面生成有向无环图,利用该有向无环图生成结构化查询语言,降低了结构化查询语言编写的难度,提高了结构化查询语言编写的工作效率,并通过对生成的结构化查询语言进行优化,提高了结构化查询语言编译运行能力,以及对应的数据库系统的性能。
应当理解,本部分所描述的内容并非旨在标识本发明的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种管理数据库的方法的流程图;
图2是根据本发明实施例一提供的一种有向无环结构示意图;
图3是根据本发明实施例二提供的一种管理数据库的方法的流程图;
图4是根据本发明实施例三提供的一种管理数据库的装置的结构示意图;
图5是根据本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。在本发明的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种管理数据库的方法的流程图,本实施例可适用于编排和生成结构化查询语句,并利用该语句生成管理数据库的系统的情况,该方法可以由管理数据库的装置来执行,该管理数据库的装置可以采用硬件和/或软件的形式实现,该管理数据库的装置可配置于电子设备中,该电子设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。
如图1所示,该本发明实施例一提供的一种管理数据库的方法,具体包括如下步骤:
S101、通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点。
在本实施例中,可以通知数据库系统的管理员根据对目标数据库的管理需求,在可视化界面上创建各种操作节点,以生成有向无环图。操作节点共分为三类,具体包括输入节点、处理节点和输出节点。图2为一种有向无环结构示意图,图2中的输入节点和从DAG(Directed Acyclic Graph,有向无环图)读入节点均属于数据读入类型的输入节点,SQL数据处理节点为处理节点,SQL数据写出节点和SQL数据落盘节点均为输出节点,生成的有向无环图的结构可以如图2所示。输入节点可以同步目标数据库的数据表元数据,数据库系统编译方可以根据下拉框选择要操作的表名和字段信息。处理节点可以关联各个输入节点,同时可以对输入节点关联的目标数据库中的数据进行相应的选择、过滤、聚合和连接等操作,并关联输出节点。输出节点可以合并汇总各处理节点输出的处理结果。数据库系统编译方可以通过拖拽连接线等方式,将各个节点连接起来,以表示数据表之间的关联关系,从而得到有向无环图。数据库系统编译方可以在界面上为每个节点设置各种属性,以及新建、编辑和删除节点。有向无环图中包含多个表示管理目标数据库的操作节点以及节点间的连接线。
S102、将所述有向无环图映射为初始结构化查询语句。
在本实施例中,可以通过预设程序将有向无环图映射中的操作节点映射为相应的SQL子句,例如将处理节点中的选择操作节点映射为SELECT子句,过滤操作节点映射为WHERE子句,聚合操作节点映射为GROUP BY子句等。将连接线映射为相应的SQL子句,例如,将第一类型的连接线映射为INNER JOIN子句,将第二类型的连接线映射为LEFT JOIN子句等。
S103、利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句。
在本实施例中,可以利用贪心算法确定初始结构化查询语句的多个JOIN(连接)顺序,通过确定每个顺序的成本或性能指标,可以确定局部最优的JOIN顺序,即得到JOIN顺序的局部最优解。动态规划具有全局搜索的能力,可以进一步搜索解空间,找到全局最优解。该局部最优解可以作为动态规划算法的起点,在动态规划的搜索过程中,可以利用代价模型评估每个解的优劣并及时更新最优解。根据预设的终止条件,如达到最大迭代次数或满足一定的收敛条件,则停止寻找全局最优解。根据全局最优解可以对初始结构化查询语句中的JOIN操作的JOIN顺序进行优化,以重新构建查询语句,得到第一目标结构化查询语句。其中,全局最优解可以理解为最优的JOIN顺序。
S104、利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。
在本实施例中,通过编译第一目标结构化查询语句可以生成数据库系统,该系统可以管理目标数据库。
本发明实施例提供的管理数据库的方法,通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点,将所述有向无环图映射为初始结构化查询语句,利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句,利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。本发明实施例技术方案,通过可视化界面生成有向无环图,利用该有向无环图生成结构化查询语言,降低了结构化查询语言编写的难度,提高了结构化查询语言编写的工作效率,并通过对生成的结构化查询语言进行优化,提高了结构化查询语言编译运行的能力,以及对应的数据库系统的性能。
可选的,在所述利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句之前,还包括:通过调用EXPLAIN函数得到所述初始结构化查询语句的执行计划;利用所述执行计划和预设代价模型,从所述初始结构化查询语句中确定待优化结构化查询语句;其中,所述利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句,包括:利用贪心算法与动态规划算法,对所述待优化结构化查询语句中的连接操作的连接顺序进行优化,得到第一目标结构化查询语句。这样设置的好处在于,通过调用EXPLAIN函数得到了执行计划,利用该计划准确的确定了待优化结构化查询语句。
具体的,可以调用EXPLAIN函数执行初始结构化查询语句,从而得到执行计划。执行计划可以以JSON格式返回,执行计划中包含了查询语句的详细执行信息,如JOIN顺序、操作类型以及索引使用情况等。通过解析执行计划,可以获取初始结构化查询语句中的JOIN顺序。可以使用JSON解析库或JSON解析方法,将执行计划中的执行情况信息,转换为可操作的数据结构,如字典或对象。利用预设代价模型,基于JOIN操作关联目标数据库中数据表的行数、过滤条件的严格程度和索引使用情况(通过规则表设置闯值或范围)等因素,可以评估当前JOIN顺序的性能优劣。利用贪心算法与动态规划算法,可以对性能较差的JOIN顺序进行优化,得到第一目标结构化查询语句。
可选的,在所述利用所述第一目标结构化查询语句生成数据库系统之前,还包括:屏蔽所述第一目标结构化查询语句中的预设危险操作子句,以及对输出内容中的预设敏感字进行掩码,得到第一安全结构化查询语句,其中,所述输出内容为所述第一目标结构化查询语句中输出子句输出的数据;利用PreparedStatement电脑编程语言接口对象和预设占位符,处理所述第一安全结构化查询语句,得到第二安全结构化查询语句;其中,所述利用所述第一目标结构化查询语句生成数据库系统,包括:利用所述第二安全结构化查询语句生成数据库系统。这样设置的好处在于,防止恶意SQL代码的执行,保护了用户隐私,并通过利用电脑编程语言接口防止了注入攻击,确保了SQL的安全性。
具体的,可以对生成的第一目标结构化查询语句进行安全检查,确保其不包含有害的危险操作语句。可以通过识别和过滤危险关键字,以及屏蔽或限制高危操作(如DROP操作、DELETE批量更新操作以及未授权的备份还原等)子句的方式,防止恶意SQL代码的执行。可以对查询结果,即第一目标结构化查询语句中输出子句输出的数据,进行过滤,防止敏感信息的泄露。对于包含敏感信息的数据可以采用脱敏处理,如数据掩码和数据模糊化等,以保护用户隐私。可以使用预设占位符“?”来替代第一安全结构化查询语句中待填充的参数。然后使用PreparedStatement(电脑编程语言接口)对象的setXXX()方法(例如setString()和setInt())来设置该参数的值,而不是直接将参数值嵌入到第一安全结构化查询语句中。还可以使用参数化查询,对参数值正确地转义和处理,从而防止SQL注入攻击。其中,无论参数值中是否包含特殊字符,它们都会被视为数据而不是SQL代码的一部分。
实施例二
图3为本发明实施例二提供的一种管理数据库的方法的流程图,本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化,给出了生成管理数据库的结构化查询语句的具体方式。
可选的,所述将所述有向无环图映射为初始结构化查询语句,包括:将所述节点中的处理节点映射为第一结构化查询语句,其中,所述处理节点表示处理所述目标数据库中的数据;将所述有向无环图中节点间的连接线映射为第二结构化查询语句,其中,所述连接线包括表示所述节点间的连接关系的线;利用所述节点的身份标识,确定所述第一结构化查询语句和所述第二结构化查询语句间的关联关系,并根据所述关联关系生成初始结构化查询语句。这样设置的好处在于,利用节点的身份标识,可以准确的将有向无环图中的节点和连接线映射为结构化查询语句。
可选的,在所述根据所述关联关系生成初始结构化查询语句之前,还包括:从所述第一结构化查询语句和输出结构化查询语句中确定筛选条件字段和查询字段,并将所述筛选条件字段和所述查询字段确定为第三结构化查询语句,其中,所述输出结构化查询语句为所述节点中的输出节点的映射语句;其中,所述根据所述关联关系生成初始结构化查询语句,包括:根据所述关联关系,将所述第一结构化查询语句、所述第二结构化查询语句和所述第三结构化查询语句整合,得到初始结构化查询语句。这样设置的好处在于,通过将筛选条件字段和查询字段映射为结构化查询语句,提高了结构化查询语句的查询性能。
可选的,在所述利用所述第一目标结构化查询语句生成数据库系统之前,还包括:利用目标子句确定第一索引语句,并利用所述初始结构化查询语句的操作次数和所述操作次数对应的所述目标数据库中的数据表的列,生成第二索引语句,以及根据所述初始结构化查询语句关联的所述数据表中每一列的数据量确定第三索引语句,其中,所述目标子句为所述初始结构化查询语句中的预设类型的子句;将所述第一索引语句、所述第二索引语句以及所述第三索引语句分别映射为对应的第二目标结构化查询语句;其中,所述利用所述第一目标结构化查询语句生成数据库系统,包括:利用所述第一目标结构化查询语句和所述第二目标结构化查询语句生成数据库系统。这样设置的好处在于,通过确定索引语句并将索引语句映射为结构化查询语句,可以很好的覆盖常用的查询条件,从而减少需要检索和处理的数据量。
如图3所示,本发明实施例二提供的一种管理数据库的方法,具体包括如下步骤:
S201、通过可视化界面生成有向无环图。
S202、将节点中的处理节点映射为第一结构化查询语句。
其中,所述处理节点表示处理所述目标数据库中的数据。
具体的,通过预设程序将有向无环图映射中的操作节点映射为相应的SQL子句,即第一结构化查询语句,例如将处理节点中的选择操作节点映射为SELECT子句,过滤操作节点映射为WHERE子句,聚合操作节点映射为GROUP BY子句等。
S203、将有向无环图中节点间的连接线映射为第二结构化查询语句。
其中,所述连接线包括表示所述节点间的连接关系的线。
具体的,将连接线映射为相应的SQL子句,即第二结构化查询语句,例如,将第一类型的连接线映射为INNER JOIN子句,将第二类型的连接线映射为LEFT JOIN子句等。其中,在有向无环图中,输入节点、处理节点和输出节点间均可以存在连接线。
S204、利用节点的身份标识,确定第一结构化查询语句和第二结构化查询语句间的关联关系,并从第一结构化查询语句和输出结构化查询语句中确定筛选条件字段和查询字段,并将筛选条件字段和查询字段确定为第三结构化查询语句。
其中,所述输出结构化查询语句为所述节点中的输出节点的映射语句。
具体的,每个节点的输入端口和输出端口可以配置有ID值,即身份标识,利用该身份标识可以确定有向无环图中节点与节点间的连接关系。因此对于任一节点而言,按照有向无环图中包含的节点间的连接关系,可以确定第一结构化查询语句和第二结构化查询语句间的关联关系。对于处理节点和输出节点,可以遍历其映射得到的SQL语句中的字段,得到筛选条件字段和查询字段。可以将出现在预设位置的预设字符的字段确定为查询字段,如将以date结尾的作为查询字段,可以将预设子句确定为筛选条件字段,如将where子句确定为筛选条件字段,并将上述筛选条件字段和查询字段映射为第三结构化查询语句。
S205、根据关联关系,将第一结构化查询语句、第二结构化查询语句和第三结构化查询语句整合,得到初始结构化查询语句。
具体的,根据第一结构化查询语句和第二结构化查询语句间的关联关系,可以对第一结构化查询语句和第二结构化查询语句进行有序整合,以将操作子句和数据表关联操作子句组合成结构查询语句。然后再将整合得到的结构查询语句和第三结构化查询语句整合为初始结构化查询语句。其中,初始结构化查询语句中,支持case when等过长的函数语句名被简化为预设名称,支持筛选条件作为外部参数传入,限制查询结果条目防止内存溢出,支持对接多数据源等功能。
S206、通过调用EXPLAIN函数得到初始结构化查询语句的执行计划。
S207、利用执行计划和预设代价模型,从初始结构化查询语句中确定待优化结构化查询语句。
S208、利用贪心算法与动态规划算法,对待优化结构化查询语句中的连接操作的连接顺序进行优化,得到第一目标结构化查询语句。
S209、利用目标子句确定第一索引语句,并利用初始结构化查询语句的操作次数和操作次数对应的目标数据库中的数据表的列,生成第二索引语句,以及根据初始结构化查询语句关联的数据表中每一列的数据量确定第三索引语句。
其中,所述目标子句为所述初始结构化查询语句中的预设类型的子句。
示例性的,若目标子句为WHERE子句,则可以分析WHERE子句中的筛选条件,如确定初始结构化查询语句关联的目标数据库的数据表中,哪些列经常用于WHERE条件和连接条件,可以为这些列创建第一索引语句。可以确定初始结构化查询语句关联的数据表中的列是否经常被用于范围查询(如大于或小于等),或,经常被用于排序或分组,则可以为该列创建第二索引语句。可以确定初始结构化查询语句关联的数据表中的列的数据量,为数据量很高的列创建第三索引语句。
S210、将第一索引语句、第二索引语句以及第三索引语句分别映射为对应的第二目标结构化查询语句。
具体的,将第一索引语句、第二索引语句以及第三索引语句分别映射为对应的(第二目标)结构化查询语句。
S211、利用第一目标结构化查询语句和第二目标结构化查询语句生成数据库系统。
S212、屏蔽第一目标结构化查询语句和第二目标结构化查询语句中的预设危险操作子句,以及对输出内容中的预设敏感字进行掩码,得到第一安全结构化查询语句。
其中,所述输出内容为所述第一目标结构化查询语句和所述第二目标结构化查询语句中输出子句输出的数据。
S213、利用PreparedStatement电脑编程语言接口对象和预设占位符,处理所述第一安全结构化查询语句,得到第二安全结构化查询语句。
S214、利用第二安全结构化查询语句生成数据库系统,并利用数据库系统管理目标数据库。
本发明实施例提供的管理数据库的方法,利用节点的身份标识,可以准确的将有向无环图中的节点和连接线映射为结构化查询语句,通过将筛选条件字段和查询字段映射为结构化查询语句,提高了结构化查询语句的查询性能,并通过确定索引语句并将索引语句映射为结构化查询语句,覆盖了常用的查询条件,减少了需要检索和处理的数据量。
在上述实施例基础上,该方法还可包括:在所述利用所述数据库系统管理所述目标数据库之后,还包括:间隔预设时长,利用贪心算法与动态规划算法对所述第一目标结构化查询语句进行更新,得到更新后的第一目标结构化查询语句;利用所述更新后的第一目标结构化查询语句更新所述数据库系统。这样设置的好处在于,动态的持续检测和更新数据库系统的结构化查询语句,保证了数据库系统的性能。
具体的,可以使用实际数据集对第二安全结构化查询语句进行性能测试,比较第二安全结构化查询语句与初始查询语句(即初始结构化查询语句)的性能表现,根据测试结果对第二安全结构化查询语句进行进一步的调整和优化。在数据库系统开发和实际使用的过程中,随着数据量的变化和新索引的添加等因素,可能会产生新的JOIN顺序的调整需求。因此,有必要设置后台任务,批量分析当前SQL的执行结果,并可以将分析报告以邮件等形式发送至相关开发成员和运维成员。在数据库系统开发和实用的过程中,可以根据新调整后的JOIN顺序,重新获取执行计划,并通过分析执行计划,对JOIN顺序进行再次优化。在数据库系统的实际应用过程中,可以定期监控数据库系统的查询结构语句的性能,启用数据库的日志功能,监控和审计目标数据库的活动,如若出现error或warning级别的告警提醒信息,可根据实际情况对数据库系统的查询结构语句进行调整。
实施例三
图4为本发明实施例三提供的一种管理数据库的装置的结构示意图。如图4所示,该装置包括:有向无环图确定模块301、初始语句模块302、第一目标语句确定模块303以及数据库管理模块304,其中:
有向无环图确定模块,用于通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点;
初始语句模块,用于将所述有向无环图映射为初始结构化查询语句;
第一目标语句确定模块,用于利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句;
数据库管理模块,用于利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。
本发明实施例提供的管理数据库的装置,通过可视化界面生成有向无环图,利用该有向无环图生成结构化查询语言,降低了结构化查询语言编写的难度,提高了结构化查询语言编写的工作效率,并通过对生成的结构化查询语言进行优化,提高了结构化查询语言编译运行的能力,以及对应的数据库系统的性能。
可选的,初始语句模块包括:
第一映射单元,用于将所述节点中的处理节点映射为第一结构化查询语句,其中,所述处理节点表示处理所述目标数据库中的数据;
第二映射单元,用于将所述有向无环图中节点间的连接线映射为第二结构化查询语句,其中,所述连接线包括表示所述节点间的连接关系的线;
初始语句生成单元,用于利用所述节点的身份标识,确定所述第一结构化查询语句和所述第二结构化查询语句间的关联关系,并根据所述关联关系生成初始结构化查询语句。
可选的,在所述根据所述关联关系生成初始结构化查询语句之前,还包括:从所述第一结构化查询语句和输出结构化查询语句中确定筛选条件字段和查询字段,并将所述筛选条件字段和所述查询字段确定为第三结构化查询语句,其中,所述输出结构化查询语句为所述节点中的输出节点的映射语句;其中,所述根据所述关联关系生成初始结构化查询语句,包括:根据所述关联关系,将所述第一结构化查询语句、所述第二结构化查询语句和所述第三结构化查询语句整合,得到初始结构化查询语句。
可选的,该装置还包括:
操作顺序优化模块,用于在所述利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句之前,通过调用EXPLAIN函数得到所述初始结构化查询语句的执行计划;
待优化语句确定模块,用于利用所述执行计划和预设代价模型,从所述初始结构化查询语句中确定待优化结构化查询语句。
可选的,第一目标语句确定模块具体用于,利用贪心算法与动态规划算法,对所述待优化结构化查询语句中的连接操作的连接顺序进行优化,得到第一目标结构化查询语句。
可选的,该装置还包括:
索引语句确定模块,用于在所述利用所述第一目标结构化查询语句生成数据库系统之前,利用目标子句确定第一索引语句,并利用所述初始结构化查询语句的操作次数和所述操作次数对应的所述目标数据库中的数据表的列,生成第二索引语句,以及根据所述初始结构化查询语句关联的所述数据表中每一列的数据量确定第三索引语句,其中,所述目标子句为所述初始结构化查询语句中的预设类型的子句;
第二目标语句确定模块,用于将所述第一索引语句、所述第二索引语句以及所述第三索引语句分别映射为对应的第二目标结构化查询语句。
可选的,数据库管理模块包括:
第一系统生成单元,用于利用所述第一目标结构化查询语句和所述第二目标结构化查询语句生成数据库系统。
可选的,该装置还包括:
第一安全语句确定模块,用于在所述利用所述第一目标结构化查询语句生成数据库系统之前,屏蔽所述第一目标结构化查询语句中的预设危险操作子句,以及对输出内容中的预设敏感字进行掩码,得到第一安全结构化查询语句,其中,所述输出内容为所述第一目标结构化查询语句中输出子句输出的数据;
第二安全语句确定模块,用于利用PreparedStatement电脑编程语言接口对象和预设占位符,处理所述第一安全结构化查询语句,得到第二安全结构化查询语句。
可选的,数据库管理模块包括:
第二系统生成单元,用于利用所述第二安全结构化查询语句生成数据库系统。
可选的,该装置还包括:
语句更新模块,用于在所述利用所述数据库系统管理所述目标数据库之后,间隔预设时长,利用贪心算法与动态规划算法对所述第一目标结构化查询语句进行更新,得到更新后的第一目标结构化查询语句;
系统更新模块,用于利用所述更新后的第一目标结构化查询语句更新所述数据库系统。
本发明实施例所提供的管理数据库的装置可执行本发明任意实施例所提供的管理数据库的方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备40包括至少一个处理器41,以及与至少一个处理器41通信连接的存储器,如只读存储器(ROM)42、随机访问存储器(RAM)43等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序,来执行各种适当的动作和处理。在RAM 43中,还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45,包括:输入单元46,例如键盘、鼠标等;输出单元47,例如各种类型的显示器、扬声器等;存储单元48,例如磁盘、光盘等;以及通信单元49,例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理,例如管理数据库的方法。
在一些实施例中,管理数据库的方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元48。在一些实施例中,计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时,可以执行上文描述的管理数据库的方法的一个或多个步骤。备选地,在其他实施例中,处理器41可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行管理数据库的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
上述提供的计算机设备可用于执行上述任意实施例提供的管理数据库的方法,具备相应的功能和有益效果。
实施例五
在本发明的上下文中,计算机可读存储介质可以是有形的介质,所述计算机可执行指令在由计算机处理器执行时用于执行管理数据库的方法,该方法包括:
通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点;
将所述有向无环图映射为初始结构化查询语句;
利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句;
利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
上述提供的计算机设备可用于执行上述任意实施例提供的管理数据库的方法,具备相应的功能和有益效果。
值得注意的是,上述管理数据库的装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种管理数据库的方法,其特征在于,包括:
通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点;
将所述有向无环图映射为初始结构化查询语句;
利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句;
利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。
2.根据权利要求1所述的方法,其特征在于,所述将所述有向无环图映射为初始结构化查询语句,包括:
将所述节点中的处理节点映射为第一结构化查询语句,其中,所述处理节点表示处理所述目标数据库中的数据;
将所述有向无环图中节点间的连接线映射为第二结构化查询语句,其中,所述连接线包括表示所述节点间的连接关系的线;
利用所述节点的身份标识,确定所述第一结构化查询语句和所述第二结构化查询语句间的关联关系,并根据所述关联关系生成初始结构化查询语句。
3.根据权利要求2所述的方法,其特征在于,在所述根据所述关联关系生成初始结构化查询语句之前,还包括:
从所述第一结构化查询语句和输出结构化查询语句中确定筛选条件字段和查询字段,并将所述筛选条件字段和所述查询字段确定为第三结构化查询语句,其中,所述输出结构化查询语句为所述节点中的输出节点的映射语句;
其中,所述根据所述关联关系生成初始结构化查询语句,包括:
根据所述关联关系,将所述第一结构化查询语句、所述第二结构化查询语句和所述第三结构化查询语句整合,得到初始结构化查询语句。
4.根据权利要求1所述的方法,其特征在于,在所述利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句之前,还包括:
通过调用EXPLAIN函数得到所述初始结构化查询语句的执行计划;
利用所述执行计划和预设代价模型,从所述初始结构化查询语句中确定待优化结构化查询语句;
其中,所述利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句,包括:
利用贪心算法与动态规划算法,对所述待优化结构化查询语句中的连接操作的连接顺序进行优化,得到第一目标结构化查询语句。
5.根据权利要求1所述的方法,其特征在于,在所述利用所述第一目标结构化查询语句生成数据库系统之前,还包括:
利用目标子句确定第一索引语句,并利用所述初始结构化查询语句的操作次数和所述操作次数对应的所述目标数据库中的数据表的列,生成第二索引语句,以及根据所述初始结构化查询语句关联的所述数据表中每一列的数据量确定第三索引语句,其中,所述目标子句为所述初始结构化查询语句中的预设类型的子句;
将所述第一索引语句、所述第二索引语句以及所述第三索引语句分别映射为对应的第二目标结构化查询语句;
其中,所述利用所述第一目标结构化查询语句生成数据库系统,包括:
利用所述第一目标结构化查询语句和所述第二目标结构化查询语句生成数据库系统。
6.根据权利要求1所述的方法,其特征在于,在所述利用所述第一目标结构化查询语句生成数据库系统之前,还包括:
屏蔽所述第一目标结构化查询语句中的预设危险操作子句,以及对输出内容中的预设敏感字进行掩码,得到第一安全结构化查询语句,其中,所述输出内容为所述第一目标结构化查询语句中输出子句输出的数据;
利用PreparedStatement电脑编程语言接口对象和预设占位符,处理所述第一安全结构化查询语句,得到第二安全结构化查询语句;
其中,所述利用所述第一目标结构化查询语句生成数据库系统,包括:
利用所述第二安全结构化查询语句生成数据库系统。
7.根据权利要求1所述的方法,其特征在于,在所述利用所述数据库系统管理所述目标数据库之后,还包括:
间隔预设时长,利用贪心算法与动态规划算法对所述第一目标结构化查询语句进行更新,得到更新后的第一目标结构化查询语句;
利用所述更新后的第一目标结构化查询语句更新所述数据库系统。
8.一种管理数据库的装置,其特征在于,包括:
有向无环图确定模块,用于通过可视化界面生成有向无环图,其中,所述有向无环图根据目标数据库的管理需求确定,所述有向无环图中包含多个表示管理所述目标数据库的节点;
初始语句模块,用于将所述有向无环图映射为初始结构化查询语句;
第一目标语句确定模块,用于利用贪心算法与动态规划算法,对所述初始结构化查询语句中连接操作的连接顺序进行优化,得到第一目标结构化查询语句;
数据库管理模块,用于利用所述第一目标结构化查询语句生成数据库系统,并利用所述数据库系统管理所述目标数据库。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的管理数据库的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的管理数据库的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311667390.3A CN117667977A (zh) | 2023-12-06 | 2023-12-06 | 一种管理数据库的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311667390.3A CN117667977A (zh) | 2023-12-06 | 2023-12-06 | 一种管理数据库的方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117667977A true CN117667977A (zh) | 2024-03-08 |
Family
ID=90069408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311667390.3A Pending CN117667977A (zh) | 2023-12-06 | 2023-12-06 | 一种管理数据库的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117667977A (zh) |
-
2023
- 2023-12-06 CN CN202311667390.3A patent/CN117667977A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110795455B (zh) | 依赖关系解析方法、电子装置、计算机设备及可读存储介质 | |
CN110472068B (zh) | 基于异构分布式知识图谱的大数据处理方法、设备及介质 | |
US11599539B2 (en) | Column lineage and metadata propagation | |
CN112052138A (zh) | 业务数据质量检测方法、装置、计算机设备及存储介质 | |
US20140298471A1 (en) | Evaluating Security of Data Access Statements | |
CN114969819A (zh) | 数据资产风险发现方法和装置 | |
CN114091426A (zh) | 一种处理数据仓库中字段数据的方法和装置 | |
CN107562429A (zh) | 一种基于编译规则的Android系统静态划分方法 | |
CN116644223A (zh) | 数据查询方法、装置、设备及可读介质 | |
US11580251B1 (en) | Query-based database redaction | |
CN114048227A (zh) | Sql语句异常检测方法、装置、设备及存储介质 | |
CN117667977A (zh) | 一种管理数据库的方法、装置、设备及存储介质 | |
CN111221690A (zh) | 针对集成电路设计的模型确定方法、装置及终端 | |
CN116089985A (zh) | 一种分布式日志的加密存储方法、装置、设备及介质 | |
CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
CN114528593A (zh) | 数据权限控制方法、装置、设备及存储介质 | |
CN114115908A (zh) | 一种指令集生成、程序解析方法装置、设备以及存储介质 | |
CN112416966A (zh) | 即席查询方法、装置、计算机设备和存储介质 | |
CN116483735B (zh) | 一种代码变更的影响分析方法、装置、存储介质及设备 | |
CN111552703A (zh) | 一种数据处理方法及装置 | |
CN116450682B (zh) | 基于数据合并的模型生成方法、装置、设备及介质 | |
CN111381546B (zh) | 一种工业控制系统的安全控制系统和方法 | |
US12079179B2 (en) | Systems, methods, and media for accessing derivative properties from a post relational database utilizing a logical schema instruction that includes a base object identifier | |
CN117251167A (zh) | 一种软件物料清单构建方法、装置、设备及介质 | |
CN114297228A (zh) | Es服务器查询方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |