CN113268494B - 待优化数据库语句处理方法及装置 - Google Patents

待优化数据库语句处理方法及装置 Download PDF

Info

Publication number
CN113268494B
CN113268494B CN202110563309.1A CN202110563309A CN113268494B CN 113268494 B CN113268494 B CN 113268494B CN 202110563309 A CN202110563309 A CN 202110563309A CN 113268494 B CN113268494 B CN 113268494B
Authority
CN
China
Prior art keywords
database
statement
test
training
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110563309.1A
Other languages
English (en)
Other versions
CN113268494A (zh
Inventor
刘梦迪
裴宏祥
张加伟
许贝贝
黄群
李学政
韩克华
周文卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202110563309.1A priority Critical patent/CN113268494B/zh
Publication of CN113268494A publication Critical patent/CN113268494A/zh
Application granted granted Critical
Publication of CN113268494B publication Critical patent/CN113268494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本发明实施例提供了一种待优化数据库语句处理方法及装置，所述方法包括：获取待处理电信业务对应的数据库语句集，将所述数据库语句集输入至排序模型中进行排序，得到至少一排序结果，其中，所述排序模型是通过数据库训练语句集和数据库测试语句集综合训练得到的，根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，其中，所述目标待优化数据库语句为所述数据库语句集中的语句，将所述目标数据库语句发送至终端设备进行显示，提高了待优化数据库语句确定的准确性，也提高了待优化数据库语句确定的效率，保证了各电信业务的正常运行。

Description

待优化数据库语句处理方法及装置
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种待优化数据库语句处理方法及装置。
背景技术
随着大数据时代的到来，电信行业中的电信业务的逻辑越来越繁杂，需要处理的数据量也越来越大，相应地，数据库应用也越来越多。
现有技术中，业务量及数据量的快速增长使得通常只涉及几个简单数据库语句操作的小型应用慢慢向包含成千上万个数据库语句操作的大型应用转变，因此，在数据库系统运行过程中，常常会出现因数据库性能差而影响用户感知的情况。
然而，现有技术中主要是通过使用该业务系统的前台人员、用户反馈系统运行速度慢或者系统层面的中央处理器等指标进行告警的方式来发现性能较差的问题数据库语句，这种反馈方式只能在数据库语句执行完成后或者业务处理高峰期才能将问题数据库语句暴露出来，还需要技术人员对每个数据库语句单独进行分析、优化、测试，执行效率低且排除准确率低，影响了各电信业务的正常运行。
发明内容
本发明实施例提供一种待优化数据库语句处理方法及装置，以待优化数据库语句确定的准确性与效率。
第一方面，本发明实施例提供一种待优化数据库语句处理方法，包括：
获取待处理电信业务对应的数据库语句集；
将所述数据库语句集输入至排序模型中进行排序，得到至少一排序结果，其中，所述排序模型是通过数据库训练语句集和数据库测试语句集综合训练得到的；
根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，其中，所述目标待优化数据库语句为所述数据库语句集中的语句；
将所述目标数据库语句发送至终端设备进行显示。
可选的，所述根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，包括：
根据集成学习组合规则中的平均法对所述至少一排序结果进行回归预测处理，得到所述待处理业务对应的目标待优化数据库语句。
可选的，在所述获取待处理电信业务对应的数据库语句集之前，还包括：
获取所述数据库训练语句集和所述数据库测试语句集，其中，所述数据库训练语句集中包含若干无需优化的第一数据库语句和若干不同优先级待优化的第二数据库语句；
将若干所述第二数据库语句作为输入，各所述第二数据库语句对应的优先级作为输出对排序学习模型进行训练，得到初始排序模型；
将所述数据库测试语句集输入至所述初始排序模型中进行测试，得到测试结果；
根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型。
可选的，所述测试结果为所述数据库测试语句集中各数据库测试语句的优先级，
则所述根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型，包括：
根据所述数据库测试语句集中各数据库测试语句的优先级对各数据库测试语句进行排序，得到排序后的数据库测试语句集；
从所述排序后的数据库测试语句集中依次获取预设数量的数据库测试语句，得到新的数据库测试语句集；
根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集；
将所述新的数据库测试语句集分别与若干所述新的数据库训练语句集进行组合，得到若干数据库组合训练语句集；
将所述若干数据库组合训练语句集依次输入至所述初始排序模型中进行训练，得到所述排序模型。
可选的，所述根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集，包括：
基于预设分组规则将所述新的数据库测试语句集进行分组，得到分组后的子数据库测试语句集；
将所述数据库训练语句集分别与各所述分组后的子数据库测试语句集进行组合，得到若干新的数据库训练语句集。
可选的，在所述将所述目标数据库语句发送至终端设备进行显示之后，还包括：
获取修改后的目标数据库语句；
根据所述修改后的目标数据库语句更新所述待处理电信业务对应的数据库语句集，得到更新后的待处理电信业务对应的数据库语句集；
运行所述更新后的待处理电信业务对应的数据库语句集，进而实现所述待处理电信业务。
第二方面，本发明实施例提供一种待优化数据库语句处理装置，包括：
获取模块，用于获取待处理电信业务对应的数据库语句集；
处理模块，用于将所述数据库语句集输入至排序模型中进行排序，得到至少一排序结果，其中，所述排序模型是通过数据库训练语句集和数据库测试语句集综合训练得到的；
所述处理模块，还用于根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，其中，所述目标待优化数据库语句为所述数据库语句集中的语句；
所述处理模块，还用于将所述目标数据库语句发送至终端设备进行显示。
第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的待优化数据库语句处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的待优化数据库语句处理方法。
第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的待优化数据库语句处理方法。
本发明实施例提供了一种待优化数据库语句处理方法及装置，采用上述方案后，能先获取待处理电信业务对应的数据库语句集，然后将数据库语句集输入至通过数据库训练语句集和数据库测试语句集综合训练得到的排序模型中进行排序，得到至少一排序结果，再根据集成学习组合规则对至少一排序结果进行处理，得到待处理电信业务对应的目标待优化数据库语句，并将该目标数据库语句发送至终端设备进行显示，通过将排序学习算法应用于数据库语句处理，把分类问题转换为排序问题，使用机器学习的思想解决排序问题，并在集成学习组合策略的基础上对排序学习模型的输出结果进行处理的方式，提高了待优化数据库语句确定的准确性，也提高了待优化数据库语句确定的效率，保证了各电信业务的正常运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的待优化数据库语句处理方法的应用系统的架构示意图；
图2为本发明实施例提供的待优化数据库语句处理方法的流程示意图；
图3为本发明另一实施例提供的待优化数据库语句处理方法的流程示意图；
图4为本发明实施例提供的排序模型的应用原理图；
图5为本发明实施例提供的集成学习组合规则的原理示意图；
图6为本发明实施例提供的待优化数据库语句处理装置的结构示意图；
图7为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例还能够包括除了图示或描述的那些实例以外的其他顺序实例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有技术中，业务量及数据量的快速增长使得通常只涉及几个简单数据库语句(例如，SQL语句)操作的小型应用慢慢向包含成千上万个数据库语句操作的大型应用转变，因此，在数据库系统运行过程中，常常会出现因数据库性能差而影响用户感知的情况。然而，现有技术中主要是通过使用该业务系统的前台人员、用户反馈系统运行速度慢或者系统层面的中央处理器等指标进行告警的方式来发现性能较差的问题数据库语句，这种反馈方式只能在数据库语句执行完成后或者业务处理高峰期才能将问题数据库语句暴露出来，还需要技术人员对每个数据库语句单独进行分析、优化、测试，执行效率低且排除准确率低。此外，现有技术中还可以通过在数据库语句进入生产环境前，根据数据库语句规则，采用人工方式手动对单条数据库语句进行分析，识别优化点并评估优先级，同样具有执行效率低且排除准确率低的问题，影响了各电信业务的正常运行。
图1为本发明实施例提供的待优化数据库语句处理方法的应用系统的架构示意图，如图1所示，所述应用系统可以包括数据库101、服务器102和终端设备103，所述数据库101中有若干数据库语句集，服务器102可以从数据库101中获取各数据库语句集，其中，数据库可以有多个，也可以有一个，即服务器102可以从多个数据库101中获取数据库语句集，也可以从一个数据库101中获取数据库语句集。服务器102获取到数据库语句集之后，可以基于训练好的排序模型对数据库语句集进行处理，最终得到目标待优化数据库语句，然后将该目标待优化数据库语句发送至终端设备103进行显示，以供运维人员进行查看，并对应进行处理。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明实施例提供的待优化数据库语句处理方法的流程示意图，本实施例的方法可以由服务器102执行。如图2所示，本实施例的方法，可以包括：
S201：获取待处理电信业务对应的数据库语句集。
在本实施例中，随着大数据时代的到来，电信行业需要处理的数据量越来越大，电信业务也越来越多。其中，每个电信业务均可以对应有数据库语句集，数据库语句集中包含若干数据库语句，用于实现该电信业务。
示例性的，数据库语句集可以为SQL Server数据库语句集，Oracle数据库语句集、MySQL数据库语句集、DB2数据库语句集等。
S202：将数据库语句集输入至排序模型中进行排序，得到至少一排序结果，其中，排序模型是通过数据库训练语句集和数据库测试语句集综合训练得到的。
在本实施例中，在获取到待处理电信业务对应的数据库语句集之后，可以将数据库语句集输入至预先训练好的排序模型中进行排序，得到至少一排序结果。
进一步的，排序结果可以有一个或多个，优选的，为了提高后续确定的待优化目标数据库语句的准确性，排序结果可以有多个。
S203：根据集成学习组合规则对至少一排序结果进行处理，得到待处理电信业务对应的目标待优化数据库语句，其中，目标待优化数据库语句为数据库语句集中的语句。
在本实施例中，若排序结果有多个，可以根据集成学习组合规则对多个排序结果进行处理，从数据库语句集中确定待处理电信业务对应的目标待优化数据库语句。此外，若排序结果有一个，也可以直接根据集成学习组合规则对该排序结果进行处理，进而从数据库语句集中确定待处理电信业务对应的目标待优化数据库语句，且确定的目标待优化数据库语句的准确性与排序结果有多个时的准确性一致。
进一步的，根据集成学习组合规则对至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，具体可以包括：
根据集成学习组合规则中的平均法对至少一排序结果进行回归预测处理，得到待处理业务对应的目标待优化数据库语句。
S204：将目标数据库语句发送至终端设备进行显示。
在本实施例中，在确定出目标数据库语句之后，可以将目标数据库语句发送至终端设备进行显示。其中，终端设备可以为远端运维人员对应的设备，且终端设备的数量可以根据实际应用场景自定义进行设置，在此不再详细进行限定。
采用上述方案后，能先获取待处理电信业务对应的数据库语句集，然后将数据库语句集输入至通过数据库训练语句集和数据库测试语句集综合训练得到的排序模型中进行排序，得到至少一排序结果，再根据集成学习组合规则对至少一排序结果进行处理，得到待处理电信业务对应的目标待优化数据库语句，并将该目标数据库语句发送至终端设备进行显示，通过将排序学习算法应用于数据库语句处理，把分类问题转换为排序问题，使用机器学习的思想解决排序问题，并在集成学习组合策略的基础上对排序学习模型的输出结果进行处理的方式，提高了待优化数据库语句确定的准确性，也提高了待优化数据库语句确定的效率，保证了各电信业务的正常运行。
基于图2的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
此外，在另一实施例中，在获取待处理电信业务对应的数据库语句集之前，还可以包括：
获取所述数据库训练语句集和所述数据库测试语句集，其中，所述数据库训练语句集中包含若干无需优化的第一数据库语句和若干不同优先级待优化的第二数据库语句。
将若干所述第二数据库语句作为输入，各所述第二数据库语句对应的优先级作为输出对排序学习模型进行训练，得到初始排序模型。
将所述数据库测试语句集输入至所述初始排序模型中进行测试，得到测试结果。
根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型。
在本实施例中，在识别待优化数据库语句之前，可以预先训练一排序模型，然后基于该排序模型对数据库语句集进行识别，最终确定出待优化的目标数据库语句。其中，在训练排序模型时，可以将排序学习应用于样本数据库语句(即数据库训练语句集和数据库测试语句集)处理中，把分类问题转换为排序问题，使用机器学习的思想解决排序问题，并在集成学习组合策略的基础上进行处理，来精准的获取待优化数据库语句。
进一步的，测试结果为数据库测试语句集中各数据库测试语句的优先级，则根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型，具体可以包括：
根据所述数据库测试语句集中各数据库测试语句的优先级对各数据库测试语句进行排序，得到排序后的数据库测试语句集。
从所述排序后的数据库测试语句集中依次获取预设数量的数据库测试语句，得到新的数据库测试语句集。
根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集。
将所述新的数据库测试语句集分别与若干所述新的数据库训练语句集进行组合，得到若干数据库组合训练语句集。
将所述若干数据库组合训练语句集依次输入至所述初始排序模型中进行训练，得到所述排序模型。
更进一步的，根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集，具体可以包括：
基于预设分组规则将所述新的数据库测试语句集进行分组，得到分组后的子数据库测试语句集。
将所述数据库训练语句集分别与各所述分组后的子数据库测试语句集进行组合，得到若干新的数据库训练语句集。
在本实施例中，图3为本发明另一实施例提供的待优化数据库语句处理方法的流程示意图，图4为本发明实施例提供的排序模型的应用原理图，如图3和图4所示，以SQL数据库语句为例，排序模型的具体训练过程可以为：
步骤(1)：提取SQL特征。收集SQL样本，从SQL样本中提取出每个SQL的特征。
步骤(2)：构建训练集和测试集。将收集的SQL样本划分为两个集合，即训练集TR和测试集TE，其中，训练集TR包含m个无需优化的SQL及n个不同优先级待优化的问题SQL，测试集TE包含待测试的SQL。
步骤(3)：采用排序学习算法训练排序模型。将训练集TR中每个SQL的特征作为排序模型的输入，将预先设定好的每个SQL的权值(权值代表待优化SQL优先级，权值越大，表示SQL的待优化优先级越高)作为排序模型的输出，采用排序学习算法对排序学习模型进行训练，获得构建好的排序模型M。
步骤(4)：构建新的测试集和新的训练集。把测试集TE输入到训练好的模型M中，经过模型训练，获得测试集TE中每个SQL的权值。按照SQL的权值大小对测试集TE中的SQL降序排序，抽取权值较大的前s个SQL作为新的测试集TS；将测试集TE随机分成t组，每组包含p个SQL，将步骤(2)中n个待优化优先级不同的问题SQL分别与t组SQL组合，形成t个新的训练集Vi，i＝1，2，...，t，其中，i为个数。
步骤(5)：组合测试集与训练集，通过排序学习模型，输出训练结果。将新的测试集TS分别与新的训练集Vi，i＝1，2，...，t进行组合，得到集合Wi，i＝1，2，...t。将Wi，i＝1，2，...t输入到排序模型M中进行训练，得到训练后的输出集合oi，i＝1，2，...t。
此外，图5为本发明实施例提供的集成学习组合规则的原理示意图，如图5所示，在得到训练后的输出集合之后，可以基于集成学习组合规则，对步骤(5)的输出结果进行处理。其中，可以采用集成学习组合策略中的平均法来处理回归预测问题，即可以采用表达式：
Figure BDA0003079828700000101
对输出集合oi，i＝1，2，...t来取算术平均值，进而得到最终的输出权值(即数据库语句的优先级)。
其中，上述SQL样本包含三种类型的SQL：(1)性能良好，无需优化的SQL；(2)不同优先级的待优化SQL；(3)待测试的SQL。
上述SQL特征包含：明确查询的字段，有无使用select*；有无使用开关条件(1＝1，1＝0，1>2等)；多表关联涉及的字段有无索引，类型是否一致；where条件涉及的过滤字段有无索引；是否使用左外连接或右外连接；执行insert操作时是否指定字段名；是否存在order by，group by语句；表本身的特性(是否是大表)；SQL语句书写规范程度；SQL中使用in操作符连接的集合元素数量。
此外，在另一实施例中，在将所述目标数据库语句发送至终端设备进行显示之后，还可以包括：
获取修改后的目标数据库语句。
根据所述修改后的目标数据库语句更新所述待处理电信业务对应的数据库语句集，得到更新后的待处理电信业务对应的数据库语句集。
运行所述更新后的待处理电信业务对应的数据库语句集，进而实现所述待处理电信业务。
在本实施例中，在终端设备显示目标数据库语句之后，运维人员可以对待优化的目标数据库语句进行优化，服务器可以获取到优化后的目标数据库语句，然后可以根据优化后的目标数据库语句得到更新后的待处理电信业务对应的数据库语句集，并运行该更新后的待处理电信业务对应的数据库语句集，进而实现待处理电信业务。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置，图6为本发明实施例提供的待优化数据库语句处理装置的结构示意图，如图6所示，可以包括：
获取模块601，用于获取待处理电信业务对应的数据库语句集。
处理模块602，用于将所述数据库语句集输入至排序模型中进行排序，得到至少一排序结果，其中，所述排序模型是通过数据库训练语句集和数据库测试语句集综合训练得到的。
所述处理模块602，还用于根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，其中，所述目标待优化数据库语句为所述数据库语句集中的语句。
在本实施例中，所述处理模块602，还用于：
根据集成学习组合规则中的平均法对所述至少一排序结果进行回归预测处理，得到所述待处理业务对应的目标待优化数据库语句。
所述处理模块602，还用于将所述目标数据库语句发送至终端设备进行显示。
此外，在另一实施例中，所述处理模块602，还用于：
获取所述数据库训练语句集和所述数据库测试语句集，其中，所述数据库训练语句集中包含若干无需优化的第一数据库语句和若干不同优先级待优化的第二数据库语句。
将若干所述第二数据库语句作为输入，各所述第二数据库语句对应的优先级作为输出对排序学习模型进行训练，得到初始排序模型。
将所述数据库测试语句集输入至所述初始排序模型中进行测试，得到测试结果。
根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型。
进一步的，所述测试结果为所述数据库测试语句集中各数据库测试语句的优先级，则所述处理模块602，还用于：
根据所述数据库测试语句集中各数据库测试语句的优先级对各数据库测试语句进行排序，得到排序后的数据库测试语句集。
从所述排序后的数据库测试语句集中依次获取预设数量的数据库测试语句，得到新的数据库测试语句集。
根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集。
将所述新的数据库测试语句集分别与若干所述新的数据库训练语句集进行组合，得到若干数据库组合训练语句集。
将所述若干数据库组合训练语句集依次输入至所述初始排序模型中进行训练，得到所述排序模型。
进一步的，所述处理模块602，还用于：
基于预设分组规则将所述新的数据库测试语句集进行分组，得到分组后的子数据库测试语句集。
将所述数据库训练语句集分别与各所述分组后的子数据库测试语句集进行组合，得到若干新的数据库训练语句集。
此外，在另一实施例中，所述处理模块602，还用于：
获取修改后的目标数据库语句。
根据所述修改后的目标数据库语句更新所述待处理电信业务对应的数据库语句集，得到更新后的待处理电信业务对应的数据库语句集。
运行所述更新后的待处理电信业务对应的数据库语句集，进而实现所述待处理电信业务。
本发明实施例提供的装置，可以实现上述如图2所示的实施例的方法，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的电子设备的硬件结构示意图，如图7所示，本实施例提供的设备700包括：至少一个处理器701和存储器702。其中，处理器701、存储器702通过总线703连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行上述方法实施例中的方法。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的待优化数据库语句处理方法。
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上所述的待优化数据库语句处理方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种待优化数据库语句处理方法，其特征在于，包括：
获取待处理电信业务对应的数据库语句集；
将所述数据库语句集输入至排序模型中进行排序，得到至少一排序结果，其中，所述排序模型是通过数据库训练语句集和数据库测试语句集综合训练得到的；
根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，其中，所述目标待优化数据库语句为所述数据库语句集中的语句；
将所述目标待优化数据库语句发送至终端设备进行显示；
所述根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，包括：
根据集成学习组合规则中的平均法对所述至少一排序结果进行回归预测处理，得到所述待处理电信业务对应的目标待优化数据库语句；
在所述获取待处理电信业务对应的数据库语句集之前，还包括：
获取所述数据库训练语句集和所述数据库测试语句集，其中，所述数据库训练语句集中包含若干无需优化的第一数据库语句和若干不同优先级待优化的第二数据库语句；
将若干所述第二数据库语句作为输入，各所述第二数据库语句对应的优先级作为输出对排序学习模型进行训练，得到初始排序模型；
将所述数据库测试语句集输入至所述初始排序模型中进行测试，得到测试结果；
根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型；
所述测试结果为所述数据库测试语句集中各数据库测试语句的优先级，
则所述根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型，包括：
根据所述数据库测试语句集中各数据库测试语句的优先级对各数据库测试语句进行排序，得到排序后的数据库测试语句集；
从所述排序后的数据库测试语句集中依次获取预设数量的数据库测试语句，得到新的数据库测试语句集；
根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集；
将所述新的数据库测试语句集分别与若干所述新的数据库训练语句集进行组合，得到若干数据库组合训练语句集；
将所述若干数据库组合训练语句集依次输入至所述初始排序模型中进行训练，得到所述排序模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集，包括：
基于预设分组规则将所述新的数据库测试语句集进行分组，得到分组后的子数据库测试语句集；
将所述数据库训练语句集分别与各所述分组后的子数据库测试语句集进行组合，得到若干新的数据库训练语句集。
3.根据权利要求1所述的方法，其特征在于，在所述将所述目标待优化数据库语句发送至终端设备进行显示之后，还包括：
获取修改后的目标数据库语句；
根据所述修改后的目标数据库语句更新所述待处理电信业务对应的数据库语句集，得到更新后的待处理电信业务对应的数据库语句集；
运行所述更新后的待处理电信业务对应的数据库语句集，进而实现所述待处理电信业务。
4.一种待优化数据库语句处理装置，其特征在于，包括：
获取模块，用于获取待处理电信业务对应的数据库语句集；
处理模块，用于将所述数据库语句集输入至排序模型中进行排序，得到至少一排序结果，其中，所述排序模型是通过数据库训练语句集和数据库测试语句集综合训练得到的；
所述处理模块，还用于根据集成学习组合规则对所述至少一排序结果进行处理，得到所述待处理电信业务对应的目标待优化数据库语句，其中，所述目标待优化数据库语句为所述数据库语句集中的语句；
所述处理模块，还用于将所述目标待优化数据库语句发送至终端设备进行显示；
所述处理模块，还用于根据集成学习组合规则中的平均法对所述至少一排序结果进行回归预测处理，得到所述待处理电信业务对应的目标待优化数据库语句；
所述处理模块，还用于获取所述数据库训练语句集和所述数据库测试语句集，其中，所述数据库训练语句集中包含若干无需优化的第一数据库语句和若干不同优先级待优化的第二数据库语句；将若干所述第二数据库语句作为输入，各所述第二数据库语句对应的优先级作为输出对排序学习模型进行训练，得到初始排序模型；将所述数据库测试语句集输入至所述初始排序模型中进行测试，得到测试结果；根据预设处理规则对所述测试结果、所述数据库训练语句集和所述初始排序模型进行处理，得到所述排序模型；
所述测试结果为所述数据库测试语句集中各数据库测试语句的优先级，则所述处理模块，还用于根据所述数据库测试语句集中各数据库测试语句的优先级对各数据库测试语句进行排序，得到排序后的数据库测试语句集；从所述排序后的数据库测试语句集中依次获取预设数量的数据库测试语句，得到新的数据库测试语句集；根据所述新的数据库测试语句集和所述数据库训练语句集进行分组处理，得到若干新的数据库训练语句集；将所述新的数据库测试语句集分别与若干所述新的数据库训练语句集进行组合，得到若干数据库组合训练语句集；将所述若干数据库组合训练语句集依次输入至所述初始排序模型中进行训练，得到所述排序模型。
5.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至3任一项所述的待优化数据库语句处理方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至3任一项所述的待优化数据库语句处理方法。
CN202110563309.1A 2021-05-24 2021-05-24 待优化数据库语句处理方法及装置 Active CN113268494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563309.1A CN113268494B (zh) 2021-05-24 2021-05-24 待优化数据库语句处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563309.1A CN113268494B (zh) 2021-05-24 2021-05-24 待优化数据库语句处理方法及装置

Publications (2)

Publication Number Publication Date
CN113268494A CN113268494A (zh) 2021-08-17
CN113268494B true CN113268494B (zh) 2023-06-02

Family

ID=77232350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563309.1A Active CN113268494B (zh) 2021-05-24 2021-05-24 待优化数据库语句处理方法及装置

Country Status (1)

Country Link
CN (1) CN113268494B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389251A (zh) * 2014-08-28 2016-03-09 Sap欧洲公司 结构化查询语言调试器
US9324036B1 (en) * 2013-06-29 2016-04-26 Emc Corporation Framework for calculating grouped optimization algorithms within a distributed data store
CN105718593A (zh) * 2016-01-28 2016-06-29 长春师范大学 一种数据库查询优化方法及系统
CN109947649A (zh) * 2019-03-20 2019-06-28 北京邮电大学 一种回归测试用例的排序方法及装置
CN110109822A (zh) * 2019-03-30 2019-08-09 华南理工大学 基于蚁群算法进行测试用例优先级排序的回归测试方法
CN110968593A (zh) * 2019-12-10 2020-04-07 上海达梦数据库有限公司 数据库sql语句优化方法、装置、设备和存储介质
CN111400338A (zh) * 2020-03-04 2020-07-10 平安医疗健康管理股份有限公司 Sql优化方法、装置、存储介质及计算机设备
CN111723091A (zh) * 2020-05-25 2020-09-29 中国建设银行股份有限公司 基于Oracle数据库的索引处理方法、系统、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9324036B1 (en) * 2013-06-29 2016-04-26 Emc Corporation Framework for calculating grouped optimization algorithms within a distributed data store
CN105389251A (zh) * 2014-08-28 2016-03-09 Sap欧洲公司 结构化查询语言调试器
CN105718593A (zh) * 2016-01-28 2016-06-29 长春师范大学 一种数据库查询优化方法及系统
CN109947649A (zh) * 2019-03-20 2019-06-28 北京邮电大学 一种回归测试用例的排序方法及装置
CN110109822A (zh) * 2019-03-30 2019-08-09 华南理工大学 基于蚁群算法进行测试用例优先级排序的回归测试方法
CN110968593A (zh) * 2019-12-10 2020-04-07 上海达梦数据库有限公司 数据库sql语句优化方法、装置、设备和存储介质
CN111400338A (zh) * 2020-03-04 2020-07-10 平安医疗健康管理股份有限公司 Sql优化方法、装置、存储介质及计算机设备
CN111723091A (zh) * 2020-05-25 2020-09-29 中国建设银行股份有限公司 基于Oracle数据库的索引处理方法、系统、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xplus: A SQL-Tuning-Aware Query Optimizer;Herodotos Herodotou et al.;《Proceedings of the VLDB Endowment》;1149-1160 *
数据库优化技术研究;柳培林;《中国管理信息化》;140-141 *

Also Published As

Publication number Publication date
CN113268494A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
US11526799B2 (en) Identification and application of hyperparameters for machine learning
CN108683530B (zh) 多维度数据的数据分析方法、装置及存储介质
US10621492B2 (en) Multiple record linkage algorithm selector
CN110708285B (zh) 流量监控方法、装置、介质及电子设备
CN108182200B (zh) 基于语义相似度的关键词拓展方法和装置
CN111178701A (zh) 一种基于特征衍生技术的风险控制方法方法、装置和电子设备
CN110908892A (zh) 接口数据测试方法、装置及可读存储介质
CN112529112B (zh) 一种矿物识别的方法和装置
CN113268494B (zh) 待优化数据库语句处理方法及装置
CN112364185A (zh) 多媒体资源的特征确定方法、装置、电子设备和存储介质
CN111125185A (zh) 数据处理方法、装置、介质及电子设备
US10169418B2 (en) Deriving a multi-pass matching algorithm for data de-duplication
CN111125311A (zh) 检验信息归一处理的方法、装置、存储介质及电子设备
US9817855B2 (en) Method and system for determining a measure of overlap between data entries
CN107368464B (zh) 一种获取招标产品信息的方法及装置
CN115576834A (zh) 支撑故障还原的软件测试复用方法、系统、终端及介质
CN109885504B (zh) 推荐系统的测试方法、装置、介质及电子设备
CN110895529B (zh) 结构化查询语言的处理方法及相关装置
CN106528577B (zh) 一种设置待清理文件的方法和装置
CN113360765B (zh) 事件信息的处理方法、装置、电子设备和介质
CN112417300A (zh) 产品漏洞方案查询方法、装置、电子设备及存储介质
CN114662574A (zh) 决策树的构建方法和装置、存储介质及电子装置
CN113379551A (zh) 交易数据分析方法、装置及电子设备
CN115640176A (zh) 一种计算机设备性能分析方法、装置、终端及介质
CN117453857A (zh) 召回模型训练方法、数据搜索方法及相关装置和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant