CN113204564B - 一种数据库高频sql查询方法、系统和存储介质 - Google Patents
一种数据库高频sql查询方法、系统和存储介质 Download PDFInfo
- Publication number
- CN113204564B CN113204564B CN202110553953.0A CN202110553953A CN113204564B CN 113204564 B CN113204564 B CN 113204564B CN 202110553953 A CN202110553953 A CN 202110553953A CN 113204564 B CN113204564 B CN 113204564B
- Authority
- CN
- China
- Prior art keywords
- sql
- result set
- data
- frequency
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 238000013500 data storage Methods 0.000 claims description 27
- 230000001960 triggered effect Effects 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims 1
- 230000001172 regenerating effect Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明涉及一种数据库高频SQL查询方法、系统和存储介质，该方法包括以下步骤：S1：在数据库中抓取SQL相关信息，创建存储表；S2：创建触发器将SQL执行后的结果集存储到对应存储表中，触发器实时更新结果集并将更新后的结果集同步到存储表；S3：建立SQL ID与存储表之间的映射关系，生成映射表；S4：将存储表中的结果集数据进行分层存储。本发明减少SQL重复解析和重新生成结果集的时间，有效提高数据库高频SQL查询效率。
Description
技术领域
本发明属于数据库技术领域，具体涉及一种数据库高频SQL查询方法、系统和存储介质。
背景技术
在数据库中通过SQL对表进行查询或多个表关联查询后的结果集可临时缓存到内存中，但随着内存中数据的增多，内存不能无限的缓存结果集，默认最近未被使用过的结果集会被挤出内存。如果再次对这个表或多个表进行关联查询时，就无法从内存中获取到结果集，需要从磁盘读取结果集再到内存中，从磁盘中读取数据的效率比在内存中读取的效率低很多。如果查询的结果集数据量比较大，可能会非常耗时，浪费时间。
如何将执行频率比较高的SQL查询结果集永久保存起来，以减少SQL的重复解析和重新生成结果集的时间；如何在内存中对缓存的结果集进一步优化提高查询效率；如何实现结果集的分层存储，以缓解内存空间资源的压力。以上为现有技术需要解决的问题。
有鉴于此,本发明提供一种数据库高频SQL查询方法、系统和存储介质,以解决现有技术存在的缺陷。
发明内容
针对现有数据库高频SQL查询效率低的问题，本发明提供一种数据库高频SQL查询方法、系统和存储介质，将执行频率比较高的SQL查询结果集永久保存起来，减少SQL的重复解析和重新生成结果集的时间，对缓存的结果集进一步优化提高查询效率，实现结果集的分层存储以缓解内存空间资源的压力。
为实现上述目的，本发明给出以下技术方案：
第一方面，本发明提供一种数据库高频SQL查询方法，包括以下步骤：
S1：在数据库中抓取SQL相关信息，创建存储表；
S2：创建触发器将SQL执行后的结果集存储到对应存储表中，触发器实时更新结果集并将更新后的结果集同步到存储表；
S3：建立SQL ID与存储表之间的映射关系，生成映射表；
S4：将存储表中的结果集数据进行分层存储。
作为优选，所述步骤S4完成后，触发存储表使得表中的结果集数据发生强制落盘行为，将数据备份到磁盘中；通过该步骤将结果集数据在内存、磁盘中各存储一份，保证数据不会丢失。
作为优选，所述步骤S1包括以下步骤：
在数据库中实时扫描获取SQL相关信息并记录下来；根据SQL的执行频率将SQL划分为高频SQL、中频SQL、中低频SQL和低频SQL；
分别为高频SQL、中频SQL和中低频SQL创建存储表，存储表的表名为SQL对应的SQLID。
通过步骤S1对SQL进行捕获,获取SQL ID、SQL执行次数等信息，并根据执行频率对SQL进行划分，为执行频率较高的SQL建立存储表。
作为优选，所述步骤S2包括以下步骤:
S2.1：创建触发器,触发器通过SQL ID跟踪该SQL的执行；
S2.2：该SQL执行完毕后，触发器将执行完毕的结果集数据导入以SQL ID命名的存储表中，做一次全量同步；
S2.3：判断SQL所查询的表数据是否发生变化，判断结果为是则触发器即时触发一次SQL执行，并将执行的结果集记录到表名为SQL ID的存储表中，新的结果集将覆盖存储表中原有的结果集，判断结果为否则继续判断SQL所查询的表数据是否发生变化。
通过步骤S2将高频SQL、中频SQL和中低频SQL执行后的结果集数据记录在存储表中，并且当SQL所查询的表数据发生变化后将即时触发数据的同步，保证用户在对结果集数据进行查询时都是最新的数据，不会发生SQL所查询的表数据变化但结果集数据未更新的情况，确保数据的准确性。
作为优选，所述步骤S4包括以下步骤：
S4.1：在数据库的内存区域创建结果集缓存区作为热数据存储区，将AEP非易失性内存作为温数据存储区，将SSD或HDD硬盘作为冷数据存储区；
S4.2：将存储表中的结果集数据分别存储到热数据存储区、温数据存储区和冷数据存储区；结果集数据进行分层存储能够进一步缓解内存的存储压力；
S4.3：分层存储后，每层的结果集数据均进行分块，其中每个块包括两部分，前部为索引，后部为对应的数据，扫描索引能够快速找到对应的数据。对结果集数据进行分块能够缩短结果集查找时间，进一步提高结果集查找效率。
作为优选，所述步骤S4.2的存储过程如下：
第一步：将高频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；
第二步：高频SQL对应的结果集数据存储完成后，将中频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；
第三步：中频SQL对应的结果集数据存储完成后，将中低频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；
其中结果集缓存区中的数据为热数据，读取速度最快，AEP非易失性内存中的数据为温数据，读取速度比结果集缓存区慢，SSD或HDD硬盘中的数据为冷数据，读取速度最慢；
优先存储高频SQL的结果集数据，然后存储中频SQL的结果集数据，最后存储中低频SQL的结果集数据，加快高频SQL结果集数据的读取速度，进一步提高高频SQL查询效率。
第二方面，本发明提供一种数据库高频SQL查询系统，包括：
SQL捕获模块：在数据库中创建第一存储过程，实时抓取SQL相关信息，创建存储表；
存储模块：在数据库中创建触发器将SQL执行后的结果集存储到对应存储表中，触发器实时更新结果集并将更新后的结果集同步到存储表；
映射模块：在数据库中创建第二存储过程，建立SQL ID与存储表之间的映射关系，生成映射表；
缓存模块：在数据库中创建第三存储过程，将存储表中的结果集数据进行分层存储。
第三方面，本发明提供一种计算机存储介质，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述方法。
第四方面，提供一种终端，包括：
处理器和存储器，其中，所述存储器用于存储计算机程序，所述处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述方法。
本发明的有益效果在于，将执行频率比较高的SQL查询结果集存储到存储表中保存起来，同时实时更新结果集并将更新后的结果集同步到存储表，将SQL ID和存储表进行映射，使用户下次执行该SQL时能快速找到对应的存储表，直接获取结果集数据，减少SQL重复解析和重新生成结果集的时间；在内存中对缓存的结果集进一步优化提高查询效率；实现结果集的分层存储，以缓解内存空间资源的压力。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的一种数据库高频SQL查询方法的流程图。
图2是步骤S2的流程图。
图3是步骤S4的流程图。
图4是本发明实施例2提供的一种数据库高频SQL查询系统的原理框图。
其中，1-SQL捕获模块，2-存储模块，3-映射模块，4-缓存模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面对本发明中出现的关键术语进行解释：
SQL(Structured query Language，结构化查询语言)，一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。
实施例1：
如图1至3所示，本实施例提供一种数据库高频SQL查询方法，包括以下步骤：
S1：在数据库中抓取SQL相关信息，创建存储表；
所述步骤S1包括以下步骤：
在数据库中实时扫描获取SQL相关信息并记录下来；在数据库中创建Job，数据库视图中通过Job实时扫描SQL会话视图，获取SQL相关信息放入信息记录表中，信息记录表中字段为序号、SQL ID、SQL执行计划、SQL开始执行时间和SQL执行次数，SQL每执行1次则SQL执行次数加1。
根据SQL的执行频率将SQL划分为高频SQL、中频SQL、中低频SQL和低频SQL；统计SQL在1周内成功执行的次数，1周内SQL成功执行次数小于等于10则划分为低频，SQL成功执行次数大于10并且小于等于30则划分为中低频，SQL成功执行次数大于30并且小于等于50则划分为中频，SQL成功执行次数大于50则划分为高频；创建频段记录表记录SQL所在的频段，频段记录表的字段为序号、SQL ID、SQL执行计划、SQL执行所在的频段。
分别为高频SQL、中频SQL和中低频SQL创建存储表，存储表的表名为SQL对应的SQLID。
通过步骤S1对SQL进行捕获,获取SQL ID、SQL执行次数等信息，并根据执行频率对SQL进行划分，为执行频率较高的SQL建立存储表。
S2：创建触发器将SQL执行后的结果集存储到对应存储表中，触发器实时更新结果集并将更新后的结果集同步到存储表；
所述步骤S2包括以下步骤:
S2.1：创建触发器,触发器通过SQL ID跟踪该SQL的执行；
S2.2：通过数据库会话视图的执行完成时间判定该SQL执行完毕后，触发器将SQL执行完毕的结果集数据导入以SQL ID命名的存储表中，做一次全量同步；
S2.3：判断SQL所查询的表数据是否发生变化，比如进行增、删、改操作，判断结果为是则触发器即时触发一次SQL执行，并将执行的结果集记录到表名为SQL ID的存储表中，新的结果集将覆盖存储表中原有的结果集，判断结果为否则继续判断SQL所查询的表数据是否发生变化。
通过步骤S2将高频SQL、中频SQL和中低频SQL执行后的结果集数据记录在存储表中，并且当SQL所查询的表数据发生变化后将即时触发数据的同步，保证用户在对结果集数据进行查询时都是最新的数据，不会发生SQL所查询的表数据变化但结果集数据未更新的情况，确保数据的准确性。
S3：建立SQL ID与存储表之间的映射关系，生成映射表；映射表的字段为序号、SQLID、对应存储表的表名、SQL执行计划；通过映射表建立SQL ID与结果集的一一对应关系，进行高频SQL、中频SQL以及中低频SQL查询时可以通过SQL ID快速找到对应的存储表，快速获取结果集数据。
S4：将存储表中的结果集数据进行分层存储；
所述步骤S4包括以下步骤：
S4.1：在数据库的内存区域创建结果集缓存区作为热数据存储区，将AEP非易失性内存作为温数据存储区，将SSD或HDD硬盘作为冷数据存储区；
S4.2：将存储表中的结果集数据分别存储到热数据存储区、温数据存储区和冷数据存储区，结果集数据进行分层存储能够进一步缓解内存的存储压力，存储过程如下：
第一步：将高频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；第二步：高频SQL对应的结果集数据存储完成后，将中频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；第三步：中频SQL对应的结果集数据存储完成后，将中低频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；其中结果集缓存区中的数据为热数据，读取速度最快，AEP非易失性内存中的数据为温数据，读取速度比结果集缓存区慢，SSD或HDD硬盘中的数据为冷数据，读取速度最慢；优先存储高频SQL的结果集数据，然后存储中频SQL的结果集数据，最后存储中低频SQL的结果集数据，加快高频SQL结果集数据的读取速度，进一步提高高频SQL查询效率。
S4.3：分层存储后，设置结果集块大小，每层的结果集数据均进行分块，其中每个块包括两部分，前部为索引，后部为对应的数据，扫描索引能够快速找到对应的数据。对结果集数据进行分块能够缩短结果集查找时间，进一步提高结果集查找效率。
所述步骤S4完成后，触发存储表使得表中的结果集数据发生强制落盘行为，将数据备份到磁盘中；通过该步骤将结果集数据在内存、磁盘中各存储一份，保证数据不会丢失。
实施例2：
如图4所示，本实施例提供一种数据库高频SQL查询系统，包括：
SQL捕获模块1：在数据库中创建第一存储过程，实时抓取SQL相关信息，创建存储表；创建Job实时扫描SQL会话视图抓取SQL相关信息，根据SQL执行频率将其划分为高频、中频、中低频和低频，分别为高频、中频和中低频的SQL创建存储表。
存储模块2：在数据库中创建触发器将SQL执行后的结果集存储到对应存储表中，触发器实时更新结果集并将更新后的结果集同步到存储表；
映射模块3：在数据库中创建第二存储过程，建立SQL ID与存储表之间的映射关系，生成映射表；
缓存模块4：在数据库中创建第三存储过程，将存储表中的结果集数据进行分层存储。
实施例2的客户端查询流程如下：首先客户端向数据库发起SQL查询；数据库接收到SQL后，查找并对比该SQL对应的SQL ID在映射模块的映射表中是否存在；如果映射表中存在该SQL ID，则在映射表中通过SQL ID快速找到对应的存储表，存储表中存储有SQL的结果集数据，在内存中查询存储表数据，获取结果集数据，无需对该SQL重新解析生成执行计划；如果映射表中不存在该SQL ID，说明该SQL为低频SQL，需要数据库按照正常的SQL执行步骤依次进行SQL解析、生成SQL执行计划、SQL执行、生成结果集、输出结果。
实施例3：
本实施例提供一种计算机存储介质，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述方法。
实施例4：
本实施例提供一种终端，包括：
处理器和存储器，其中，所述存储器用于存储计算机程序，所述处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述方法。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种数据库高频SQL查询方法，其特征在于，包括以下步骤：S1：在数据库中抓取SQL相关信息，创建存储表；S2：创建触发器将SQL执行后的结果集存储到对应存储表中，触发器实时更新结果集并将更新后的结果集同步到存储表；S3：建立SQLID与存储表之间的映射关系，生成映射表；S4：将存储表中的结果集数据进行分层存储；
所述步骤S1包括以下步骤：在数据库中实时扫描获取SQL相关信息并记录下来；根据SQL的执行频率将SQL划分为高频SQL、中频SQL、中低频SQL和低频SQL；分别为高频SQL、中频SQL和中低频SQL创建存储表，存储表的表名为SQL对应的SQLID；
所述步骤S4包括以下步骤：S4.1：在数据库的内存区域创建结果集缓存区作为热数据存储区，将AEP非易失性内存作为温数据存储区，将SSD或HDD硬盘作为冷数据存储区；S4.2：将存储表中的结果集数据分别存储到热数据存储区、温数据存储区和冷数据存储区；S4.3：分层存储后，每层的结果集数据均进行分块，其中每个块包括两部分，前部为索引，后部为对应的数据，扫描索引能够快速找到对应的数据；
所述步骤S4.2的存储过程如下：第一步：将高频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；第二步：高频SQL对应的结果集数据存储完成后，将中频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；第三步：中频SQL对应的结果集数据存储完成后，将中低频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；
其中结果集缓存区中的数据为热数据，读取速度最快，AEP非易失性内存中的数据为温数据，读取速度比结果集缓存区慢，SSD或HDD硬盘中的数据为冷数据，读取速度最慢。
2.根据权利要求1所述的一种数据库高频SQL查询方法，其特征在于，所述步骤S4完成后，触发存储表使得表中的结果集数据发生强制落盘行为，将数据备份到磁盘中。
3.根据权利要求2所述的一种数据库高频SQL查询方法，其特征在于，所述步骤S2包括以下步骤:S2.1：创建触发器,触发器通过SQLID跟踪该SQL的执行；S2.2：该SQL执行完毕后，触发器将执行完毕的结果集数据导入以SQLID命名的存储表中，做一次全量同步；S2.3：判断SQL所查询的表数据是否发生变化，判断结果为是则触发器即时触发一次SQL执行，并将执行的结果集记录到表名为SQLID的存储表中，新的结果集将覆盖存储表中原有的结果集，判断结果为否则继续判断SQL所查询的表数据是否发生变化。
4.一种数据库高频SQL查询系统，其特征在于，该系统包括：SQL捕获模块：在数据库中创建第一存储过程，实时抓取SQL相关信息，创建存储表；存储模块：在数据库中创建触发器将SQL执行后的结果集存储到对应存储表中，触发器实时更新结果集并将更新后的结果集同步到存储表；映射模块：在数据库中创建第二存储过程，建立SQL ID与存储表之间的映射关系，生成映射表；缓存模块：在数据库中创建第三存储过程，将存储表中的结果集数据进行分层存储；
所述实时抓取SQL相关信息，创建存储表包括：在数据库中实时扫描获取SQL相关信息并记录下来；根据SQL的执行频率将SQL划分为高频SQL、中频SQL、中低频SQL和低频SQL；分别为高频SQL、中频SQL和中低频SQL创建存储表，存储表的表名为SQL对应的SQLID；
所述将存储表中的结果集数据进行分层存储包括以下步骤：在数据库的内存区域创建结果集缓存区作为热数据存储区，将AEP非易失性内存作为温数据存储区，将SSD或HDD硬盘作为冷数据存储区；将存储表中的结果集数据分别存储到热数据存储区、温数据存储区和冷数据存储区；分层存储后，每层的结果集数据均进行分块，其中每个块包括两部分，前部为索引，后部为对应的数据，扫描索引能够快速找到对应的数据；
所述将存储表中的结果集数据分别存储到热数据存储区、温数据存储区和冷数据存储区的存储过程包括：第一步：将高频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；第二步：高频SQL对应的结果集数据存储完成后，将中频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；第三步：中频SQL对应的结果集数据存储完成后，将中低频SQL对应的结果集数据先存放在结果集缓存区，结果集缓存区空间已满后存放在AEP非易失性内存中，AEP非易失性内存空间已满后存放在SSD或HDD硬盘中；
其中结果集缓存区中的数据为热数据，读取速度最快，AEP非易失性内存中的数据为温数据，读取速度比结果集缓存区慢，SSD或HDD硬盘中的数据为冷数据，读取速度最慢。
5.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-3中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110553953.0A CN113204564B (zh) | 2021-05-20 | 2021-05-20 | 一种数据库高频sql查询方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110553953.0A CN113204564B (zh) | 2021-05-20 | 2021-05-20 | 一种数据库高频sql查询方法、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113204564A CN113204564A (zh) | 2021-08-03 |
| CN113204564B true CN113204564B (zh) | 2023-02-28 |
Family
ID=77032230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110553953.0A Active CN113204564B (zh) | 2021-05-20 | 2021-05-20 | 一种数据库高频sql查询方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113204564B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850271A (zh) * | 2021-08-19 | 2021-12-28 | 北京百度网讯科技有限公司 | 在线特征库的构建方法、装置和电子设备 |
| CN114138776A (zh) * | 2021-11-01 | 2022-03-04 | 杭州欧若数网科技有限公司 | 图结构和图属性分离设计的方法、系统、装置和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1561496A (zh) * | 2001-09-28 | 2005-01-05 | 甲骨文国际公司 | 用于访问关系型数据库系统中的分层数据的高效索引结构 |
| CN105786918A (zh) * | 2014-12-26 | 2016-07-20 | 亿阳信通股份有限公司 | 基于数据载入存储空间的数据查询方法和装置 |
| CN108009250A (zh) * | 2017-12-01 | 2018-05-08 | 武汉斗鱼网络科技有限公司 | 一种多分类赛事数据缓存建立、查询方法及装置 |
| CN108021702A (zh) * | 2017-12-26 | 2018-05-11 | 百度在线网络技术（北京）有限公司 | 基于LSM-tree的分级存储方法、装置、OLAP数据库系统及介质 |
| CN108536839A (zh) * | 2018-04-13 | 2018-09-14 | 郑州云海信息技术有限公司 | 数据库数据导出方法、装置、设备及计算机可读存储介质 |
| CN111475485A (zh) * | 2020-04-01 | 2020-07-31 | 苏州浪潮智能科技有限公司 | 基于pmm的分布式mpp数据库快速持久化方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10503736B2 (en) * | 2006-07-21 | 2019-12-10 | International Business Machines Corporation | Representing a group hierarchy structure in a relational database |
| TW201113731A (en) * | 2009-10-15 | 2011-04-16 | Inst Information Industry | Data query method, data query system and computer readable and writable recording medium |
| US10248693B2 (en) * | 2016-04-27 | 2019-04-02 | Sap Se | Multi-layered row mapping data structure in a database system |
| CN107273506B (zh) * | 2017-06-19 | 2020-06-16 | 西安电子科技大学 | 一种数据库多表联合查询的方法 |
| CN111400346A (zh) * | 2020-03-13 | 2020-07-10 | 苏州浪潮智能科技有限公司 | 一种提升数据库一体机执行效率的方法、设备、装置和介质 |
| CN112035498B (zh) * | 2020-08-31 | 2023-09-05 | 北京奇艺世纪科技有限公司 | 数据块调度方法、装置、调度层节点及存储层节点 |
| CN112685446B (zh) * | 2020-12-31 | 2023-07-25 | 上海梦鱼信息科技有限公司 | 通过Elasticsearch数据库的复杂SQL查询方法、装置、处理器及存储介质 |
-
2021
- 2021-05-20 CN CN202110553953.0A patent/CN113204564B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1561496A (zh) * | 2001-09-28 | 2005-01-05 | 甲骨文国际公司 | 用于访问关系型数据库系统中的分层数据的高效索引结构 |
| CN105786918A (zh) * | 2014-12-26 | 2016-07-20 | 亿阳信通股份有限公司 | 基于数据载入存储空间的数据查询方法和装置 |
| CN108009250A (zh) * | 2017-12-01 | 2018-05-08 | 武汉斗鱼网络科技有限公司 | 一种多分类赛事数据缓存建立、查询方法及装置 |
| CN108021702A (zh) * | 2017-12-26 | 2018-05-11 | 百度在线网络技术（北京）有限公司 | 基于LSM-tree的分级存储方法、装置、OLAP数据库系统及介质 |
| CN108536839A (zh) * | 2018-04-13 | 2018-09-14 | 郑州云海信息技术有限公司 | 数据库数据导出方法、装置、设备及计算机可读存储介质 |
| CN111475485A (zh) * | 2020-04-01 | 2020-07-31 | 苏州浪潮智能科技有限公司 | 基于pmm的分布式mpp数据库快速持久化方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于HBase和内存数据库的索引和查询技术研究与系统实现;周文辉;《中国优秀硕士学位论文全文数据库》;20160815;全文 * |
| 数据仓库分层存储技术揭秘;沄浩、士远;《思否开发者论坛》;20210408;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113204564A (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109213772B (zh) | 数据存储方法及NVMe存储系统 | |
| CN113297136B (zh) | 一种面向lsm树的键值存储方法和存储系统 | |
| CN102364474B (zh) | 用于机群文件系统的元数据存储系统和管理方法 | |
| CN102725752B (zh) | 处理脏数据的方法及装置 | |
| CN110389942B (zh) | 一种无垃圾回收的键值分离存储方法和系统 | |
| CN113204564B (zh) | 一种数据库高频sql查询方法、系统和存储介质 | |
| CN110362632A (zh) | 一种数据同步方法、装置、设备及计算机可读存储介质 | |
| WO2018040167A1 (zh) | 数据缓存方法及装置 | |
| CN110309233A (zh) | 数据存储的方法、装置、服务器和存储介质 | |
| CN106294772A (zh) | 分布式内存列式数据库的缓存管理方法 | |
| CN109597829B (zh) | 一种实现可搜索加密关系型数据库缓存的中间件方法 | |
| WO2011035605A1 (zh) | 一种性能数据的存储方法及系统 | |
| CN105630834A (zh) | 一种实现重复数据删除的方法及装置 | |
| JP2004524632A (ja) | 記憶データを再編成するシステム及び方法 | |
| CN109871338B (zh) | 一种数据存储方法、装置及计算机设备 | |
| WO2023000536A1 (zh) | 一种数据处理方法、系统、设备以及介质 | |
| CN118535578A (zh) | 一种基于哈希和LSM Tree的混合索引方法及键值存储系统 | |
| CN110597835A (zh) | 一种基于区块链的交易数据删除方法及装置 | |
| CN113535711B (zh) | 一种基于LSM-Tree的分层索引数据管理方法及系统 | |
| CN114564445A (zh) | 适用于Hive数据仓库进行数据写入与更新的方法及系统 | |
| WO2024174715A1 (zh) | 一种数据存储方法、装置及电子设备 | |
| CN111538465B (zh) | 一种基于Linux高性能数据重删方法 | |
| CN111352589B (zh) | 一种分布式存储的方法、装置、设备及可读介质 | |
| CN115952195A (zh) | 一种区块链数据溯源查询优化方法 | |
| CN107704603A (zh) | 一种实现读写分离的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |