CN114579617A - 数据查询方法、装置、计算机设备和存储介质 - Google Patents

数据查询方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114579617A
CN114579617A CN202210246447.1A CN202210246447A CN114579617A CN 114579617 A CN114579617 A CN 114579617A CN 202210246447 A CN202210246447 A CN 202210246447A CN 114579617 A CN114579617 A CN 114579617A
Authority
CN
China
Prior art keywords
data
query
database
description information
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210246447.1A
Other languages
English (en)
Inventor
楼彩英
门大洲
周誉
刘良壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210246447.1A priority Critical patent/CN114579617A/zh
Publication of CN114579617A publication Critical patent/CN114579617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及大数据技术领域，特别是涉及一种数据查询方法、装置、计算机设备和存储介质。所述方法包括：获取查询数据；当第一数据库对应的第一存储数据描述信息中存在查询数据时，在第一数据库中进行查询，并更新查询数据的查询频次；否则，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据；将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据在第一数据库以及第一存储数据描述信息中对应的数据删除，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库。采用本方法能够对查询数据进行快速查询。

Description

数据查询方法、装置、计算机设备和存储介质
技术领域
本申请涉及大数据技术领域，特别是涉及一种数据查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术
目前，数据都是存储在传统的关系型数据库上，在使用这些数据库对数据进行查询时只能按照数据库最基础的索引，这样效率相对低下。虽然，相关技术中，采用Redis技术解决搜索效率低下的问题，但Redis无法提供匹配查询等复杂查询功能，且数据都需要存储在内存中，大大限制了可存储的数据量，难以用在数据规模很大的应用场景下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够快速查询的数据查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据查询方法，该方法包括：
获取查询数据；
当第一数据库对应的第一存储数据描述信息中存在查询数据时，在第一数据库中进行查询，并在第一存储数据描述信息中更新查询数据的查询频次；
当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据；
将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库。
在其中一个实施例中，上述获取查询数据之前，包括：
获取预先设定的参数，并根据参数生成与第二数据库对应的存储表；
根据参数，统计在预设时间段内针对第二数据库中的数据的查询信息；
将统计得到的查询信息添加至存储表中得到第二存储数据描述信息。
在其中一个实施例中，上述将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库，包括：
从第二存储数据描述信息中计算查询频次高于第二预设阈值的数据；
根据预设规则生成查询频次高于第二预设阈值的数据对应的唯一标识；
将生成唯一标识的数据导入至第一数据库中。
在其中一个实施例中，上述将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，包括：
将第二存储数据描述信息中导入至第一数据库的数据对应的状态标识修改为导入成功。
在其中一个实施例中，上述当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，包括：
将查询数据与第二数据库中的数据进行关键词匹配；
当查询数据与第二数据库中的数据匹配成功时，返回与查询数据对应的数据，并修改第二存储数据描述信息中对应的查询数据的查询频次。
在其中一个实施例中，上述当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，还包括：
当查询数据与第二数据库中的数据匹配不成功时，在第二存储数据描述信息中新增查询数据的参数。
在其中一个实施例中，上述将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，包括：
根据第一存储数据描述信息中的数据修改第二存储数据描述信息中数据的状态标识。
第二方面，本申请还提供了一种数据查询装置，该装置包括：
数据获取模块，用获取查询数据；
第一查询模块，用于当第一数据库对应的第一存储数据描述信息中存在查询数据时，在第一数据库中进行查询，并在第一存储数据描述信息中更新查询数据的查询频次；
第二查询模块，用于当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并更新第二数据库的查询信息；
数据更新模块，用于将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据在第一数据库以及第一存储数据描述信息中对应的数据删除，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库。
第三方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任意一个实施例中的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
上述数据查询方法、装置、计算机设备、存储介质和计算机程序产品，首先获取查询数据，并在第一存储数据描述信息中查询是否存在查询数据，当第一存储数据描述信息中存在查询数据时，在第一数据库中根据查询数据进行查询，并在第一存储数据描述信息中新增查询数据的频次，当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，这样可以根据第一存储数据描述信息中是否查询数据到对应的数据库中进行查询，以避免在存储完整的数据库中进行查询，提升数据查询速度。最后，还定期将第一数据库中查询频次低于第一预设阈值查询频次的数据删除并将第二数据库中查询频次高于第二预设阈值查询频次的数据导入至第一数据库中，这样可以保证第一数据库中存储的都是高频数据，使得即使在面对数据规模庞大的应用场景时仍然可以保证数据查询的速度。
附图说明
图1为一个实施例中数据查询方法的应用环境图；
图2为一个实施例中数据查询方法的流程示意图；
图3为一个实施例中唯一标识生成方式的示意图；
图4为另一个实施例中数据查询方法的流程示意图；
图5为一个实施例中数据导入方式的示意图；
图6为一个实施例中数据查询装置结构示意图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的数据查询方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。首先服务器104获取查询数据，并判断第一数据库对应的第一存储数据描述信息中是否存在查询数据；当第一存储数据描述信息中存在查询信息时，在第一数据库中进行查询，并在第一存储数据描述信息中更新查询数据的查询频次；当第一存储数据描述信息中不存在查询信息时，在第二数据库中进行查询，并根据查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据；最后，将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据在第一数据库以及第一存储数据描述信息中对应的数据删除，并将第二存储数据描述信息中查询频次高于第二阈值的数据导入至第一数据库中，以保证数据的查询速度。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据查询方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S202，获取查询数据。
其中，查询数据是指由用户提供的需要进行查询的数据，例如日期、地点，金额等；第一数据库是指根据实际应用场景建立的存储和管理数据的，其中优选的，第一数据库为非关系型数据库，例如ES(ElasticSearch)数据库，这是由于第一数据库可以采用倒序索引的方式对查询数据进行查询，相比于其他关系型数据库，例如，oracle、mpp等关系型数据库的查询数据更快，且第一数据库在存储的时候是将文档分割到不同容器或者分片中，以及第一数据库会将全部字段都会创建索引，且全部字段查询无需保证顺序，而关系型数据库由于索引的左侧原则限制，索引执行必须有严格的顺序；第一存储数据描述信息是指记录第一数据库中的数据信息的，可以通过表格或者单独的库的形式来记录。
具体地，服务器首先获取用户需要进行查询的查询数据，并在第一数据库对应的第一存储数据描述信息中判断是否存在查询数据，并根据第一存储数据描述信息中是否存在查询数据进行对应的操作。
S204，当第一数据库对应的第一存储数据描述信息中存在查询数据时，在第一数据库中进行查询，并在第一存储数据描述信息中更新查询数据的查询频次。
具体地，当第一存储数据描述信息中存在查询数据时，在第一数据库中根据查询数据进行查询，并在第一存储数据描述信息中更新查询数据的查询频次，例如，当第一存储数据描述信息中存在查询数据并在第一数据库中根据查询数据进行查询时，就在第一存储数据描述信息中将该查询数据对应的查询频次加1。
在一个实施例中，第一数据库中的数据可以从其他数据库中导入的高频数据，这样当第一存储数据描述信息中存在查询数据时，可以在第一数据库中快速查询到查询数据。
S206，当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据。
其中，第二数据库是指根据实际应用场景建立的存储和管理数据的，其可以是关系型数据库，例如oracle、mpp等关系型数据库；第二存储数据描述信息是指存储第二数据库中的数据信息的，是通过表格或者单独的库的形式来记录，其可以根据预先设定的参数对第二数据库中的数据进行统计后存储的；查询结果是指第二数据库对查询数据的结果，例如查询成功为“1”或者失败为“0”。
具体地，当第一存储数据描述信息中不存在查询数据时，在第二数据库对查询数据进行查询，得到查询数据的查询结果，并根据查询结果在第二数据库对应的第二存储数据描述信息中对查询数据的相关数据进行更新，例如当在第二数据库中查询成功时，在第二存储数据描述信息中对查询数据对应的查询频次加1。
S208，将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库。
其中，第一预设阈值是指用于衡量是否将查询数据从第一数据库中删除的指标；第二预设阈值是指用于衡量是否将第二存储数据描述信息中的数据导入第一数据库的指标，其中第一预设阈值和第二预设阈值可以根据实际情况进行设定。
具体地，服务器会对第一存储数据描述信息和第二存储描述信息中数据的频次进行统计，当第一存储数据描述信息中存在查询频次低于第一预设阈值的数据时，则将查询频次低于第一预设阈值的数据从第一数据库中删除；当第二存储数据信息中存在查询频次高于第二预设阈值的数据，则将查询频次高于第二预设阈值的数据导入至第一数据库中。
在一个实施例中，可以根据实际情况设置目标期限，服务器根据目标期限将第一存储数据描述信息中查询频次低于第一预设阈值的数据从第一数据库中删除，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据从第二数据库中导入第一数据库中，其中目标期限可以是根据实际情况进行设置的，不在此作具体限定。
上述数据查询方法中，首先获取查询数据，并在第一存储数据描述信息中查询是否存在查询数据，当第一存储数据描述信息中存在查询数据时，在第一数据库中根据查询数据进行查询，并在第一存储数据描述信息中新增查询数据的频次，当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，这样可以根据第一存储数据描述信息中是否查询数据到对应的数据库中进行查询，以避免在存储完整的数据库中进行查询，提升数据查询速度。最后，还定期将第一数据库中查询频次低于第一预设阈值查询频次的数据删除并将第二数据库中查询频次高于第二预设阈值查询频次的数据导入至第一数据库中，这样可以保证第一数据库中存储的都是高频数据，使得即使在面对数据规模庞大的应用场景时仍然可以保证数据查询的速度。
在其中一个实施例中，上述获取查询数据之前，包括：获取预先设定的参数，并根据参数生成与第二数据库对应的存储表；根据参数，统计在预设时间段内针对第二数据库中的数据的查询信息；将统计得到的查询信息添加至存储表中得到第二存储数据描述信息。
其中，参数是指预先设定的，用于对第二数据库中的数据进行分类统计的指标，例如可以根据实际使用场景将参数设定为四个业务领域和八个次级领域；查询信息是指第二数据库中的数据根据参数统计得到的信息。
具体地，服务器首选获取预先设定的参数，然后根据参数生成一张与第二数据库对应的存储表，具体结合表一所示，表一为一个实施例中数据库对应的存储表。然后，服务器在预设时间段内对第二数据库中的参数进行统计，得到对应的查询信息，最后，将统计得到的查询信息添加至存储表中得到第二存储数据描述信息，具体结合表二所示，表二为一个实施例中存储表中添加查询信息表。
表一
Figure BDA0003544879040000081
表二
Figure BDA0003544879040000082
在一个实施例中，继续结合表二，根据业务情况将参数设定为四个业务领域和八个次级领域，例如存款业务(deposit)、贷款业务(loan)、银行卡业务(card)，中间业务(mid)，以及存款业务下划分为个人存款参数表(personal_deposit_para_table)和法人存款参数表(corp_deposit_para_table)，贷款业务下划分为个人贷款参数表(personal_loan_para_table)和法人贷款参数表(corp_loan_para_table)，银行卡业务下划分为个人银行卡业务参数表(personal_card_para_table)和法人银行卡业务参数表(corp_card_para_table)，中间业务下划分为个人中间业务参数表(personal_mid_para_table)和法人中间业务参数表(corp_mid_para_table)，并按照四个业务领域和八个次级领域，在一定时间内对第二数据库中的数据进行统计，得到对应的查询信息，最后将统计得到的查询信息添加至存储表中得到第二存储数据描述信息。
在上述实施例中，通过参数可以更好的对数据进行分类，同时将第二存储数据描述信息中的数据导入至第一数据库中，第一数据库可以根据参数将数据存储到对应的分片中，以提高数据查询速度。
在其中一个实施例中，上述将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库，包括：从第二存储数据描述信息中计算查询频次高于第二预设阈值的数据；根据预设规则生成查询频次高于第二预设阈值的数据对应的唯一标识；将生成唯一标识的数据导入至第一数据库中。
其中，标识是指用于能够用于表征数据的识别码；预设规则是指用于生成数据唯一标识的法则。
具体地，服务器对第二存储数据描述信息中的数据的查询频次进行计算，获得查询频次高于第二预设阈值的数据，并根据预设规则生成高于第二预设阈值的数据对应的唯一标识，其中可选地，可以通过定义UUID的长度为64位长度的long类型，其中，最左边1位为符号位，设置为0，然后接下来13位定义为毫秒级别时间戳，然后接下来3位为节点ID，再后续3位为机器工作ID，然后剩余44位为业务映射字段；业务领域6位，参数表的类型10位，记录数28；6位的业务领域理论上可以代表2^6次方的业务领域值，大约有64个；10位的参数表，理论上可以代表2^10次方的表，大约有1000个，28位的记录数编号为2^28次方，具体可结合图3所示，图3为一个实施例中唯一标识生成方式的示意图，最后将生成唯一标识的数据导入至第一数据库中。
在一个实施例中，继续结合表二，根据时间戳和命中次数两个字段判断该表是否是高频数据。即：选择出在限定的某个时间段内，命中次数大于η，且未同步到第一数据库的记录数，该记录数，可以认为是近期更频繁访问的数据。需要将这些数据同步到第一数据库中，以提高后续查询效率。其公式化表达式θ(X,n)如下：
Figure BDA0003544879040000101
其中，公式中的n为离散的业务领域类型，m为离散的业务领域总个数，Xn表示下标对应的领域记录。
Figure BDA0003544879040000102
其中k为某个具体领域的表中总记录数，Yt则为F(begindate,enddate,η)，t则为S(begindate,enddate,η)。
在上述实施例中，通过将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库，可以保证第一数据库中存储的数据始终是最热频的数据，可以保证数据的查询速度，同时为导入第一数据库中的数据生成唯一标识，可以避免同词数据的混淆。
在其中一个实施例中，上述将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，包括：将第二存储数据描述信息中导入至第一数据库的数据对应的状态标识修改为导入成功。
具体地，将生成唯一标识的数据导入至第一数据库之后，需要将第二存储数据描述表中的数据状态标识修改为导入成功。在一个实施例中，可以将状态标识修改为“FI”表示为导入成功，“F”为未导入。
在上述实施例中，通过对第二存储数据描述表中的数据状态进行修改，可避免数据重复导入的情况。
在其中一个实施例中，上述当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，包括：将查询数据与第二数据库中的数据进行关键词匹配；当查询数据与第二数据库中的数据匹配成功时，返回与查询数据对应的数据，并修改第二存储数据描述信息中对应的查询数据的查询频次。
具体地，服务器将查询数据与第二数据库中的数据进行关键词匹配，当查询数据与第二数据库中的数据匹配成功时，返回与查询数据对应的数据，例如返回当前查询数据对应的索引的所有数据，并在第二存储数据描述信息中对查询数据的查询频次进行修改，例如在第二存储数据描述信息中将查询数据的查询频次加1。
在上述实施例中，将查询数据与第二数据库中的数据进行关键词匹配，并在匹配成功后，返回与查询数据对应的数据，并修改第二存储数据描述信息中对应的查询数据的查询频次，通过对查询频次进行修改，以及时将高频数据导入至第一数据库中。
在其中一个实施例中，上述当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，还包括：当查询数据与第二数据库中的数据匹配不成功时，在第二存储数据描述信息中新增查询数据的参数。
具体地，当查询数据与第二数据库中的数据匹配不成功时，则在第二存储数据描述信息中新增查询数据，并根据预先设定的参数生成查询数据的参数，并将其存储到第二存储数据描述信息中。
在一个实施例中，未能在第二数据库中匹配到该关键词，则需要将此次查询数据的关键词以及其对应的业务领域、表、关键词信息作为一条新增数据插入到第二数据库中。同时初始化时间戳为当前时间，初始化命中次数为数值0，初始化是否同步标识为未同步标识F。该种情况下由于数据未同步到第一数据库中，只能按照传统方式，查询第二数据库中的信息。
在上述实施例中，如果查询数据在第二数据库中未匹配成功，则在第二存储数据描述信息中新增该数据的参数，以使下次使用同样的查询数据进行查询时，能够返回该查询数据的信息。
在其中一个实施例中，上述将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据在第一数据库以及第一存储数据描述信息中对应的数据删除，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，还包括：根据第一存储数据描述信息中的数据修改第二存储数据描述信息中数据的状态标识。
具体地，当将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据在第一数据库以及第一存储数据描述信息中对应的数据删除，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库，此时从第一存储数据描述信息中删除的数据的状态标识在第二存储数据描述信息中并没有修改，因此需要根据第一存储数据描述信息中的数据修改第二存储是数据描述信息数据的状态标识，例如可以将从第一存储数据描述信息中删除的数据临时存储到一个存储表中，并根据临时存储的存储表中的数据修改第二存储数据描述信息中的数据的状态标识。
在上述实施例中，通过根据第一存储数据描述信息中的数据修改第二存储数据描述信息中数据的状态标识，可以及时更新第二存储数据描述信息中的数据状态，以避免出现第二存储数据描述信息中存在数据状态为导入而在第一数据库中已删除的现象产生。
在其中一个实施例中，数据查询方式如图4所示，服务器首先获取用户关键词keyword，即查询数据，并在ES匹配库中进行keyword匹配，在本实施例中，第一数据库为ES数据库，ES匹配库为第一存储数据描述信息中进行匹配，当匹配成功时，在ES数据中进行数据查询；当在ES匹配库中匹配不成功时，在老的关系型数据库，即第二数据库中进行关键词匹配，同时根据是否能在老的关系型数据库中匹配到，可以选择对老的关系型数据库进行新增记录或者更新记录操作。当时间线较长情况下，老关系型数据库中肯定会存在很多如下情况的记录，即时间戳字段的值与当前时刻较近(即近期更新了数据)，命中次数数值较大，同时，同步到ES数据库的标识为F(未同步)状态。这种记录所对应的业务领域的参数表的数据是需要同步到ES数据库中的。这样ES关键词匹配查询数据库，即第二存储数据描述信息，就会有新的可匹配的业务领域或者参数表被导入进来。下一次查询到对应的关键词，则可以直接从ES数据库中获取数据。
在本实施例中，ES数据库的数据是从老的关系型数据库中导入的，具体地，首先新建一个关键词查询匹配库，即老的关系型数据库对应的存储表，获取预设参数据，即四个业务领域和八个次级领域，然后根据参数，统计在预设时间段内，例如一个月内，老的关系型数据库中的数据的查询信息，并将统计得到的查询信息添加至存储表中，得到老的关系型数据库对应的查询权重表，据时间戳和命中次数两个字段判断权重表中的数据是否是高频数据，若是，则将高频数据导入至ES数据库，具体地，在ES数据库中导入预设参数，根据预设参数定义的领域对应于关系型数据库的数据库名，对应于ES数据库的索引，即ES数据库中定义的初始化的索引为deposit，loan，card，mid四个。然后，通过JDBC连接方式读取查询权重表在分布式集群上存储的数据，具体地，由于数据量比较大，所以读取方式采用JDBC分页查询方式。每次读取100000行左右的数据到一个数据文件中，数据文件的命名格式应该为：业务领域名_表名_文件编号.json格式。这样命名主要是为了方便后续将这些文件导入ES数据库中更加具有可读性，同时还可以更加方便的校验数据量。最后利用bulk命令，将查询权重表的数据分批次导入到ES数据库中，具体可参考图5，图5为一个实施例中数据导入方式的示意图。其中，需要注意的一点是，bulk文件为两行一条数据，不要随意切分已经导出的文件。
在上述实施例中，通过将传统关系型数据库中高频率访问的参数表，通过划分领域和添加关键词在传统数据库关系表中做记录后统计，定期将这部分记录中高频率命中的数据同步到ES数据库中，从而在后续可以直接走ES数据库查询。充分利用ES数据库分布式文件存储、简单的restful api兼容多语言、天然分布式架构方便扩容、对所有输入文本进行处理，建立索引放入内存中(而不是像很多关系型数据库一样将索引放入磁盘，每次需要先从磁盘读取索引然后才能寻找对应数据)等特点提高数据查询的效率。同时后续还可以在ES中做一些复杂的聚合查询分析，为经营决策提供更多有用的信息，实现数据最大化利用。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据查询方法的数据查询装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据查询装置实施例中的具体限定可以参见上文中对于数据查询方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种数据查询装置，包括：数据获取模块100、第一查询模块200、第二查询模块300和数据更新模块400，其中：
数据获取模块100，用于获取查询数据。
第一查询模块200，用于当第一数据库对应的第一存储数据描述信息中存在所述查询数据时，在所述第一数据库中进行查询，并在所述第一存储数据描述信息中更新所述查询数据的查询频次。
第二查询模块300，用于当所述第一存储数据描述信息中不存在所述查询数据时，在第二数据库中进行查询，并根据所述第二数据库的查询结果更新所述第二数据库对应的第二存储数据描述信息中的相关数据。
数据更新模块400，用于将所述第一存储数据描述信息中查询频次低于所述第一预设阈值的查询数据在所述第一数据库以及所述第一存储数据描述信息中对应的数据删除，并将所述第二存储数据描述信息中所述查询频次高于第二预设阈值的数据导入至所述第一数据库。
在一个实施例中，上述装置还包括：
存储表获取模块，用于获取预先设定的参数，并根据参数生成与第二数据库对应的存储表。
统计模块，用于根据参数，统计在预设时间段内针对第二数据库中的数据的查询信息。
第二存储数据描述信息获取模块，用于将统计得到的查询信息添加至存储表中得到第二存储数据描述信息。
在一个实施例中，上述数据更新模块400包括：
数据查询单元，用于从第二存储数据描述信息中计算查询频次高于第二预设阈值的数据。
标识生成单元，用于根据预设规则生成查询频次高于第二预设阈值的数据对应的唯一标识
数据导入单元，用于将生成唯一标识的数据导入至第一数据库中。
在一个实施例中，上述装置还包括：
第一标识修改模块，将第二存储数据描述信息中导入至第一数据库的数据对应的状态标识修改为导入成功。
在一个实施例中，上述第二查询模块300包括：
关键词匹配单元，用于将查询数据与第二数据库中的数据进行关键词匹配。
第二存储数据描述信息修改单元，用于当查询数据与第二数据库中的数据匹配成功时，返回与查询数据对应的数据，并修改第二存储数据描述信息中对应的查询数据的查询频次。
在一个实施例中，上述第二查询模块300包括：
数据新增模块，用于当查询数据与第二数据库中的数据匹配不成功时，在第二存储数据描述信息中新增查询数据的参数。
在一个实施例中，上述装置还包括：
第二标识修改模块，用于根据第一存储数据描述信息中的数据修改第二存储数据描述信息中数据的状态标识。
上述数据查询装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储查询数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据查询方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取查询数据；当第一数据库对应的第一存储数据描述信息中存在查询数据时，在第一数据库中进行查询，并在第一存储数据描述信息中更新查询数据的查询频次；当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据；将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库。
在一个实施例中，处理器执行计算机程序时所实现的获取查询数据之前，包括：获取预先设定的参数，并根据参数生成与第二数据库对应的存储表；根据参数，统计在预设时间段内针对第二数据库中的数据的查询信息；将统计得到的查询信息添加至存储表中得到第二存储数据描述信息。
在一个实施例中，处理器执行计算机程序时所实现的将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库，包括：从第二存储数据描述信息中计算查询频次高于第二预设阈值的数据；根据预设规则生成查询频次高于第二预设阈值的数据对应的唯一标识；将生成唯一标识的数据导入至第一数据库中。
在一个实施例中，处理器执行计算机程序时所实现的将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，包括：将第二存储数据描述信息中导入至第一数据库的数据对应的状态标识修改为导入成功。
在一个实施例中，处理器执行计算机程序时所实现的当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，包括：将查询数据与第二数据库中的数据进行关键词匹配；当查询数据与第二数据库中的数据匹配成功时，返回与查询数据对应的数据，并修改第二存储数据描述信息中对应的查询数据的查询频次。
在一个实施例中，处理器执行计算机程序时所实现的当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，还包括：当查询数据与第二数据库中的数据匹配不成功时，在第二存储数据描述信息中新增查询数据的参数。
在一个实施例中，处理器执行计算机程序时所实现的将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，还包括：根据第一存储数据描述信息中的数据修改第二存储数据描述信息中数据的状态标识。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取查询数据；当第一数据库对应的第一存储数据描述信息中存在查询数据时，在第一数据库中进行查询，并在第一存储数据描述信息中更新查询数据的查询频次；当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据；将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库。
在一个实施例中，计算机程序被处理器执行时所实现的获取查询数据，获取查询数据之前，包括：获取预先设定的参数，并根据参数生成与第二数据库对应的存储表；根据参数，统计在预设时间段内针对第二数据库中的数据的查询信息；将统计得到的查询信息添加至存储表中得到第二存储数据描述信息。
在一个实施例中，计算机程序被处理器执行时所实现的将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库，包括：从第二存储数据描述信息中计算查询频次高于第二预设阈值的数据；根据预设规则生成查询频次高于第二预设阈值的数据对应的唯一标识；将生成唯一标识的数据导入至第一数据库中。
在一个实施例中，计算机程序被处理器执行时所实现的将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，包括：将第二存储数据描述信息中导入至第一数据库的数据对应的状态标识修改为导入成功。
在一个实施例中，计算机程序被处理器执行时所实现的当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，包括：将查询数据与第二数据库中的数据进行关键词匹配；当查询数据与第二数据库中的数据匹配成功时，返回与查询数据对应的数据，并修改第二存储数据描述信息中对应的查询数据的查询频次。
在一个实施例中，计算机程序被处理器执行时所实现的当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，还包括：当查询数据与第二数据库中的数据匹配不成功时，在第二存储数据描述信息中新增查询数据的参数。
在一个实施例中，计算机程序被处理器执行时所实现的将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，还包括：根据第一存储数据描述信息中的数据修改第二存储数据描述信息中数据的状态标识。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取查询数据；当第一数据库对应的第一存储数据描述信息中存在查询数据时，在第一数据库中进行查询，并在第一存储数据描述信息中更新查询数据的查询频次；当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据；将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库。
在一个实施例中，计算机程序被处理器执行时所实现的获取查询数据，获取查询数据之前，包括：获取预先设定的参数，并根据参数生成与第二数据库对应的存储表；根据参数，统计在预设时间段内针对第二数据库中的数据的查询信息；将统计得到的查询信息添加至存储表中得到第二存储数据描述信息。
在一个实施例中，计算机程序被处理器执行时所实现的将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库，包括：从第二存储数据描述信息中计算查询频次高于第二预设阈值的数据；根据预设规则生成查询频次高于第二预设阈值的数据对应的唯一标识；将生成唯一标识的数据导入至第一数据库中。
在一个实施例中，计算机程序被处理器执行时所实现的将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，包括：将第二存储数据描述信息中导入至第一数据库的数据对应的状态标识修改为导入成功。
在一个实施例中，计算机程序被处理器执行时所实现的当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，包括：将查询数据与第二数据库中的数据进行关键词匹配；当查询数据与第二数据库中的数据匹配成功时，返回与查询数据对应的数据，并修改第二存储数据描述信息中对应的查询数据的查询频次。
在一个实施例中，计算机程序被处理器执行时所实现的当第一存储数据描述信息中不存在查询数据时，在第二数据库中进行查询，并根据第二数据库的查询结果更新第二数据库对应的第二存储数据描述信息中的相关数据，还包括：当查询数据与第二数据库中的数据匹配不成功时，在第二存储数据描述信息中新增查询数据的参数。
在一个实施例中，计算机程序被处理器执行时所实现的将第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除查询频次低于第一预设阈值的查询数据在第一数据库对应的数据，并将第二存储数据描述信息中查询频次高于第二预设阈值的数据导入至第一数据库之后，还包括：根据第一存储数据描述信息中的数据修改第二存储数据描述信息中数据的状态标识。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种数据查询方法，其特征在于，所述方法包括：
获取查询数据；
当第一数据库对应的第一存储数据描述信息中存在所述查询数据时，在所述第一数据库中进行查询，并在所述第一存储数据描述信息中更新所述查询数据的查询频次；
当所述第一存储数据描述信息中不存在所述查询数据时，在第二数据库中进行查询，并根据所述第二数据库的查询结果更新所述第二数据库对应的第二存储数据描述信息中的相关数据；
将所述第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除所述查询频次低于第一预设阈值的查询数据在所述第一数据库对应的数据，并将所述第二存储数据描述信息中所述查询频次高于第二预设阈值的数据导入至所述第一数据库。
2.根据权利要求1所述的方法，其特征在于，所述获取查询数据之前，包括：
获取预先设定的参数，并根据所述参数生成与所述第二数据库对应的存储表；
根据所述参数，统计在预设时间段内对所述第二数据库中的数据的查询信息；
将统计得到的查询信息添加至所述存储表中得到第二存储数据描述信息。
3.根据权利要求1所述的方法，其特征在于，所述将所述第二存储数据描述信息中所述查询频次高于第二预设阈值的数据导入至所述第一数据库，包括：
根据所述第二存储数据描述信息计算所述查询频次高于所述第二预设阈值的数据；
根据预设规则生成所述查询频次高于所述第二预设阈值的数据对应的唯一标识；
将生成所述唯一标识的所述数据导入至所述第一数据库中。
4.根据权利要求3所述的方法，其特征在于，所述将所述第二存储数据描述信息中所述查询频次高于第二预设阈值的数据导入至所述第一数据库之后，包括：
将所述第二存储数据描述信息中，导入至所述第一数据库的所述数据对应的状态标识修改为导入成功。
5.根据权利要求1所述的方法，其特征在于，所述在第二数据库中进行查询，并根据所述第二数据库的查询结果更新所述第二数据库对应的第二存储数据描述信息中的相关数据，包括：
将所述查询数据与所述第二数据库中的数据进行关键词匹配；
当所述查询数据与所述第二数据库中的数据匹配成功时，返回与所述查询数据对应的数据，并修改所述第二存储数据描述信息中对应的查询数据的查询频次。
6.根据权利要求5所述的方法，其特征在于，所述在第二数据库中进行查询，并根据所述第二数据库的查询结果更新所述第二数据库对应的第二存储数据描述信息中的相关数据，还包括：
当所述查询数据与所述第二数据库中的数据匹配不成功时，在所述第二存储数据描述信息中新增所述查询数据的参数。
7.根据权利要求1所述的方法，其特征在于，所述将所述第一存储数据描述信息中查询频次低于第一预设阈值的查询数据删除，并对应删除所述查询频次低于第一预设阈值的查询数据在所述第一数据库对应的数据，并将所述第二存储数据描述信息中所述查询频次高于第二预设阈值的数据导入至所述第一数据库之后，包括：
根据所述第一存储数据描述信息中的数据修改所述第二存储数据描述信息中数据的状态标识。
8.一种数据查询装置，其特征在于，所述装置包括：
数据获取模块，用获取查询数据；
第一查询模块，用于当第一数据库对应的第一存储数据描述信息中存在所述查询数据时，在所述第一数据库中进行查询，并在所述第一存储数据描述信息中更新所述查询数据的查询频次；
第二查询模块，用于当所述第一存储数据描述信息中不存在所述查询数据时，在第二数据库中进行查询，并更新所述第二数据库的查询信息；
数据更新模块，用于将所述第一存储数据描述信息中查询频次低于第一预设阈值的查询数据在所述第一数据库以及所述第一存储数据描述信息中对应的数据删除，并将所述第二存储数据描述信息中所述查询频次高于第二预设阈值的数据导入至所述第一数据库。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210246447.1A 2022-03-14 2022-03-14 数据查询方法、装置、计算机设备和存储介质 Pending CN114579617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210246447.1A CN114579617A (zh) 2022-03-14 2022-03-14 数据查询方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210246447.1A CN114579617A (zh) 2022-03-14 2022-03-14 数据查询方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114579617A true CN114579617A (zh) 2022-06-03

Family

ID=81779847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210246447.1A Pending CN114579617A (zh) 2022-03-14 2022-03-14 数据查询方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114579617A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555904A (zh) * 2024-01-05 2024-02-13 杭银消费金融股份有限公司 一种异构环境下精确数据截面快速构建获取方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555904A (zh) * 2024-01-05 2024-02-13 杭银消费金融股份有限公司 一种异构环境下精确数据截面快速构建获取方法及系统
CN117555904B (zh) * 2024-01-05 2024-03-26 杭银消费金融股份有限公司 一种异构环境下精确数据截面快速构建获取方法及系统

Similar Documents

Publication Publication Date Title
US9047330B2 (en) Index compression in databases
CN103902698B (zh) 一种数据存储系统和存储方法
KR101708261B1 (ko) 개별 액세스 가능한 데이터 유닛의 스토리지 관리
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
US11636083B2 (en) Data processing method and apparatus, storage medium and electronic device
CN111046034A (zh) 管理内存数据及在内存中维护数据的方法和系统
CN106407303A (zh) 数据存储、查询方法及装置
CN105488050A (zh) 一种数据库多索引方法、装置及系统
CN103902623A (zh) 用于在存储系统上存取文件的方法和系统
CN111241108B (zh) 基于键值对kv系统的索引方法、装置、电子设备和介质
CN104391863A (zh) 一种数据存储方法及装置
JP7153420B2 (ja) データベース中にグラフ情報を記憶するためのｂ木使用
CN114579617A (zh) 数据查询方法、装置、计算机设备和存储介质
CN114840487A (zh) 分布式文件系统的元数据管理方法和装置
CN107273443B (zh) 一种基于大数据模型元数据的混合索引方法
CN106874329A (zh) 数据库表索引的实现方法和装置
CN111625617A (zh) 一种数据索引方法、装置及计算机可读存储介质
CN115168499B (zh) 数据库表的分片方法、装置、计算机设备和存储介质
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
CN114218277A (zh) 一种关系数据库的高效查询方法和装置
JP2015162042A (ja) インデックス管理装置
CN113127717A (zh) 一种密钥检索方法和系统
JP2014059867A (ja) 順序インデックス生成システム及びその方法
CN115168409B (zh) 数据库分表的数据查询方法、装置和计算机设备
CN114564449B (zh) 数据查询方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination