CN111930780B - 数据查询方法及系统 - Google Patents

数据查询方法及系统 Download PDF

Info

Publication number
CN111930780B
CN111930780B CN202011081897.7A CN202011081897A CN111930780B CN 111930780 B CN111930780 B CN 111930780B CN 202011081897 A CN202011081897 A CN 202011081897A CN 111930780 B CN111930780 B CN 111930780B
Authority
CN
China
Prior art keywords
data
query
target
server
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011081897.7A
Other languages
English (en)
Other versions
CN111930780A (zh
Inventor
顾凌云
郭志攀
王伟
谢鹏飞
何开平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IceKredit Inc
Original Assignee
Shanghai IceKredit Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai IceKredit Inc filed Critical Shanghai IceKredit Inc
Priority to CN202011081897.7A priority Critical patent/CN111930780B/zh
Publication of CN111930780A publication Critical patent/CN111930780A/zh
Application granted granted Critical
Publication of CN111930780B publication Critical patent/CN111930780B/zh
Priority to US17/399,037 priority patent/US11250012B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种数据查询方法及系统，数据查询服务器根据预设配置接口将集群中心服务器发送的针对目标API的配置元数据加载到数据库服务器中与目标API关联的目标存储区域，以及将与目标API关联的可查询数据加载到目标存储区域。然后，集群中心服务器根据用户终端发送的针对目标API的数据查询请求中的元查询数据，向数据查询服务器发送查询指令。接着，数据查询服务器从目标存储区域中查询对应的目标查询数据并通过集群中心服务器发送给用户终端。如此，能够以API接口的形式提供数据查询服务，无需用户关注数据库的查询语句，从而避免用户由于不熟悉数据库系统和数据表结构而输入不当的查询条件导致的查询异常情况，提高查询效率。

Description

数据查询方法及系统
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种数据查询方法及系统。
背景技术
现有的数据查询方案通常是基于数据库的，用户只需提供与数据库系统匹配的查询语句即可查询到所需数据信息。然而，在大数据情景下，查询语句往往需要不断进行优化，否则不当的查询条件会导致查询异常，因此需要用户尽可能地熟悉数据库系统和数据表结构，导致查询效率低下。
发明内容
基于现有设计的不足，本申请提供一种数据查询方法及系统，能够以API接口的形式提供数据查询服务，无需用户关注数据库的查询语句，从而避免用户由于不熟悉数据库系统和数据表结构而输入不当的查询条件导致的查询异常情况，提高查询效率。
根据本申请的第一方面，提供一种数据查询方法，应用于数据查询系统，所述数据查询系统包括集群中心服务器、与所述集群中心服务器通信连接的多个数据查询服务器以及与每个所述数据查询服务器通信连接的数据库服务器，所述方法包括：
所述数据查询服务器根据预设配置接口获取所述集群中心服务器发送的针对目标API的配置元数据，并将所述配置元数据加载到所述数据库服务器中与所述目标API关联的目标存储区域，以及将与所述目标API关联的可查询数据加载到所述目标存储区域；
所述集群中心服务器在接收到用户终端发送的针对所述目标API的数据查询请求后，根据所述数据查询请求中的查询元数据，向所述数据查询服务器发送查询指令；
所述数据查询服务器根据所述查询指令从所述目标存储区域中查询对应的目标查询数据，并将所述目标查询数据通过所述集群中心服务器发送给所述用户终端。
在第一方面的一种可能的实施方式中，所述数据查询服务器根据预设配置接口获取所述集群中心服务器发送的针对目标API的配置元数据，并将所述配置元数据加载到所述数据库服务器中与所述目标API关联的目标存储区域的步骤，包括：
解析并校验所述配置元数据的格式是否满足预设格式要求，若所述配置元数据的格式满足预设格式要求，则根据所述配置元数据配置以下数据：所述目标API的API访问路径、用于存储该目标API的可查询数据的数据库表信息、用于查询该目标API的可查询数据的数据库表信息的查询请求参数以及查询请求方式；
将所述配置元数据添加到预设配置表，将所述预设配置表的序列化对象加载到所述数据库服务器中与所述目标API关联的目标存储区域；
将与所述目标API关联的可查询数据加载到所述目标存储区域。
在第一方面的一种可能的实施方式中，所述配置元数据中还包括缓存配置信息，所述方法还包括：
所述数据查询服务器根据所述缓存配置信息配置所述目标存储区域的缓存数据库、缓存时长以及缓存生成规则；
所述数据查询服务器检测所述配置元数据是否发生更新，并在检测到所述配置元数据发生更新时，将所述配置元数据缓存到所述数据查询服务器的运行内存中，并根据预先配置的缓存时长以及缓存生成规则对所述缓存数据库中的所述配置元数据进行缓存配置。
在第一方面的一种可能的实施方式中，所述将与所述目标API关联的可查询数据加载到所述目标存储区域的步骤，包括：
获取与所述目标API关联的可查询数据中满足预设查询条件的目标查询数据，并将所述目标查询数据添加到所述目标存储区域的缓存数据库中；
根据所述缓存时长以及缓存生成规则对所述缓存数据库中的所述目标查询数据进行缓存配置。
在第一方面的一种可能的实施方式中，所述将与所述目标API关联的可查询数据加载到所述目标存储区域的步骤，包括：
根据预设写入接口获取所述目标API的可查询数据，并根据存储该目标API的可查询数据的数据库表信息将所述可查询数据按照分库分表策略插入到所述目标存储区域中对应的数据表中；
根据SnowFlake算法生成所述可查询数据中每条数据记录的全局唯一标识作为分库分表键。
在第一方面的一种可能的实施方式中，所述将与所述目标API关联的可查询数据加载到所述目标存储区域的步骤，还包括：
采用异步机制将所述数据表以多种查询索引字段构建异构索引表，所述异构索引表包括多个查询索引字段和全局索引标识。
在第一方面的一种可能的实施方式中，所述集群中心服务器在接收到用户终端发送的针对所述目标API的数据查询请求后，根据所述数据查询请求中的查询元数据，向所述数据查询服务器发送查询指令的步骤，包括：
所述集群中心服务器根据用户终端的数据查询请求，从异构索引表中查询得到符合查询请求条件的全局索引标识；
根据该全局索引标识在对应的数据表中查询获得所述数据查询请求的请求参数对应的数据结果后，返回给用户终端。
根据本申请的第二方面，提供一种数据查询系统，所述数据查询系统包括集群中心服务器、与所述集群中心服务器通信连接的多个数据查询服务器以及与每个所述数据查询服务器通信连接的数据库服务器；
所述数据查询服务器用于根据预设配置接口获取所述集群中心服务器发送的针对目标API的配置元数据，并将所述配置元数据加载到所述数据库服务器中与所述目标API关联的目标存储区域，以及将与所述目标API关联的可查询数据加载到所述目标存储区域；
所述集群中心服务器用于在接收到用户终端发送的针对所述目标API的数据查询请求后，根据所述数据查询请求中的查询元数据，向所述数据查询服务器发送查询指令；
所述数据查询服务器用于根据所述查询指令从所述目标存储区域中查询对应的目标查询数据，并将所述目标查询数据通过所述集群中心服务器发送给所述用户终端。
基于上述任一方面，本申请提供的实施方式，数据查询服务器根据预设配置接口将集群中心服务器发送的针对目标API的配置元数据加载到数据库服务器中与目标API关联的目标存储区域，以及将与目标API关联的可查询数据加载到目标存储区域。然后，集群中心服务器根据用户终端发送的针对目标API的数据查询请求中的查询元数据，向数据查询服务器发送查询指令。接着，数据查询服务器从目标存储区域中查询对应的目标查询数据并通过集群中心服务器发送给用户终端。如此，能够以API接口的形式提供数据查询服务，无需用户关注数据库的查询语句，降低了数据查询的难度，减少了查询异常的概率，从而避免用户由于不熟悉数据库系统和数据表结构而输入不当的查询条件导致的查询异常情况，提高查询效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种数据查询系统的架构示意图；
图2示出了本申请实施例所提供的数据查询方法的流程示意图；
图3示出了本申请实施例所提供的用于实现数据查询系统的服务器设备的组件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
请参照图1和图2，图1示出了本申请实施例提供的一种数据查询系统的架构示意图，图2示出了本申请实施例提供基于上述数据查询系统的数据查询方法的流程示意图。其中，数据查询系统可以包括集群中心服务器、与所述集群中心服务器通信连接的多个数据查询服务器以及与每个所述数据查询服务器通信连接的数据库服务器。其中，集群中心服务器可以用于监控每个数据查询服务器的状态，并协调分配用户终端发送的数据查询请求。数据库服务器可以包括一个或者多个服务器节点，并通过一个或者多个服务器节点统一为每个数据查询服务器提供数据存储服务。
接下来将对该数据查询方法的详细步骤介绍如下，可以理解，在其它实施例中，本实施例的数据查询方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。
步骤S110，数据查询服务器根据预设配置接口获取集群中心服务器发送的针对目标API的配置元数据，并将配置元数据加载到数据库服务器中与目标API关联的目标存储区域，以及将与目标API关联的可查询数据加载到目标存储区域。
本实施例中，预设配置接口可以以软件交互接口的形式为用户提供针对目标API的配置界面，以便于用户在该配置界面中配置该目标API的配置元数据。其中，目标API可以根据实际的业务需求进行灵活选定，例如可以选定订单业务的目标API、支付业务的目标API等。
步骤S120，集群中心服务器在接收到用户终端发送的针对目标API的数据查询请求后，根据数据查询请求中的查询元数据，向数据查询服务器发送查询指令。
步骤S130，数据查询服务器根据查询指令从目标存储区域中查询对应的目标查询数据，并将目标查询数据通过集群中心服务器发送给用户终端。
基于上述设计，能够以API接口的形式提供数据查询服务，无需用户关注数据库的查询语句，降低了数据查询的难度，减少了查询异常的概率，从而避免用户由于不熟悉数据库系统和数据表结构而输入不当的查询条件导致的查询异常情况，提高查询效率。
在一种可能的实施方式中，针对步骤S110而言，可以通过以下示例性的子步骤S111-子步骤S113实现，详细描述如下。
子步骤S111，解析并校验配置元数据的格式是否满足预设格式要求，若配置元数据的格式满足预设格式要求，则根据配置元数据配置以下数据：目标API的API访问路径、用于存储该目标API的可查询数据的数据库表信息、用于查询该目标API的可查询数据的数据库表信息的查询请求参数以及查询请求方式。
示例性地，一个数据表可以支持多种数据库表，例如MySQL，Oracle，MongoDB等，因此在配置元数据中，可以在添加数据库类型的标识参数（data_base），并支持自定义数据表名称（table_name），同时也可配置索引规则，索引规则可以支持各类型索引，以数据库的索引类型关键字作为配置的键（index），从而可以配置存储该目标API的可查询数据的数据库表信息。
该目标API的请求参数配置可以包括查询请求参数以及查询请求方式，查询请求方式可以支持POST、GET等，一个查询请求参数的配置可以包含从请求中取值的JSON路径（path），请求参数在该目标API对应的数据表中的列名（column），请求参数在数据库中的数据类型（type）等。
子步骤S112，将配置元数据添加到预设配置表，将预设配置表的序列化对象加载到数据库服务器中与目标API关联的目标存储区域。
子步骤S113，将与目标API关联的可查询数据加载到目标存储区域。
进一步地，在一种可能的示例中，配置元数据中还可以包括缓存配置信息，使得目标API可以支持缓存功能，例如Redis等。基于此，数据查询服务器可根据缓存配置信息配置目标存储区域的缓存数据库、缓存时长以及缓存生成规则。例如，可以在配置元数据中添加缓存配置信息，缓存配置信息可以包括目标存储区域的缓存数据库、缓存时长以及缓存生成规则等相关参数。其中，缓存时长可以支持月、天、小时的配置（valid_time），缓存生成规则的缓存key可以每个元素按下划线连接，支持字符串和以美元符号（如，“$”）开头的JSON路径取得的字符串值。
在上述基础上，数据查询服务器检测配置元数据是否发生更新，并在检测到配置元数据发生更新时，将配置元数据缓存到数据查询服务器的运行内存中，并根据预先设置的缓存时长以及缓存生成规则对运行内存中的配置元数据进行缓存配置。
作为一种可能的实施方式，在子步骤S113中，为了加快后续的查询速度，数据查询服务器可以获取与目标API关联的可查询数据中满足预设查询条件的目标查询数据，并将目标查询数据添加到目标存储区域的缓存数据库中，然后根据缓存时长以及缓存生成规则对缓存数据库中的目标查询数据进行缓存配置。
其中，值得说明的是，预设查询条件可以根据实际的设计需求进行配置，例如可以设置为被查询次数大于设定次数为预设查询条件。如当某个目标查询数据的被查询次数大于设定次数时，则将目标查询数据添加到目标存储区域的缓存数据库中。然后，根据缓存时长以及缓存生成规则对缓存数据库中的目标查询数据进行缓存配置。在此过程中，可以根据该被查询次数灵活配置缓存时长，例如当被查询次数越多的时候，缓存时长则越长。
作为一种可能的实施方式，在子步骤S113中，为了便于用户的不同索引需求，本实施例还可以根据预设写入接口获取目标API的可查询数据，并根据存储该目标API的可查询数据的数据库表信息将可查询数据按照分库分表策略插入到目标存储区域中对应的数据表中。在此过程中，可以根据SnowFlake算法生成可查询数据中每条数据记录的全局唯一标识作为分库分表键。
在进一步可能的实施方式中，本实施例还可以采用异步机制将数据表以多种查询索引字段构建查询异构索引表，异构索引表包括多个查询索引字段和全局索引标识。如此，用户可以在未使用索引查询条件下可先通过索引表查询得到符合条件的全局索引标识列表，再通过全局索引标识查询数据表中的数据。
在上述描述的基础上，对于步骤S120而言，在具体进行数据查询的过程中，集群中心服务器可以根据用户终端的数据查询请求，从异构索引表中查询得到符合查询请求条件的全局索引标识，然后根据该全局索引标识在对应的数据表中查询获得数据结果后，返回给用户终端。
例如，可以通过预设查询接口访问目标API，针对目标API的数据查询请求的请求参数，从而通过目标API的API路径或者数据表名访问某个数据查询服务器，调用该目标API后，通过数据查询服务器从所述目标存储区域中查询对应的目标查询数据。
其中，上述请求参数中的请求方式与前述的元数据配置信息相同，请求参数中的请求路径可以由数据查询服务的统一入口的IP地址、端口号或域名以及API访问路径构成。然后，可以在请求参数的头信息中设置Content-type为application/json，请求体中封装JSON格式的具体查询参数，例如订单业务的某个维度的查询参数。
此外，具体查询参数中的每个字段可以对应一个查询规则的JSON数组，查询规则可以包括值(value)和匹配规则(rule)，匹配规则可以包括等于(EQUAL)，不等于(NOT_EQUAL)，大于(GT)，小于(ST)，大于等于(GE)，小于等于(SE)等。
又例如，具体查询参数也可以仅包括一个或部分参数字段，而非所有提供的参数字段，从而可以无需完全匹配该目标API的元数据配置信息中的所有字段。并且，针对一个字段中也可以配置多个查询条件，从而可以查询到多条数据。
在上述的过程中，用户还可以通过预设删除接口删除目标API的元数据配置信息，同时也可以删除相关的数据表、缓存数据库等。例如，当删除某个目标API的元数据配置信息后同时也会删除缓存数据库。此外，还可以通过预设更新接口随时更新目标API的元数据配置信息。
进一步地，在更新目标API的元数据配置信息时，请求参数可以与元数据配置信息类似，可以覆盖原有的配置信息，同时对应的数据表的结构会随着更新的元数据配置信息进行更新，数据表也可以选择是否复用相同字段的数据，同时删除多余的数据列，而新增的数据列则为空。
在本申请实施例提供的数据查询系统中，可以以微服务的形式的部署多个上述服务，可以通过集群中心服务管理所有的数据查询服务，各数据查询服务器间通过集群注册中心相互发现并相互通信，实现负载均衡。数据查询服务可以部署多个实例，避免单点故障。
进一步地，集群内部署的数据查询服务器也可以通过网关服务器对外提供数据查询服务，从而可以根据用户需求配置规范的目标API，客户可以通过目标API查询所需数据，或者在已有数据表的情况下，用户根据自身需求配置目标API自行查询数据。
基于同一发明构思，请参阅图3，示出了本申请实施例提供的用于执行上述数据查询方法的服务器设备100的结构示意框图，该服务器设备100可以包括机器可读存储介质120和处理器130。本实施例中，所述服务器设备100可以是图1所示的集群中心服务器、与所述集群中心服务器通信连接的多个数据查询服务器以及与每个所述数据查询服务器通信连接的数据库服务器。
本实施例中，机器可读存储介质120与处理器130均位于服务器设备100中且二者分离设置。然而，应当理解的是，机器可读存储介质120也可以是独立于服务器设备100之外，且可以由处理器130通过总线接口来访问。可替换地，机器可读存储介质120也可以集成到处理器130中，例如，可以是高速缓存和/或通用寄存器。
机器可读存储介质120可以存储有机器可执行指令，处理器130可以执行机器可执行指令实现上述的数据查询方法。
以上所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本申请的实施例的详细描述并非旨在限制本申请的保护范围，而仅仅是表示本申请的选定实施例。因此，本申请的保护范围应以权利要求的保护范围为准。此外，基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本申请保护的范围。

Claims (10)

1.一种数据查询方法，其特征在于，应用于数据查询系统，所述数据查询系统包括集群中心服务器、与所述集群中心服务器通信连接的多个数据查询服务器以及与每个所述数据查询服务器通信连接的数据库服务器，所述方法包括：
所述数据查询服务器根据预设配置接口获取所述集群中心服务器发送的针对目标API的配置元数据，并将所述配置元数据加载到所述数据库服务器中与所述目标API关联的目标存储区域，以及将与所述目标API关联的可查询数据加载到所述目标存储区域；
所述集群中心服务器在接收到用户终端发送的针对所述目标API的数据查询请求后，根据所述数据查询请求中的查询元数据，向所述数据查询服务器发送查询指令；
所述数据查询服务器根据所述查询指令从所述目标存储区域中查询对应的目标查询数据，并将所述目标查询数据通过所述集群中心服务器发送给所述用户终端。
2.根据权利要求1所述的数据查询方法，其特征在于，所述数据查询服务器根据预设配置接口获取所述集群中心服务器发送的针对目标API的配置元数据，并将所述配置元数据加载到所述数据库服务器中与所述目标API关联的目标存储区域的步骤，包括：
解析并校验所述配置元数据的格式是否满足预设格式要求，若所述配置元数据的格式满足预设格式要求，则根据所述配置元数据配置以下数据：所述目标API的API访问路径、用于存储该目标API的可查询数据的数据库表信息、用于查询该目标API的可查询数据的数据库表信息的查询请求参数以及查询请求方式；
将所述配置元数据添加到预设配置表，将所述预设配置表的序列化对象加载到所述数据库服务器中与所述目标API关联的目标存储区域；
将与所述目标API关联的可查询数据加载到所述目标存储区域。
3.根据权利要求2所述的数据查询方法，其特征在于，所述配置元数据中还包括缓存配置信息，所述方法还包括：
所述数据查询服务器根据所述缓存配置信息配置所述目标存储区域的缓存数据库、缓存时长以及缓存生成规则；
所述数据查询服务器检测所述配置元数据是否发生更新，并在检测到所述配置元数据发生更新时，将所述配置元数据缓存到所述数据查询服务器的运行内存中，并根据预先配置的缓存时长以及缓存生成规则对所述缓存数据库中的所述配置元数据进行缓存配置。
4.根据权利要求3所述的数据查询方法，其特征在于，所述将与所述目标API关联的可查询数据加载到所述目标存储区域的步骤，包括：
获取与所述目标API关联的可查询数据中满足预设查询条件的目标查询数据，并将所述目标查询数据添加到所述目标存储区域的缓存数据库中；
根据所述缓存时长以及缓存生成规则对所述缓存数据库中的所述目标查询数据进行缓存配置。
5.根据权利要求2所述的数据查询方法，其特征在于，所述将与所述目标API关联的可查询数据加载到所述目标存储区域的步骤，包括：
根据预设写入接口获取所述目标API的可查询数据，并根据存储该目标API的可查询数据的数据库表信息将所述可查询数据按照分库分表策略插入到所述目标存储区域中对应的数据表中；
根据SnowFlake算法生成所述可查询数据中每条数据记录的全局唯一标识作为分库分表键。
6.根据权利要求5所述的数据查询方法，其特征在于，所述将与所述目标API关联的可查询数据加载到所述目标存储区域的步骤，还包括：
采用异步机制将所述数据表以多种查询索引字段构建异构索引表，所述异构索引表包括多个查询索引字段和全局索引标识。
7.根据权利要求6所述的数据查询方法，其特征在于，所述集群中心服务器在接收到用户终端发送的针对所述目标API的数据查询请求后，根据所述数据查询请求中的查询元数据，向所述数据查询服务器发送查询指令的步骤，包括：
所述集群中心服务器根据用户终端的数据查询请求，从异构索引表中查询得到符合查询请求条件的全局索引标识；
根据该全局索引标识在对应的数据表中查询获得所述数据查询请求的请求参数对应的数据结果后，返回给用户终端。
8.一种数据查询系统，其特征在于，所述数据查询系统包括集群中心服务器、与所述集群中心服务器通信连接的多个数据查询服务器以及与每个所述数据查询服务器通信连接的数据库服务器；
所述数据查询服务器用于根据预设配置接口获取所述集群中心服务器发送的针对目标API的配置元数据，并将所述配置元数据加载到所述数据库服务器中与所述目标API关联的目标存储区域，以及将与所述目标API关联的可查询数据加载到所述目标存储区域；
所述集群中心服务器用于在接收到用户终端发送的针对所述目标API的数据查询请求后，根据所述数据查询请求中的查询元数据，向所述数据查询服务器发送查询指令；
所述数据查询服务器用于根据所述查询指令从所述目标存储区域中查询对应的目标查询数据，并将所述目标查询数据通过所述集群中心服务器发送给所述用户终端。
9.根据权利要求8所述的数据查询系统，其特征在于，所述数据查询服务器具体用于：
解析并校验所述配置元数据的格式是否满足预设格式要求，若所述配置元数据的格式满足预设格式要求，则根据所述配置元数据配置以下数据：所述目标API的API访问路径、用于存储该目标API的可查询数据的数据库表信息、用于查询该目标API的可查询数据的数据库表信息的查询请求参数以及查询请求方式；
将所述配置元数据添加到预设配置表，将所述预设配置表的序列化对象加载到所述数据库服务器中与所述目标API关联的目标存储区域；
将与所述目标API关联的可查询数据加载到所述目标存储区域。
10.根据权利要求9所述的数据查询系统，其特征在于，所述数据查询服务器具体还用于：
当所述配置元数据中还包括缓存配置信息时，所述数据查询服务器根据所述缓存配置信息配置所述目标存储区域的缓存数据库、缓存时长以及缓存生成规则；
检测所述数据查询服务器检测到所述配置元数据发生更新；
在检测到所述配置元数据发生更新时，将所述配置元数据缓存到所述数据查询服务器的运行内存中，并根据预先配置的缓存时长以及缓存生成规则对所述缓存数据库中的所述配置元数据进行缓存配置。
CN202011081897.7A 2020-10-12 2020-10-12 数据查询方法及系统 Active CN111930780B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011081897.7A CN111930780B (zh) 2020-10-12 2020-10-12 数据查询方法及系统
US17/399,037 US11250012B1 (en) 2020-10-12 2021-08-10 Data query method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011081897.7A CN111930780B (zh) 2020-10-12 2020-10-12 数据查询方法及系统

Publications (2)

Publication Number Publication Date
CN111930780A CN111930780A (zh) 2020-11-13
CN111930780B true CN111930780B (zh) 2020-12-18

Family

ID=73334721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011081897.7A Active CN111930780B (zh) 2020-10-12 2020-10-12 数据查询方法及系统

Country Status (2)

Country Link
US (1) US11250012B1 (zh)
CN (1) CN111930780B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948666A (zh) * 2021-01-28 2021-06-11 浪潮云信息技术股份公司 一种将库表数据发布为api服务的实现方法
CN113035293B (zh) * 2021-04-23 2024-03-19 一泽信息科技(上海)有限公司 一种绿色农药库的建库方法
CN113239070B (zh) * 2021-06-18 2024-07-19 广州小鹏汽车科技有限公司 数据查询方法、装置及电子设备
CN113420052B (zh) * 2021-07-08 2023-02-17 上海浦东发展银行股份有限公司 一种多级分布式缓存系统及方法
CN113868344B (zh) * 2021-09-29 2024-04-16 国网智能电网研究院有限公司 面向电力应用的构建系统、方法、装置、服务器及存储介质
CN113901284B (zh) * 2021-12-08 2022-04-12 航天云网数据研究院(广东)有限公司 标识及其关联信息的查询方法、装置和服务器
CN114691898A (zh) * 2022-03-10 2022-07-01 北京旷视科技有限公司 图像查询方法、终端设备、系统及计算机可读存储介质
CN114595245A (zh) * 2022-03-18 2022-06-07 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN114629788B (zh) * 2022-03-23 2023-10-27 中国工商银行股份有限公司 配置信息的更新方法、系统、存储介质和电子装置
CN114895975B (zh) * 2022-04-27 2023-07-25 上海万物新生环保科技集团有限公司 一种服务端系统的预热方法及设备
CN114692208B (zh) * 2022-05-31 2022-09-27 中建电子商务有限责任公司 一种数据查询服务权限的处理方法
CN116132448B (zh) * 2023-02-10 2024-05-03 平安科技（深圳）有限公司 基于人工智能的数据分流方法及相关设备
CN116204136B (zh) * 2023-05-04 2023-08-15 山东浪潮科学研究院有限公司 一种数据存储、查询方法、装置、设备及存储介质
CN117370493A (zh) * 2023-09-22 2024-01-09 中国司法大数据研究院有限公司 一种基于大语言模型的系统智能交互方法与装置
CN117076465B (zh) * 2023-10-16 2024-04-05 支付宝(杭州)信息技术有限公司 一种数据关联查询方法及相关设备
CN117435177B (zh) * 2023-12-20 2024-03-26 浙江寰福科技有限公司 应用程序接口构建方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024060A (zh) * 2012-12-20 2013-04-03 中国科学院深圳先进技术研究院 一种开放式云计算大规模集群监控系统及方法
CN108737527A (zh) * 2018-05-11 2018-11-02 重庆工商职业学院 一种适用于平台大规模用户访问方法及系统
CN111787066A (zh) * 2020-06-06 2020-10-16 王科特 一种基于大数据、ai的物联网数据平台

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447774B1 (en) * 2004-11-23 2013-05-21 Progress Software Corporation Database-independent mechanism for retrieving relational data as XML
US8719243B2 (en) * 2010-04-27 2014-05-06 Salesforce.Com, Inc. Methods and systems for filtering data for interactive display of database data
US8886631B2 (en) * 2010-06-04 2014-11-11 Yale University Query execution systems and methods
US8825664B2 (en) * 2012-08-17 2014-09-02 Splunk Inc. Indexing preview
CA2968425A1 (en) * 2015-03-12 2016-09-15 2402326 Ontario Inc. O/A Nuage Telecom Inc. Cloud computing telecommunications platform
US20180060133A1 (en) * 2016-09-01 2018-03-01 Amazon Technologies, Inc. Event-driven resource pool management
US10970303B1 (en) * 2017-08-03 2021-04-06 Amazon Technologies, Inc. Selecting resources hosted in different networks to perform queries according to available capacity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024060A (zh) * 2012-12-20 2013-04-03 中国科学院深圳先进技术研究院 一种开放式云计算大规模集群监控系统及方法
CN108737527A (zh) * 2018-05-11 2018-11-02 重庆工商职业学院 一种适用于平台大规模用户访问方法及系统
CN111787066A (zh) * 2020-06-06 2020-10-16 王科特 一种基于大数据、ai的物联网数据平台

Also Published As

Publication number Publication date
US11250012B1 (en) 2022-02-15
CN111930780A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111930780B (zh) 数据查询方法及系统
US20200249939A1 (en) Maintaining and updating software versions via hierarchy
US9317706B2 (en) Multi-tenant system
CN109032824A (zh) 数据库校验方法、装置、计算机设备和存储介质
CN111309785B (zh) 基于Spring框架的数据库访问方法、装置、计算机设备和介质
US8185546B2 (en) Enhanced control to users to populate a cache in a database system
CN111241177B (zh) 数据采集方法、系统及网络设备
US20220263772A1 (en) Metadata driven static determination of controller availability
CN104216724A (zh) 一种网络应用程序接口升级的方法及系统
CN110430255A (zh) 分布式集群中服务请求的处理方法、系统以及电子设备
CN113986921A (zh) 一种黑名单查询方法、系统、电子设备及存储介质
CN116450607A (zh) 数据处理方法、设备及存储介质
CN112783866B (zh) 数据读取方法、装置、计算机设备和存储介质
US20080250121A1 (en) Facilitating configuration of multiple instances of an application on a server cluster
US20150261800A1 (en) Method for Storing and Accessing Data into an Indexed Key/Value Pair for Offline Access
CN114610770A (zh) 一种基于orm的分布式全局缓存系统
CN114489772A (zh) 工作流执行方法及装置、存储介质、设备
CN110968267A (zh) 数据管理方法、装置、服务器及系统
CN117539962B (zh) 数据处理方法、装置、计算机设备和存储介质
CN117251500B (zh) 一种数据库动态读写分离的方法
CN117453380B (zh) 集群的容器组调度方法、系统以及计算机设备
CN116708024B (zh) 威胁情报碰撞筛选方法、网关系统、电子设备和存储介质
CN117112654B (zh) 城市数据展示方法、装置、计算机设备和存储介质
CN109274518B (zh) 一种设备管理方法、装置及计算机可读存储介质
US20230094137A1 (en) Generating and visualizing a data structure of a management model of an application server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant