CN116610703A - 数据查询方法、装置、计算机设备和存储介质 - Google Patents

数据查询方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116610703A
CN116610703A CN202310627529.5A CN202310627529A CN116610703A CN 116610703 A CN116610703 A CN 116610703A CN 202310627529 A CN202310627529 A CN 202310627529A CN 116610703 A CN116610703 A CN 116610703A
Authority
CN
China
Prior art keywords
data
query
database
queried
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310627529.5A
Other languages
English (en)
Inventor
陈庆武
颜丰
谢锋
林松平
张树东
来泽齐
林红莲
郑炀
邱旭凡
王茜
曾霖煊
林心怡
林雨欣
张冠榕
刘骁
刘文俊
吴谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Bank Co Ltd
CIB Fintech Services Shanghai Co Ltd
Original Assignee
Industrial Bank Co Ltd
CIB Fintech Services Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Bank Co Ltd, CIB Fintech Services Shanghai Co Ltd filed Critical Industrial Bank Co Ltd
Priority to CN202310627529.5A priority Critical patent/CN116610703A/zh
Publication of CN116610703A publication Critical patent/CN116610703A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation
    • G06F16/24539Query rewriting; Transformation using cached or materialised query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据查询方法、装置、计算机设备和存储介质。所述方法包括:获取待查询数据对应的查询条件;所述待查询数据中的数据被分类为第一数据和第二数据;在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息;其中,第一数据与标识信息的关联关系被预先存储于第一数据库中;根据所述标识信息,在第二数据库中查询第二数据;其中,所述第二数据与标识信息的关联关系被预先存储于第二数据库中。因此,本公开实施例在提高查询效率的同时,保证了数据的完整性。

Description

数据查询方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据查询方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,出现了信息查询技术。用户在客户端输入查询条件,服务器端检索与查询条件相匹配的查询结果。然而,在查询条件中包括多个字段按照输入的逻辑关系进行动态组合查询时,由于输入的逻辑关系以及字段内容具有不可预知性,导致数据库不能使用预编译的查询条件对应的查询语句,因此,服务器查询效率低下,很难满足客户端查询需求。
发明内容
基于此,有必要针对上述技术问题,提供一种数据查询方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面,本申请提供了一种数据查询方法。所述方法包括:
应用于服务器,所述方法包括:
获取待查询数据对应的查询条件;其中,所述查询条件包括多个查询字段的组合;所述待查询数据中的数据被分类为第一数据和第二数据;
在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息;其中,第一数据与标识信息的关联关系被预先存储于第一数据库中;
根据所述标识信息,在第二数据库中查询第二数据;其中,所述第二数据与标识信息的关联关系被预先存储于第二数据库中。
在一种可能的实现方式中,所述第一数据库包括非关系型数据库,所述在第一数据库中查询与所述查询条件相匹配的第一数据,包括:
从所述查询条件中提取与第一数据相关的查询字段;
根据预设的查询字段与第一数据的关联关系,确定所述第一数据相关的查询字段所对应的第一数据。
在一种可能的实现方式中,所述第二数据库包括关系型数据库,所述获取待查询数据对应的查询条件,之前还包括:
获取数据源;
根据数据源数据内容的预设权重,将所述数据源分类为第一数据和第二数据;其中,所述第一数据的权重小于所述第二数据;
将所述第一数据存储于所述第一数据库中,以及将所述第二数据存储于第二数据库中。
在一种可能的实现方式中,还包括:
根据预设的热点统计规则,从所述数据源中获取查询频率大于预设阈值的热点数据;
将所述热点数据存储于缓存数据库中;
所述获取待查询数据对应的查询条件,之后还包括:
在所述查询条件符合预设的热点查询条件的情况下,从所述缓存数据库中确定所述待查询数据;
在所述查询条件不符合预设的热点查询条件的情况下,在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息。
在一种可能的实现方式中,还包括:
获取多个预设的查询条件;
根据多个所述预设的查询条件,查询对应的第一数据,得到多个第一数据;
根据多个所述第一数据,以及帕累托法则,确定最优的预设数量的查询条件;
向客户端发送所述预设数量的查询条件,以指示所述客户端在数据查询页面展示所述预设数量的查询条件。
在一种可能的实现方式中,所述待查询数据包括候选人的面试数据,在所述获取待查询数据对应的查询条件,之前还包括:
建立所述待查询数据对应的元数据模型;
根据所述元数据模型以及第一数据,建立查询字段与第一数据的预设关联关系;
根据所述元数据模型,确定第二数据库中的第二数据的存储字段及数据存储结构;其中,所述存储字段的属性被设置为可扩展。
第二方面,本申请还提供了一种数据查询装置。所述装置包括:
第一获取模块,用于获取待查询数据对应的查询条件;其中,所述查询条件包括多个查询字段的组合;所述待查询数据中的数据被分类为第一数据和第二数据;
第一查询模块,用于在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息;其中,第一数据与标识信息的关联关系被预先存储于第一数据库中;
第二查询模块,用于根据所述标识信息,在第二数据库中查询第二数据;其中,所述第二数据与标识信息的关联关系被预先存储于第二数据库中。
在一种可能的实现方式中,所述第一数据库包括非关系型数据库,所述第一查询模块,包括:
提取子模块,用于从所述查询条件中提取与第一数据相关的查询字段;
确定子模块,用于根据预设的查询字段与第一数据的关联关系,确定所述第一数据相关的查询字段所对应的第一数据。
在一种可能的实现方式中,所述第二数据库包括关系型数据库,所述装置还包括:
第二获取模块,用于获取数据源;
分类模块,用于根据数据源数据内容的预设权重,将所述数据源分类为第一数据和第二数据;其中,所述第一数据的权重小于所述第二数据;
第一存储模块,用于将所述第一数据存储于所述第一数据库中,以及将所述第二数据存储于第二数据库中。
在一种可能的实现方式中,所述装置还包括:
第三获取模块,用于根据预设的热点统计规则,从所述数据源中获取查询频率大于预设阈值的热点数据;
第二存储模块,用于将所述热点数据存储于缓存数据库中;
第三查询模块,用于在所述查询条件符合预设的热点查询条件的情况下,从所述缓存数据库中确定所述待查询数据;
第一查询模块,用于在所述查询条件不符合预设的热点查询条件的情况下,在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息。
在一种可能的实现方式中,所述装置还包括:
第四获取模块,用于获取多个预设的查询条件;
第四查询模块,用于根据多个所述预设的查询条件,查询对应的第一数据,得到多个第一数据;
第一确定模块,用于根据多个所述第一数据,以及帕累托法则,确定最优的预设数量的查询条件;
发送模块,用于向客户端发送所述预设数量的查询条件,以指示所述客户端在数据查询页面展示所述预设数量的查询条件。
在一种可能的实现方式中,所述装置还包括:
第一建立模块,用于建立所述待查询数据对应的元数据模型;
第二建立模块,用于根据所述元数据模型以及第一数据,建立查询字段与第一数据的预设关联关系;
第二确定模块,用于根据所述元数据模型,确定第二数据库中的第二数据的存储字段及数据存储结构;其中,所述存储字段的属性被设置为可扩展。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如本公开实施例任一项所述的数据查询方法。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本公开实施例任一项所述的数据查询方法。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如本公开实施例任一项所述的数据查询方法。
上述数据查询方法、装置、计算机设备、存储介质和计算机程序产品,通过将待查询的数据分类成为第一数据和第二数据,并分别存储于两种不同索引机制的数据库中,在第一数据库中,通过建立查询字段与第一数据的预设关联关系,可以快速的匹配到与查询条件相匹配的第一数据。并通过标识信息、第一数据、和第二数据之间的对应关系,确定与第一数据相匹配的标识信息,利用该标识信息,从第二数据库中快速的查找到第二数据。因此,本公开实施例能够从第一数据库中较快的查询到符合预设要求(例如重要性较低、数据量偏小等)的第一数据,并利用第一数据对应的标识信息,在第二数据库中快速的查找到符合预设要求(重要性较高、数据量偏大等)第二数据。在提高查询效率的同时,保证了数据的完整性。
附图说明
图1为一个实施例中数据查询方法的应用环境图;
图2为一个实施例中数据查询方法的第一流程示意图;
图3为另一个实施例中数据查询方法的第二流程示意图;
图4为一个实施例中数据查询装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
还需要说明的是,本公开所涉及的候选人的信息(包括但不限于候选人的设备信息、候选人的个人信息等)和数据(包括但不限于用于查询的数据、展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。本申请技术方案中对数据的获取、存储、使用、处理均符合国家法律法规的相关规定。
本申请实施例提供的数据查询方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。第一数据库可以存储服务器104需要查询的第一数据;第二数据库可以存储服务器104需要查询的第二数据;缓存数据库可以存储服务器104需要查询的热点数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据查询方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S201,获取待查询数据对应的查询条件;其中,所述查询条件包括多个查询字段的组合;所述待查询数据中的数据被分类为第一数据类型和第二数据类型。
具体的,所述查询条件可以包括查询数据使用的关键词、分类号、时间期限等,其中,查询条件可以包括多个查询字段的组合,例如:关键词a和关键词b的组合,关键词和分类号的组合等。其中,组合的方式可以包括基于布尔逻辑例如“与”“或”“非”等方式进行组合,也可以包括根据预设场景自定义的组合方式。
所述待查询数据中的数据可以被分类为第一数据和第二数据。在一示例性实施例中,待查询的数据包括候选人的面试数据,一方面,候选人的简历信息、面试成功或失败的记录可以作为第一数据,另一方面,候选人对简历信息的浏览记录、登录次数可以作为第二数据。在另一示例性实施例中,待查询的数据包括产品数据,一方面产品的属性信息可以作为第一数据,产品的曝光次数可以作为第二数据。本公开实施例中,可以根据数据的预设权重,将数据分类为第一数据类型和第二数据类型,其中,不同的权重可以表示不同的维度,例如数据的重要性、数据存储格式、存储容量等。
步骤S203,在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息;其中,第一数据与标识信息的关联关系被预先存储于第一数据库中。
具体的,所述第一数据库和第二数据库可以包括不同的查询逻辑的数据库。所述第一数据库中可以包括查询字段与第一数据的预设关联关系,例如,教育经历-包含教育经历的第一数据;工作经历-包含工作经历的第一数据;期望薪资;包含期望薪资的第一数据等。在第一数据库中查询到上述满足查询字段的第一数据之后,不同查询字段对应的第一数据可以来源于不同的标识信息,例如,包含教育经历的第一数据对应的标识信息可以包括标识信息A、标识信息G、标识信息H等;包含工作经历的第一数据对应的标识信息可以包括标识信息C、标识信息J、标识信息A、标识信息F等;包含期望薪资的第一数据对应的标识信息可以包括标识信息G、标识信息H、标识信息K等。
本公开实施例中,第一数据与标识信息的关联关系被预先存储于第一数据库中,因此通过第一数据可以查找到对应的标识信息。
步骤S205,根据所述标识信息,在第二数据库中查询第二数据类型的第二数据;其中,所述第二数据与标识信息的关联关系被预先存储于第二数据库中。
具体的,第二数据库中存储有第二数据与标识信息的关联关系,通过标识信息,可以确定第二数据。
本公开实施例,通过将待查询的数据分类成为第一数据和第二数据,并分别存储于两种不同索引机制的数据库中,在第一数据库中,通过建立查询字段与第一数据的预设关联关系,可以快速的匹配到与查询条件相匹配的第一数据。并通过标识信息、第一数据、和第二数据之间的对应关系,确定与第一数据相匹配的标识信息,利用该标识信息,从第二数据库中快速的查找到第二数据。因此,本公开实施例能够从第一数据库中较快的查询到符合预设要求(例如重要性较低、数据量偏小等)的第一数据,并利用第一数据对应的标识信息,在第二数据库中快速的查找到符合预设要求(重要性较高、数据量偏大等)第二数据。在提高查询效率的同时,保证了数据的完整性。
在一种可能的实现方式中,所述第一数据库包括非关系型数据库,所述在第一数据库中查询与所述查询条件相匹配的第一数据,包括:
步骤S301,从所述查询条件中提取与第一数据相关的查询字段;
步骤S303,根据预设的查询字段与第一数据的预设关联关系,确定所述第一数据相关的查询字段所对应的第一数据。
具体的,所述第一数据库可以包括非关系型数据库,例如elasticsearch、ApacheCouchDB、MarkLogic等。非关系型数据库的数据存储格式较为灵活,可以通过键值、宽列、图形进行存储,避免了复杂的数据查询语句(SQL)连接操作,因而效率更高。利用非关系型数据库存储预设的查询字段与第一数据的预设关联关系。具体的,从查询条件中题述与第一数据相关的查询字段,例如,查询条件中可以包括多个查询字段,如工作经历、教育经历、期望薪资、浏览次数、登录次数、点击率等,其中,可以预先设置浏览次数、登录次数、点击率等查询字段与第一数据相关;设置工作经历、教育经历、期望薪资等查询字段与第二数据相关。在一示例性实施例中,从所述查询条件中提取与第一数据相关的查询字段,即上例中的,工作经历、教育经历、期望薪资,根据预设的查询字段与第一数据的预设关联关系,确定所述第一数据相关的查询字段所对应的第一数据。
本公开实施例中,第一数据、第二数据和标识信息之间可以建立预设的关联关系,因此,可以根据确定的第一数据,确定第一数据对应的标识信息,进一步根据标识信息,在第二数据库中确定初始第二数据。在一示例性实施例中,还可以根据查询条件中与第二数据相关的查询字段,例如上例中的工作经历、教育经历、期望薪资,对上述初始第二数据进行筛选处理,得到第二数据。
上述实施例,利用非关系型数据库的存储格式较为灵活,可以通过键值、宽列、图形进行存储,避免了复杂的数据查询语句(SQL)连接操作,因而效率更高的特点,存储第二数据,并存储第二数据以及与第二数据有关的查询字段之间的关联关系,可以方便快速的查找到第二数据,根据第二数据对应的标识信息,在第一数据库中查找第一数据,此时的第一数据可以通过与第一数据有关的查询字段进行筛选,筛选到的数据与查询条件的紧密型更强。
在一种可能的实现方式中,所述第二数据库包括关系型数据库,所述获取待查询数据对应的查询条件,之前还包括:
获取数据源;
根据数据源数据内容的预设权重,将所述数据源分类为第一数据和第二数据;其中,所述第一数据的权重小于所述第二数据;
将所述第一数据存储于所述第一数据库中,以及将所述第二数据存储于第二数据库中。
具体的,所述关系型数据库可以包括采用了关系模型来组织数据的数据库,按照结构化的方法存储数据,每个数据表对各个字段定义完成,再根据表的结构存入数据。具有存储稳定,完整性高的优点。
本公开实施例中,所述数据源可以包括所有待查询数据。在一示例性实施例中,可以对数据源的数据内容设置权重,例如将工作经历、教育经历相关的数据对应的权重高于浏览次数、登录次数、点击率相关数据对应的权重。在一示例性实施例中,可以将权重较小的数据作为第一数据,将权重较大的数据作为第二数据。并将第一数据存储于第一数据库中,将第二数据存储于第二数据库中。
本公开实施例中,由于数据分布式存储在不同的数据库中,在一示例性实施例中,可以对于权重较大的第二数据做SM3算法摘要,以保证数据完整性。
上述实施例,第一数据库存储结构灵活,可以预先设置查询字段与第一数据的关联关系,从而可以通过查询字段快速地匹配到第一数据。第二数据库采用了关系型数据库,具有存储稳定,完整性高的优点。因此,利用第一数据库存储权重较低的第一数据,利用第二数据库存储权重较高,更加重要和核心(重要或核心的数据定义可以根据具体的应用场景设置)的数据,可以保证查询效率的同时,保证数据的完整性。
在一种可能的实现方式中,还包括:
根据预设的热点统计规则,从所述数据源中获取查询频率大于预设阈值的热点数据;
将所述热点数据存储于缓存数据库中;
所述获取待查询数据对应的查询条件,之后还包括:
在所述查询条件符合预设的热点查询条件的情况下,从所述缓存数据库中确定所述待查询数据;
在所述查询条件不符合预设的热点查询条件的情况下,在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息。
具体的,所述热点统计规则可以包括预设时段内访问次数达到预设阈值以上的数据被确认为热点数据,例如每秒的查询率。从数据源中获取热点数据。在一示例性实施例中,将所述热点数据存储于缓存数据库中,其中,所述缓存数据库可以包括REDIS数据库。查询时,可以先对查询条件是否符合预设的热点查询条件,如果符合,表示要查询的数据存储在缓存数据库中,可以从该缓存数据直接查询带查询的热点数据。
本公开实施例,将热点数据单独存在于缓存数据库中,在高并发的情况下,可以减少对第一数据库和第二数据库的查询压力,提高了数据查询效率。
在一种可能的实现方式中,获取多个预设的查询条件;
根据多个所述预设的查询条件,查询对应的第一数据,得到多个第一数据;
根据多个所述第一数据,以及帕累托法则,确定最优的预设数量的查询条件;
向客户端发送所述预设数量的查询条件,以指示所述客户端在数据查询页面展示所述预设数量的查询条件。
具体的,多个预设查询条件可以包括不同字段的组合,例如,查询条件a查询到第一数据a;查询条件b查询到第一数据b;查询条件c查询到第一数据c……。可以设置多优化目标,例如数据的准确率、数据完整性、数据查询效率等。根据帕累托法则,或其他优化算法,确定最优的预设数量的查询条件。向客户端发送预设数量的查询条件,以指示所述客户端在数据查询页面展示所述预设数量的查询条件,从而提示用户按照建议的查询条件查询待查询的数据,能够获得较准确的查询结果。
在一种可能的实现方式中,所述待查询数据包括候选人的面试数据,在所述获取待查询数据对应的查询条件,之前还包括:
建立所述待查询数据对应的元数据模型;
根据所述元数据模型以及第一数据,建立查询字段与第一数据的预设关联关系;
根据所述元数据模型,确定第二数据库中的第二数据的存储字段及数据存储结构;其中,所述存储字段的属性被设置为可扩展。
具体的,所述元数据模型用于描述数据的属性信息,可以根据具体的应用场景设置不同的元数据模型,例如,查询面试候选人的应用场景中,可以将工作经历、教育经历、职业证书等作为元数据模型中的字段信息,建立结构化数据存储模型。再例如,产品查询的应用场景中,可以将产品名称、产品价格、产品性能等作为元数据模型中的字段信息,建立结构化数据存储模型。在第一数据库中,根据元数据模型以及第一数据,建立查询字段与第一数据的预设关联关系。在第二数据库中,根据元数据模型,确定第二数据库中的第二数据的存储字段及数据存储结构。其中,存储字段的属性被设置为可扩展。
本公开实施例中,可以与第三方系统进行合作,完成标准数据集成。数据源进行采集时,以WEB客户端采集候选人元数据,该客户端以VUE框架为基础,采集时客户端采用动态代码渲染,动态代码含HTML、JS、CSS,并增加过滤器对敏感和危险动态代码做筛查,防止脚本注入攻击以及其他安全隐患。在其他实施例中,本公开还可以对数据的完整性和一致性进行处理,引入quarz批处理框架,根据不同策略时间点定期同步关系型数据库和非关系型数据库,并校验SM3算法摘要的一致性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据查询方法的数据查询装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据查询装置实施例中的具体限定可以参见上文中对于数据查询方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种数据查询装置,包括:
第一获取模块401,用于获取待查询数据对应的查询条件;其中,所述查询条件包括多个查询字段的组合;所述待查询数据中的数据被分类为第一数据和第二数据;
第一查询模块403,用于在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息;其中,第一数据与标识信息的关联关系被预先存储于第一数据库中;
第二查询模块405,用于根据所述标识信息,在第二数据库中查询第二数据;其中,所述第二数据与标识信息的关联关系被预先存储于第二数据库中。
在一种可能的实现方式中,所述第一数据库包括非关系型数据库,所述第一查询模块,包括:
提取子模块,用于从所述查询条件中提取与第一数据相关的查询字段;
确定子模块,用于根据预设的查询字段与第一数据的关联关系,确定所述第一数据相关的查询字段所对应的第一数据。
在一种可能的实现方式中,所述第二数据库包括关系型数据库,所述装置还包括:
第二获取模块,用于获取数据源;
分类模块,用于根据数据源数据内容的预设权重,将所述数据源分类为第一数据和第二数据;其中,所述第一数据的权重小于所述第二数据;
第一存储模块,用于将所述第一数据存储于所述第一数据库中,以及将所述第二数据存储于第二数据库中。
在一种可能的实现方式中,所述装置还包括:
第三获取模块,用于根据预设的热点统计规则,从所述数据源中获取查询频率大于预设阈值的热点数据;
第二存储模块,用于将所述热点数据存储于缓存数据库中;
第三查询模块,用于在所述查询条件符合预设的热点查询条件的情况下,从所述缓存数据库中确定所述待查询数据;
第一查询模块,用于在所述查询条件不符合预设的热点查询条件的情况下,在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息。
在一种可能的实现方式中,所述装置还包括:
第四获取模块,用于获取多个预设的查询条件;
第四查询模块,用于根据多个所述预设的查询条件,查询对应的第一数据,得到多个第一数据;
第一确定模块,用于根据多个所述第一数据,以及帕累托法则,确定最优的预设数量的查询条件;
发送模块,用于向客户端发送所述预设数量的查询条件,以指示所述客户端在数据查询页面展示所述预设数量的查询条件。
在一种可能的实现方式中,所述装置还包括:
第一建立模块,用于建立所述待查询数据对应的元数据模型;
第二建立模块,用于根据所述元数据模型以及第一数据,建立查询字段与第一数据的预设关联关系;
第二确定模块,用于根据所述元数据模型,确定第二数据库中的第二数据的存储字段及数据存储结构;其中,所述存储字段的属性被设置为可扩展。
上述数据查询装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据查询数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据查询方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据查询方法,其特征在于,应用于服务器,所述方法包括:
获取待查询数据对应的查询条件;其中,所述查询条件包括多个查询字段的组合;所述待查询数据中的数据被分类为第一数据和第二数据;
在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息;其中,第一数据与标识信息的关联关系被预先存储于第一数据库中;
根据所述标识信息,在第二数据库中查询第二数据;其中,所述第二数据与标识信息的关联关系被预先存储于第二数据库中。
2.根据权利要求1所述的方法,其特征在于,所述第一数据库包括非关系型数据库,所述在第一数据库中查询与所述查询条件相匹配的第一数据,包括:
从所述查询条件中提取与第一数据相关的查询字段;
根据预设的查询字段与第一数据的关联关系,确定所述第一数据相关的查询字段所对应的第一数据。
3.根据权利要求1所述的方法,其特征在于,所述第二数据库包括关系型数据库,所述获取待查询数据对应的查询条件,之前还包括:
获取数据源;
根据数据源数据内容的预设权重,将所述数据源分类为第一数据和第二数据;其中,所述第一数据的权重小于所述第二数据;
将所述第一数据存储于所述第一数据库中,以及将所述第二数据存储于第二数据库中。
4.根据权利要求3所述的方法,其特征在于,还包括:
根据预设的热点统计规则,从所述数据源中获取查询频率大于预设阈值的热点数据;
将所述热点数据存储于缓存数据库中;
所述获取待查询数据对应的查询条件,之后还包括:
在所述查询条件符合预设的热点查询条件的情况下,从所述缓存数据库中确定所述待查询数据;
在所述查询条件不符合预设的热点查询条件的情况下,在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息。
5.根据权利要求1所述的方法,其特征在于,还包括:
获取多个预设的查询条件;
根据多个所述预设的查询条件,查询对应的第一数据,得到多个第一数据;
根据多个所述第一数据,以及帕累托法则,确定最优的预设数量的查询条件;
向客户端发送所述预设数量的查询条件,以指示所述客户端在数据查询页面展示所述预设数量的查询条件。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述待查询数据包括候选人的面试数据,在所述获取待查询数据对应的查询条件,之前还包括:
建立所述待查询数据对应的元数据模型;
根据所述元数据模型以及第一数据,建立查询字段与第一数据的预设关联关系;
根据所述元数据模型,确定第二数据库中的第二数据的存储字段及数据存储结构;其中,所述存储字段的属性被设置为可扩展。
7.一种数据查询装置,其特征在于,应用于服务器,所述装置包括:
第一获取模块,用于获取待查询数据对应的查询条件;其中,所述查询条件包括多个查询字段的组合;所述待查询数据中的数据被分类为第一数据和第二数据;
第一查询模块,用于在第一数据库中查询与所述查询条件相匹配的第一数据及所述待查询数据的标识信息;其中,第一数据与标识信息的关联关系被预先存储于第一数据库中;
第二查询模块,用于根据所述标识信息,在第二数据库中查询第二数据;其中,所述第二数据与标识信息的关联关系被预先存储于第二数据库中。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的数据查询方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的数据查询方法的步骤。
CN202310627529.5A 2023-05-30 2023-05-30 数据查询方法、装置、计算机设备和存储介质 Pending CN116610703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310627529.5A CN116610703A (zh) 2023-05-30 2023-05-30 数据查询方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310627529.5A CN116610703A (zh) 2023-05-30 2023-05-30 数据查询方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116610703A true CN116610703A (zh) 2023-08-18

Family

ID=87674417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310627529.5A Pending CN116610703A (zh) 2023-05-30 2023-05-30 数据查询方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116610703A (zh)

Similar Documents

Publication Publication Date Title
CN110472068B (zh) 基于异构分布式知识图谱的大数据处理方法、设备及介质
CN103678339B (zh) 数据回流、关系型数据库中的数据访问方法及系统
CA2919878C (en) Refining search query results
CN105550241A (zh) 多维数据库查询方法及装置
CN104142999A (zh) 搜索结果展示方法及装置
US10810458B2 (en) Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors
CN110543603B (zh) 基于用户行为的协同过滤推荐方法、装置、设备和介质
CN114579584B (zh) 数据表处理方法、装置、计算机设备和存储介质
CN109063215B (zh) 数据检索方法及装置
CN112883030A (zh) 数据收集方法、装置、计算机设备和存储介质
JP2019520627A (ja) データベース中にグラフ情報を記憶するためのb木使用
CN114817717A (zh) 搜索方法、装置、计算机设备和存储介质
CN111512304B (zh) 在二维方面立方体上进行方面聚类的方法和系统
CN109101595B (zh) 一种信息查询方法、装置、设备及计算机可读存储介质
CN115809311B (zh) 知识图谱的数据处理方法、装置及计算机设备
CN117390011A (zh) 报表数据处理方法、装置、计算机设备和存储介质
CN112100177A (zh) 数据存储方法、装置、计算机设备及存储介质
CN114398883B (zh) 演示文稿生成方法、装置、计算机可读存储介质及服务器
CN114547066A (zh) 核电业务数据的标准化方法、装置和计算机设备
CN116610703A (zh) 数据查询方法、装置、计算机设备和存储介质
US10803053B2 (en) Automatic selection of neighbor lists to be incrementally updated
CN112685557A (zh) 可视化信息资源管理方法及装置
CN118035423A (zh) 信息查询方法、装置、计算机设备和存储介质
CN117454025A (zh) 用于服务端的分页显示数据确定方法、装置、设备和介质
CN118133044A (zh) 问题扩展方法、装置、计算机设备、存储介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination