CN117573690A - 数据检索方法、装置、计算机设备和存储介质 - Google Patents
数据检索方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117573690A CN117573690A CN202311455215.8A CN202311455215A CN117573690A CN 117573690 A CN117573690 A CN 117573690A CN 202311455215 A CN202311455215 A CN 202311455215A CN 117573690 A CN117573690 A CN 117573690A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- semantics
- retrieval
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 53
- 230000002776 aggregation Effects 0.000 claims description 22
- 238000004220 aggregation Methods 0.000 claims description 22
- 238000000586 desensitisation Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012550 audit Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000007726 management method Methods 0.000 description 9
- 230000000750 progressive effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据检索方法、装置、计算机设备和存储介质,其中,该数据检索方法包括:在接收到用户查询信息时,对用户查询信息进行语法解析,得到对应的查询语义,并对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;其中,数据检索操作包括:确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据。通过本申请,解决了无法实现大量数据的动态分页的问题,实现了大量数据的动态分页,减少数据加载和用户等待的时间。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及数据检索方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的发展,数据检索与分析已成为企业和个人的日常需求,且在金融、医疗以及社交媒体等不同领域,数据检索与分析均发挥着至关重要的作用。
在现有的数据检索方法中,通常使用结构化查询语言进行数据查询。但是,随着检索到的数据量逐渐增加,上述方法无法实现大量数据的动态分页,使用户在浏览数据时,无法快速查询到所需信息,且用户需要花费过长时间等待数据加载,导致工作效率较低。
针对相关技术中存在无法实现大量数据的动态分页的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种数据检索方法、装置、计算机设备和存储介质,以解决相关技术中无法实现大量数据的动态分页的问题。
第一个方面,在本实施例中提供了一种数据检索方法,所述方法包括:
在接收到用户查询信息时,对所述用户查询信息进行语法解析,得到对应的查询语义;
对所述查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;
其中,所述数据检索操作包括:确定所述查询语义对应的动态分页数据和存储数据,并将所述动态分页数据与所述存储数据进行归并,得到所述目标数据。
在其中的一些实施例中,对所述用户查询信息进行语法解析,包括:
基于预设的语法解析器对所述用户查询信息进行语法解析;所述语法解析器与增强型搜索处理语言相对应。
在其中的一些实施例中,确定所述查询语义对应的动态分页数据,包括:
预测与所述查询语义对应的目标数据总量;
基于所述目标数据总量,生成对应的动态分页数据。
在其中的一些实施例中,在确定所述查询语义对应的存储数据之前,还包括:
获取与所述查询语义对应的聚合数据;
通过聚类算法对所述聚合数据进行处理,得到对应的聚合分析结果。
在其中的一些实施例中,确定所述查询语义对应的存储数据,包括:
对所述查询语义进行实时流式处理,得到符合所述查询语义的所述存储数据。
在其中的一些实施例中,在所述将所述动态分页数据与所述存储数据进行归并之前,还包括:
对所述存储数据进行查询审计和数据脱敏处理。
在其中的一些实施例中,在所述对所述查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据之后,还包括:
生成与所述用户查询信息对应的查询标识返回至用户;
在接收到用户输入的所述查询标识和预设的分页信息时,输出对应的所述目标数据。
第二个方面,在本实施例中提供了一种数据检索装置,所述装置包括:解析模块和检索模块;
所述解析模块,用于在接收到用户查询信息时,对所述用户查询信息进行语法解析,得到对应的查询语义;
所述检索模块,用于对所述查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;
所述检索模块,还用于确定所述查询语义对应的动态分页数据和存储数据,并将所述动态分页数据与所述存储数据进行归并,得到所述目标数据。
第三个方面,在本实施例中提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的数据检索方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的数据检索方法。
与相关技术相比,在本实施例中提供的数据检索方法、装置、计算机设备和存储介质,通过在接收到用户查询信息时,对用户查询信息进行语法解析,得到对应的查询语义,并对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;其中,数据检索操作包括:确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据,解决了无法实现大量数据的动态分页的问题,实现了大量数据的动态分页,减少数据加载和用户等待的时间。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请一实施例提供的数据检索方法的终端设备的硬件结构框图;
图2是本申请一实施例提供的数据检索方法的流程图;
图3是本申请一优选实施例提供的数据检索方法的流程图;
图4是本申请一实施例提供的数据检索系统的结构框图;
图5是本申请一实施例提供的数据检索装置的结构框图。
图中:102、处理器;104、存储器;106、传输设备;108、输入输出设备;100、渐进式查询管理模块;200、语法解析器;300、动态分页模块;400、数据存储模块;500、查询审计和数据脱敏模块;600、聚合分析模块;700、流式数据处理模块;10、解析模块;20、检索模块。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例的数据检索方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的数据检索方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据检索方法,图2是本实施例的数据检索方法的流程图,如图2所示,该流程包括如下步骤:
步骤S220,在接收到用户查询信息时,对用户查询信息进行语法解析,得到对应的查询语义。
具体地,基于预设的语法解析器对用户查询信息进行语法解析,该语法解析器与增强型搜索处理语言相对应,其兼容传统搜索处理语言的同时,融合了自然语言处理技术。
步骤S240,对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据。
需要知道的是,本实施例支持实时的流式数据处理,根据解析得到的查询语义,可循环执行多次数据检索操作,且每次循环会实时输出检索到的目标数据,直至检索出全部目标数据,以此保证数据的实时性和完整性,满足实时业务的需求。
步骤S260,其中,数据检索操作包括:确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据。
具体地,预测符合查询语义的目标数据总量,根据目标数据总量进行实时的自适应分页计算,生成对应的动态分页数据,并将动态分页数据预存至渐进式查询管理模块。
进一步地,基于上述查询语义向数据查询模块发起查询请求,以获取与查询语义对应的存储数据。将存储数据传输至渐进式查询管理模块,并将动态分页数据与存储数据进行归并,得到目标数据。
随着信息技术的发展,数据检索与分析已成为企业和个人的日常需求,且在金融、医疗以及社交媒体等不同领域,数据检索与分析均发挥着至关重要的作用。在现有的数据检索方法中,通常使用结构化查询语言进行数据查询。但是,随着检索到的数据量逐渐增加,上述方法无法实现大量数据的动态分页,使用户在浏览数据时,无法快速查询到所需信息,且用户需要花费过长时间等待数据加载,导致工作效率较低。
而本申请相较于现有技术,对接收到的用户查询信息进行语法解析,得到对应的查询语义,并对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据。其中,数据检索操作包括确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,输出最终的目标数据。基于此,在执行数据检索过程中,基于查询语义进行动态分页计算,从而能够在检索数据之前,准确预测目标数据总量与相应的分页数,解决了无法实现大量数据的动态分页的问题,实现了大量数据的动态分页,减少数据加载和用户等待的时间。
在其中的一些实施例中,对用户查询信息进行语法解析,包括如下步骤:
步骤S221,基于预设的语法解析器对用户查询信息进行语法解析;语法解析器与增强型搜索处理语言相对应。
具体地,输入用户查询信息后,将用户查询信息传输至预设的语法解析器。其中,语法解析器是基于增强型搜索处理语言,利用解析器生成器(ANother Tool for LanguageRecognition,简称为ANTLR)生成的,通过语法解析器可以将用户查询信息解析为程序能够理解的逻辑,从而得到对应的查询语义。
需要知道的是,增强型搜索处理语言是对传统的搜索处理语言(SearchProcessing Language,简称为SPL)的扩展。传统的SPL查询语法主要应用于结构化数据的查询,随着非结构化数据的增加,SPL查询语法的局限性逐渐显现,而增强型搜索处理语言兼容SPL查询语法,同时融合了自然语言处理技术,使用户可以更加直观地表达查询需求。此外,增强的搜索处理语言支持更为复杂的查询结构,例如嵌套查询、联合查询等,提供丰富的查询能力。
通过本实施例,基于预设的语法解析器对用户查询信息进行语法解析,其语法解析器与增强型搜索处理语言相对应,以此使得用户可以更加直观地表达查询需求,提高了查询的准确性和用户的工作效率。
在其中的一些实施例中,确定查询语义对应的动态分页数据,包括如下步骤:
预测与查询语义对应的目标数据总量;
基于目标数据总量,生成对应的动态分页数据。
具体地,将解析得到查询语义发送至动态分页模块。利用动态分页技术,预测符合查询语义的目标数据总量,并根据目标数据总量进行实时的自适应分页计算,得到对应的动态分页数据。
需要知道的是,预测符合查询条件的目标数据总量和分页数,是检索真实数据前的重要步骤。采用动态分页技术进行分页计算时,可以选取合适的机器学习或深度学习模型预测分页数,例如回归模型、神经网络模型等。
通过本实施例,预测与查询语义对应的目标数据总量,并基于目标数据总量,生成对应的动态分页数据,以便于实现预测性加载和自适应分页,减少了数据加载和等待时间,有效改善用户浏览数据时的体验。
在其中的一些实施例中,在确定查询语义对应的存储数据之前,还包括如下步骤:
获取与查询语义对应的聚合数据;
通过聚类算法对聚合数据进行处理,得到对应的聚合分析结果。
具体地,将查询语义下发至流式数据处理模块,判断查询语义中是否包含聚合分析的需求。若查询语义中存在聚合分析需求,则由聚合分析模块向数据存储模块发起聚合分析查询。
进一步地,返回与查询语义对应的聚合数据,通过机器学习增强的聚合分析模块对聚合数据进行处理,将相似度较高的数据点分在同组,得到对应的聚合分析结果,该结果可以作为后续数据分析的基础。其中,聚合分析过程可采用不同的聚类算法,包括但不限于机器学习中的K均值聚类算法、层次聚类算法以及基于密度的聚类算法。
需要知道的是,机器学习增强的聚合分析可以自动识别数据模式,以提供更加精确和深入的分析结果,满足复杂业务的需求。
通过本实施例,获取与查询语义对应的聚合数据,通过聚类算法对聚合数据进行处理,得到对应的聚合分析结果,提高数据分析的深度和准确性。
在其中的一些实施例中,确定查询语义对应的存储数据,包括如下步骤:
对查询语义进行实时流式处理,得到符合查询语义的存储数据。
具体地,根据接收到的查询语义,向数据存储模块发起数据查询。从与数据存储模块相关联的数据库中,获取符合查询语义的存储数据,并将符合查询语义的存储数据返回至流式数据处理模块。
其中,数据存储模块用于连接主流的分析型数据库,并且该模块与具体的数据库解耦,以增强灵活性和可维护性。
通过本实施例,对查询语义进行实时流式处理,得到符合查询语义的存储数据,从而利用流式数据处理技术,确保了查询数据的实时性和完整性。
在其中的一些实施例中,在将动态分页数据与存储数据进行归并之前,还包括如下步骤:
对存储数据进行查询审计和数据脱敏处理。
具体地,在获取符合查询语义的存储数据之后,判断查询语义是否包含查询审计和数据脱敏的处理需求。若查询语义中存在对数据进行查询审计和数据脱敏的处理语义,则发起处理请求,将存储数据发送至查询审计和数据脱敏模块,并将处理后的存储数据返回至流式数据处理模块。
需要知道的是,本实施例对存储数据进行查询审计和数据脱敏处理,包括日志审查、数据脱敏等操作。其中,通过查询审计可以帮助用户主动发现异常行为,以及通过数据脱敏操作可以帮助用户识别并处理敏感数据,并建立相应的安全预警机制。
通过本实施例,对获取的存储数据进行查询审计和数据脱敏处理,确保数据的安全性和隐私,并防止数据的泄露和滥用。
在其中的一些实施例中,在对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据之后,还包括如下步骤:
生成与用户查询信息对应的查询标识返回至用户;
在接收到用户输入的查询标识和预设的分页信息时,输出对应的目标数据。
具体地,当系统中的渐进式查询管理模块接收到用户查询信息,生成与用户查询信息对应的查询标识,并将该查询标识返回至用户界面。
之后,用户可以继续输入查询标识和预设的分页信息,并基于输入的信息返回查询到的目标数据,以更新用户界面。重复上述查询过程,直至数据检索完毕,用户界面停止更新。
通过本实施例,生成与用户查询信息对应的查询标识返回至用户,并在接收到用户输入的查询标识和预设的分页信息时,输出对应的目标数据,以此提高了目标数据输出的实时性和完整性。
下面通过优选实施例对本实施例进行描述和说明。
图3是本优选实施例的数据检索方法的流程图,如图3所示,该数据检索方法包括如下步骤:
步骤S310,基于预设的语法解析器对用户查询信息进行语法解析,得到对应的查询语义;语法解析器与增强型搜索处理语言相对应;
步骤S320,对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;其中,数据检索操作包括:确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据;
步骤S330,生成与用户查询信息对应的查询标识返回至用户;
步骤S340,在接收到用户输入的查询标识和预设的分页信息时,输出对应的目标数据。
通过本实施例,利用基于增强型搜索处理语言生成的语法解析器对用户查询信息进行解析,得到对应的查询语义,使得用户可以更加直观地表达查询需求,提高了查询的准确性;对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据,且数据检索操作包括确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据,以此实现预测性加载和自适应分页,减少了数据加载和等待时间,有效改善用户浏览数据时的体验;进一步地,生成与用户查询信息对应的查询标识返回至用户,在接收到用户输入的查询标识和预设的分页信息时,输出对应的目标数据,保证目标数据输出的实时性和完整性。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种数据检索系统,图4是本实施例的数据检索系统的结构框图。如图4所示,该系统包括:渐进式查询管理模块100、语法解析器200、动态分页模块300、数据存储模块400、查询审计和数据脱敏模块500、聚合分析模块600以及流式数据处理模块700;
具体地,通过用户界面输入用户查询信息,将用户查询信息发送至渐进式查询管理模块100。在渐进式查询管理模块100中,生成与用户查询信息对应的查询标识返回至用户,并将用户查询信息发送至语法解析器200,对用户查询信息进行语法解析,得到对应的查询语义。
将解析得到的查询语义发送至动态分页模块300,完成对目标数据的总量统计和分页计算,并下发查询语义至流式数据处理模块700。通过流式数据处理模块700,判断查询语义是否存在聚合分析的处理语义,若存在,则获取与查询语义对应的聚合数据,并通过聚类算法对聚合数据进行处理,得到聚合分析结果返回至流式数据处理模块700。
进一步地,通过流式数据处理模块700向数据存储模块400发起查询请求,获取符合查询语义的存储数据返回至流式数据处理模块700。此时,判断查询语义是否存在对存储数据进行查询审计和数据脱敏的处理语义,若存在,则向查询审计和数据脱敏模块500发起处理请求,并返回处理后的存储数据。
在渐进式查询管理模块100中,将预存的动态分页数据与存储数据进行归并,得到目标数据。在此基础上,利用渐进式查询管理模块100重复执行上述查询过程,不断检索出目标数据,直至检索到所有目标数据。
之后,用户继续基于查询标识和预设的分页信息发起查询请求,并在接收到用户输入的查询标识和预设的分页信息时,输出对应的目标数据。
通过本实施例,在接收到用户查询信息时,对用户查询信息进行语法解析,得到对应的查询语义,并对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;其中,数据检索操作包括:确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据,解决了无法实现大量数据的动态分页的问题,实现了大量数据的动态分页,减少数据加载和用户等待的时间。
在本实施例中还提供了一种数据检索装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是本实施例的数据检索装置的结构框图,如图5所示,该装置包括:解析模块10和检索模块20;
解析模块10,用于在接收到用户查询信息时,对用户查询信息进行语法解析,得到对应的查询语义;
检索模块20,用于对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;
检索模块20,还用于确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据。
通过本实施例提供的装置,在接收到用户查询信息时,对用户查询信息进行语法解析,得到对应的查询语义,并对查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;其中,数据检索操作包括:确定查询语义对应的动态分页数据和存储数据,并将动态分页数据与存储数据进行归并,得到目标数据,解决了无法实现大量数据的动态分页的问题,实现了大量数据的动态分页,减少数据加载和用户等待的时间。
在其中的一些实施例中,在图5的基础上,该装置还包括语法解析模块,用于基于预设的语法解析器对用户查询信息进行语法解析;语法解析器与增强型搜索处理语言相对应。
在其中的一些实施例中,在图5的基础上,该装置还包括预测模块,用于预测与查询语义对应的目标数据总量;基于目标数据总量,生成对应的动态分页数据。
在其中的一些实施例中,在图5的基础上,该装置还包括分析模块,用于获取与查询语义对应的聚合数据;通过聚类算法对聚合数据进行处理,得到对应的聚合分析结果。
在其中的一些实施例中,在图5的基础上,该装置还包括第一处理模块,用于对查询语义进行实时流式处理,得到符合查询语义的存储数据。
在其中的一些实施例中,在图5的基础上,该装置还包括第二处理模块,用于对存储数据进行查询审计和数据脱敏处理。
在其中的一些实施例中,在图5的基础上,该装置还包括查询模块,用于生成与用户查询信息对应的查询标识返回至用户;在接收到用户输入的查询标识和预设的分页信息时,输出对应的目标数据。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种计算机设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述计算机设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的数据检索方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种数据检索方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据检索方法,其特征在于,所述方法包括:
在接收到用户查询信息时,对所述用户查询信息进行语法解析,得到对应的查询语义;
对所述查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;
其中,所述数据检索操作包括:确定所述查询语义对应的动态分页数据和存储数据,并将所述动态分页数据与所述存储数据进行归并,得到所述目标数据。
2.根据权利要求1所述的数据检索方法,其特征在于,对所述用户查询信息进行语法解析,包括:
基于预设的语法解析器对所述用户查询信息进行语法解析;所述语法解析器与增强型搜索处理语言相对应。
3.根据权利要求1所述的数据检索方法,其特征在于,确定所述查询语义对应的动态分页数据,包括:
预测与所述查询语义对应的目标数据总量;
基于所述目标数据总量,生成对应的动态分页数据。
4.根据权利要求1所述的数据检索方法,其特征在于,在确定所述查询语义对应的存储数据之前,还包括:
获取与所述查询语义对应的聚合数据;
通过聚类算法对所述聚合数据进行处理,得到对应的聚合分析结果。
5.根据权利要求1所述的数据检索方法,其特征在于,确定所述查询语义对应的存储数据,包括:
对所述查询语义进行实时流式处理,得到符合所述查询语义的所述存储数据。
6.根据权利要求1所述的数据检索方法,其特征在于,在所述将所述动态分页数据与所述存储数据进行归并之前,还包括:
对所述存储数据进行查询审计和数据脱敏处理。
7.根据权利要求1所述的数据检索方法,其特征在于,在所述对所述查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据之后,还包括:
生成与所述用户查询信息对应的查询标识返回至用户;
在接收到用户输入的所述查询标识和预设的分页信息时,输出对应的所述目标数据。
8.一种数据检索装置,其特征在于,所述装置包括:解析模块和检索模块;
所述解析模块,用于在接收到用户查询信息时,对所述用户查询信息进行语法解析,得到对应的查询语义;
所述检索模块,用于对所述查询语义循环执行预设的数据检索操作,输出每次检索得到的目标数据;
所述检索模块,还用于确定所述查询语义对应的动态分页数据和存储数据,并将所述动态分页数据与所述存储数据进行归并,得到所述目标数据。
9.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的数据检索方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据检索方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311455215.8A CN117573690A (zh) | 2023-11-02 | 2023-11-02 | 数据检索方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311455215.8A CN117573690A (zh) | 2023-11-02 | 2023-11-02 | 数据检索方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117573690A true CN117573690A (zh) | 2024-02-20 |
Family
ID=89887218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311455215.8A Pending CN117573690A (zh) | 2023-11-02 | 2023-11-02 | 数据检索方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117573690A (zh) |
-
2023
- 2023-11-02 CN CN202311455215.8A patent/CN117573690A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8429151B2 (en) | Highly adaptable query optimizer search space generation process | |
CN108696381B (zh) | 一种协议配置方法及装置 | |
US10621245B2 (en) | Webpage data analysis method and device | |
CN106790206B (zh) | 业务系统的报文解析方法及装置 | |
CN113553339B (zh) | 数据查询方法、中间件、电子装置和存储介质 | |
CN108694221B (zh) | 数据实时分析方法、模块、设备和装置 | |
CN108369591B (zh) | 用于缓存和参数化ir的系统和方法 | |
US20170308620A1 (en) | Making graph pattern queries bounded in big graphs | |
CN108376064B (zh) | 规则引擎系统及规则引擎的相关方法 | |
CN112416962A (zh) | 数据查询方法、装置以及存储介质 | |
CN111309751A (zh) | 大数据处理方法及装置 | |
CN111221852A (zh) | 基于大数据的混合查询处理方法及装置 | |
CN117573690A (zh) | 数据检索方法、装置、计算机设备和存储介质 | |
CN113407807A (zh) | 搜索引擎的查询优化方法、装置、电子设备 | |
KR101091592B1 (ko) | 모바일 기반의 온톨로지 추론 시스템 및 그 방법 | |
CN111221841A (zh) | 基于大数据的实时处理方法及装置 | |
CN111221860A (zh) | 基于大数据的混合查询优化方法及装置 | |
CN116361184A (zh) | 一种数据查找方法、装置、介质和计算机设备 | |
CN115357606A (zh) | 数据源查询方法、系统、计算机设备和存储介质 | |
CN114693220A (zh) | 基于数字孪生DaaS平台的算法仓库管理方法及系统 | |
CN111191103B (zh) | 从互联网中识别分析企业主体信息方法、装置及存储介质 | |
Ruta et al. | A mobile matchmaker for resource discovery in the ubiquitous semantic web | |
CN114020769A (zh) | 一种数据血缘分析方法、装置和存储介质 | |
CN113064914A (zh) | 数据提取方法及装置 | |
CN107818100B (zh) | 一种sql语句执行方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |