CN112182015B - 一种自适应的全局数据快速检索方法 - Google Patents

一种自适应的全局数据快速检索方法 Download PDF

Info

Publication number
CN112182015B
CN112182015B CN202011037662.8A CN202011037662A CN112182015B CN 112182015 B CN112182015 B CN 112182015B CN 202011037662 A CN202011037662 A CN 202011037662A CN 112182015 B CN112182015 B CN 112182015B
Authority
CN
China
Prior art keywords
data
query
request
updating
query request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011037662.8A
Other languages
English (en)
Other versions
CN112182015A (zh
Inventor
范馨月
沈齐
韩云杰
何清龙
杜逆索
祖兴水
李建森
廖斌
魏斐斐
李晓庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Yunteng Zhiyuan Technology Development Co ltd
Original Assignee
Guizhou Yunteng Zhiyuan Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Yunteng Zhiyuan Technology Development Co ltd filed Critical Guizhou Yunteng Zhiyuan Technology Development Co ltd
Priority to CN202011037662.8A priority Critical patent/CN112182015B/zh
Publication of CN112182015A publication Critical patent/CN112182015A/zh
Application granted granted Critical
Publication of CN112182015B publication Critical patent/CN112182015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24539—Query rewriting; Transformation using cached or materialised query results
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种自适应的全局数据快速检索方法。a.接收到查询请求后，对查询请求进行数据查询；b.拆分所述的查询请求，对相关SQL语句查询请求进行数据记录，在整个语句查询过程中记录所有的数据查询时间状态；c.对于第一次查询请求，直接到第三方数据库获取相关请求数据，同时将数据更新内容同步更新到数据查询记录内容；d.对第三方数据库表进行自动数据扫描，对相关性大的数据量进行自动化数据同步处理，并放到数据搜索引擎服务器上进行数据检索服务；e.对更新同步之后的数据操作记录同步维护到数据字典表，对相关的数据操作记录进行更新。本发明具有对多表数据检索速度高，节约数据存储资源的优点。

Description

一种自适应的全局数据快速检索方法
技术领域
本发明涉及数据索引技术领域，特别是一种自适应的全局数据快速检索方法。
背景技术
目前，对于大型的企业或者大型的系统，针对多个业务系统之间的数据，每个业务都有自己的业务数据存储系统，最终使得整个业务系统存在有很多种数据库系统。而目前在多维度，多库数据表中，对于数据快速检索存在很大问题，比如数据内容繁琐，数据结构不清楚，数据量比较大，对用户目标检索不能快速适应匹配，进而使得当有第三方业务系统需要使用该数据存储内容时，会造成数据存储繁多，数据字典内容种类繁多，数据内容很难快速定位的情况。而为了提升检索速度，目前通常会搭建一系列数据存储框架，这就需要消耗很多服务器资源，并且需要对数据进行全量存储，对于选择抽取，很少进行数据的自动化判断、自动存储，从而浪费很多服务资源。
发明内容
本发明针对现有技术数据量多、检索速度慢、消耗服务器资源多等特点，设计了一种自适应的全局数据检索方法。本发明具有对多表数据检索速度高，节约数据存储资源的优点。
本发明的技术方案：一种自适应的全局数据快速检索方法，包括下述步骤：
a.接收到查询请求后，对查询请求进行数据查询，数据查询包括：所述的查询请求是否请求过，请求过的该查询请求的处理时间，相关请求数据是否已在本地存储，相关请求数据是在本地数据库还是在本地的搜索引擎里；
b.拆分所述的查询请求，对相关SQL语句查询请求进行数据记录，在整个语句查询过程中记录所有的数据查询时间状态，包括查询的语句、查询的具体时间、查询的相关SQL语言、SQL语句是否优化；
c.对于第一次查询请求，直接到第三方数据库获取相关请求数据，同时将数据更新内容同步更新到数据查询记录内容，便于检索数据位置；
d.对第三方数据库表进行自动数据扫描，对相关性大的数据量进行自动化数据同步处理，并放到数据搜索引擎服务器上进行数据检索服务，对于本地数据存储库与数据搜索引擎只存放大数据量；
e.对更新同步之后的数据操作记录同步维护到数据字典表，对相关的数据操作记录进行更新，待数据服务下次更新时候进行数据维护更新，以便快速定位到数据存储位置。
前述的自适应的全局数据快速检索方法所述的步骤a中，接收到查询请求后，首先到本地缓存中进行查询，当缓存中已存在相关请求数据时，直接将所述的相关请求数据返回。
前述的自适应的全局数据快速检索方法所述的步骤c中，对于第一次查询请求，将查询请求与相关请求数据暂存到缓存，以便于再次查询时直接从缓存返回，根据数据字典目录对数据查询进行数据目标库查询。
前述的自适应的全局数据快速检索方法所述的步骤c中，对于第一次查询请求，对相关的查询SQL语句进行数据库自动优化。
前述的自适应的全局数据快速检索方法所述的步骤c中，对优化后的SQL语句再次查询，当相关请求数据返回依旧较慢时，对数据库数据量进行检测，对于查询结果语句慢的数据库进行数据表同步操作。
前述的自适应的全局数据快速检索方法所述的步骤c中，对于数据表查询比较慢的内容，查询相关表的数据内容，对数据表进行数据同步操作，对数据表头和数据结构内容进行数据目录自动创建，对该数据进行自动同步，同时更新该数据存储的位置状态，待下次数据查询时执行步骤a操作。
有益效果：与现有技术相比，本发明通过数据字典对数据存储路径进行数据目录检索，通过对检索相关内容和检索数据量和检索时间对数据进行自适应数据判断，对于数据检索判定满足进行本地数据存储的进行抽取，建立数据定制抽取任务，同时生成数据存储目录，从而有效提升数据快速检索时间。通过上述方法，本发明实现了分区分段判断数据量和数据检索内容，从而选择不同数据存储载体，最终提高了对多表数据的检索速度，节约了数据存储资源。
附图说明
图1是本发明流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例1。一种自适应的全局数据快速检索方法,参见图1，包括下述步骤：
a.接收到查询请求后，对查询请求进行数据查询，数据查询包括：所述的查询请求是否请求过，请求过的该查询请求的处理时间，相关请求数据是否已在本地存储，相关请求数据是在本地数据库还是在本地的搜索引擎里；
在数据处理接收服务接收到查询请求之后，首先对相关数据请求进行数据查询，查询内容不是针对查询数据内容，而是判定该查询请求是否请求过，查询请求的相关处理时间，相关数据请求是否在本地进行存储，相关数据请求是在数据库还是在搜索引擎里面；判定完成后，决定数据处理的下步流程；而如果相关数据请求在第三方数据库，直接从第三方数据库取数据。在整个流程初期，一般都会走第三方数据库查询并缓存，本地数据内容则会不断增加完善。通过该方法，能够不断优化检索过程，提升检索速度。
b.拆分所述的查询请求，对相关SQL语句查询请求进行数据记录，在整个语句查询过程中记录所有的数据查询时间状态，包括查询的语句、查询的具体时间、查询的相关SQL语言、SQL语句是否优化。
c.对于第一次查询请求，直接到第三方数据库获取相关请求数据，同时将数据更新内容同步更新到数据查询记录内容，便于检索数据位置；
当查询属于第一次查询，并且查询是需要经过第三方数据库时，有时候数据结果返回比较慢，需要返回数据查询接口等待，数据查询内容需要暂时缓存到缓存，对于返回相关的查询数据可以添加到数据缓存，同时数据更新内容会同步更新到数据查询记录内容，便于检索数据位置。
d.对第三方数据库表进行自动数据扫描，对相关性大的数据量(比如数据存储量和相关数据内容)进行自动化数据同步处理，并放到数据搜索引擎服务器上进行数据检索服务，对于本地数据存储库与数据搜索引擎只存放大数据量。
e.对更新同步之后的数据操作记录同步维护到数据字典表，对相关的数据操作记录进行更新，待数据服务下次更新时候进行数据维护更新，以便快速定位到数据存储位置，保持两者的数据内容更新一致。
通过上述步骤c～e的处理，使得本发明能够根据数据库资源形成统一的数据检索目录。
前述的步骤a中，接收到查询请求后，首先到本地缓存中进行查询，当缓存中已存在相关请求数据时，直接将所述的相关请求数据返回。用户对数据查询，是由第三方服务申请对多维度数据表和多维度数据内容进行检索请求，用户会根据需求发出相关的数据查询请求；查询请求的请求服务接收后，会首先查询最近查询的数据缓存结果，如果缓存中已有相关请求数据，那么会把该查询的结果直接从缓存返回给用户；该方法能够大幅度提升检索速度。在本地缓存中不存在相关请求数据的情况下，再开始查询相关请求数据是在本地，还是第三方数据库。
前述的步骤c中，对于第一次查询请求，将查询请求与相关请求数据暂存到缓存，以便于再次查询时直接从缓存返回，根据数据字典目录对数据查询进行数据目标库查询，可以是本地库或者是第三方数据库。
前述的步骤c中，对于第一次查询请求，对相关的查询SQL语句进行数据库自动优化。
前述的步骤c中，对优化后的SQL语句再次查询，当相关请求数据返回依旧较慢时，对数据库数据量进行检测，对于查询结果语句慢的数据库进行数据表同步操作；
具体地，先根据数据查询记录中的查询反馈时间记录进行SQL标准语句查询，标准SQL数据查询3次，如果标准数据查询均值超过5秒以上，进行数据自动同步(数据抽取阈值判断方法)。对相关数据表进行数据自动判定，如果满足相关数据抽取条件内容，对相关数据内容建立相关的数据抽取任务，保证第三方库的数据可以增量的抽到本地数据库，对于已经建立数据抽取的条件任务的，在自动检索中不需要重新判定抽取。通过该方法，能够有效保证实时数据同步，同时还能判断数据是否从第三方数据库抽取数据到本地数据表。
通过上述步骤a的数据查询、步骤c中SQL语句优化及优化后的SQL语句的再次查询处理，实现了多维度、多库数据表的多库全局数据映射，使得数据结构更加优化、清楚，有利于实现对用户目标检索得快速匹配。
本发明中，对于第三方数据库，如果可以快速查询，就无需再对相关的查询SQL语句进行数据库自动优化；如果查询较慢，通过对查询SQL语句的优化和/或对优化后的SQL语句再次查询处理，能够有效提升对第三方数据库检索查询速度；通过该方法，能够使用形成的数据检索目录，对多库多表的情况实现快速检索。
前述的步骤c中，对于数据表查询比较慢的内容，查询相关表的数据内容，对数据表进行数据同步操作，对数据表头和数据结构内容进行数据目录自动创建，对该数据进行自动同步，同时更新该数据存储的位置状态，待下次数据查询时执行步骤a操作。

Claims (3)

1.一种自适应的全局数据快速检索方法，其特征在于，包括下述步骤：
a.接收到查询请求后，对查询请求进行数据查询，数据查询包括：所述的查询请求是否请求过，请求过的该查询请求的处理时间，相关请求数据是否已在本地存储，相关请求数据是在本地数据库还是在本地的搜索引擎里；
b.拆分所述的查询请求，对相关SQL语句查询请求进行数据记录，在整个语句查询过程中记录所有的数据查询时间状态，包括查询的语句、查询的具体时间、查询的相关SQL语言、SQL语句是否优化；
c.对于第一次查询请求，直接到第三方数据库获取相关请求数据，同时将数据更新内容同步更新到数据查询记录内容，便于检索数据位置；
d.对第三方数据库表进行自动数据扫描，对相关性大的数据量进行自动化数据同步处理，并放到数据搜索引擎服务器上进行数据检索服务，对于本地数据存储库与数据搜索引擎只存放大数据量；
e.对更新同步之后的数据操作记录同步维护到数据字典表，对相关的数据操作记录进行更新，待数据服务下次更新时候进行数据维护更新，以便快速定位到数据存储位置；
步骤c中，对于第一次查询请求，对相关的查询SQL语句进行数据库自动优化；
步骤c中，对优化后的SQL语句再次查询，当相关请求数据返回依旧较慢时，对数据库数据量进行检测，对于查询结果语句慢的数据库进行数据表同步操作；
步骤c中，对于数据表查询比较慢的内容，查询相关表的数据内容，对数据表进行数据同步操作，对数据表头和数据结构内容进行数据目录自动创建，对该数据进行自动同步，同时更新该数据存储的位置状态，待下次数据查询时执行步骤a操作。
2.根据权利要求1所述的自适应的全局数据快速检索方法，其特征在于：步骤a中，接收到查询请求后，首先到本地缓存中进行查询，当缓存中已存在相关请求数据时，直接将所述的相关请求数据返回。
3.根据权利要求2所述的自适应的全局数据快速检索方法，其特征在于：步骤c中，对于第一次查询请求，将查询请求与相关请求数据暂存到缓存，以便于再次查询时直接从缓存返回，根据数据字典目录对数据查询进行数据目标库查询。
CN202011037662.8A 2020-09-28 2020-09-28 一种自适应的全局数据快速检索方法 Active CN112182015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011037662.8A CN112182015B (zh) 2020-09-28 2020-09-28 一种自适应的全局数据快速检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011037662.8A CN112182015B (zh) 2020-09-28 2020-09-28 一种自适应的全局数据快速检索方法

Publications (2)

Publication Number Publication Date
CN112182015A CN112182015A (zh) 2021-01-05
CN112182015B true CN112182015B (zh) 2023-07-21

Family

ID=73944412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011037662.8A Active CN112182015B (zh) 2020-09-28 2020-09-28 一种自适应的全局数据快速检索方法

Country Status (1)

Country Link
CN (1) CN112182015B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201010A (zh) * 2011-06-23 2011-09-28 清华大学 无共享架构的分布式数据库系统及其实现方法
CN105023188A (zh) * 2015-01-07 2015-11-04 泰华智慧产业集团股份有限公司 一种基于云数据的数字化城市管理数据共享系统
KR101706252B1 (ko) * 2016-02-29 2017-02-13 주식회사 티맥스데이터 이기종 데이터베이스들 간의 쿼리 결과를 동기화하기 위한 방법, 서버 및 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램
CN107609172A (zh) * 2017-09-28 2018-01-19 链家网（北京）科技有限公司 一种跨系统多维度数据检索处理方法及装置
CN108228885A (zh) * 2018-01-29 2018-06-29 吉旗（成都）科技有限公司 一种通过sql语句查询搜索引擎的方法
CN108959538A (zh) * 2018-06-29 2018-12-07 新华三大数据技术有限公司 全文检索系统及方法
CN110489445A (zh) * 2019-08-02 2019-11-22 四川宏力信息科技有限责任公司 一种基于多形态复合的海量数据快速查询方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10324946B2 (en) * 2011-06-23 2019-06-18 Salesforce.Com Inc. Methods and systems for caching data shared between organizations in a multi-tenant database system
WO2018146492A1 (en) * 2017-02-10 2018-08-16 Count Technologies Ltd Computer-implemented method of querying a dataset

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201010A (zh) * 2011-06-23 2011-09-28 清华大学 无共享架构的分布式数据库系统及其实现方法
CN105023188A (zh) * 2015-01-07 2015-11-04 泰华智慧产业集团股份有限公司 一种基于云数据的数字化城市管理数据共享系统
KR101706252B1 (ko) * 2016-02-29 2017-02-13 주식회사 티맥스데이터 이기종 데이터베이스들 간의 쿼리 결과를 동기화하기 위한 방법, 서버 및 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램
CN107609172A (zh) * 2017-09-28 2018-01-19 链家网（北京）科技有限公司 一种跨系统多维度数据检索处理方法及装置
CN108228885A (zh) * 2018-01-29 2018-06-29 吉旗（成都）科技有限公司 一种通过sql语句查询搜索引擎的方法
CN108959538A (zh) * 2018-06-29 2018-12-07 新华三大数据技术有限公司 全文检索系统及方法
CN110489445A (zh) * 2019-08-02 2019-11-22 四川宏力信息科技有限责任公司 一种基于多形态复合的海量数据快速查询方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
data synchronization for integration systems based on trigger;Gao Yang等;2010 2nd international conference on signal processing systems;310-312 *
产品数据库高效关键词查询设计与实现;陈双全;;电脑编程技巧与维护(第22期);54-55+62 *
基于大数据技术系统架构应用探讨;周维琴;赵文博;李峰;李录兵;宁莹;;石油化工应用;第37卷(第07期);84-88 *

Also Published As

Publication number Publication date
CN112182015A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN107783985B (zh) 一种分布式数据库查询方法、装置及管理系统
CN102163195B (zh) 一种基于分布式、异构数据库统一视图的查询优化方法
EP1581886B1 (en) A transparent edge-of-network data cache
CN106682147A (zh) 一种基于海量数据的查询方法及装置
US6567816B1 (en) Method, system, and program for extracting data from database records using dynamic code
US20040181533A1 (en) Pre-formatted column-level caching to improve client performance
CN105740472A (zh) 一种分布式实时全文检索方法及系统
CN107766445B (zh) 一种支持多维度检索的高效快速数据检索方法
CN102867070A (zh) 更新key-value分布式存储系统缓存的方法
CN109857898A (zh) 一种海量数字音频指纹存储与检索的方法及系统
CN103744913A (zh) 一种基于搜索引擎技术的数据库检索方法
CN101067820A (zh) 预取对象的方法
CN111752804A (zh) 一种基于数据库日志扫描的数据库缓存系统
CN112181987A (zh) 一种非时序数据处理方法
CN109299143B (zh) 基于Redis缓存的数据互操作测试知识库的知识快速索引方法
CN112182015B (zh) 一种自适应的全局数据快速检索方法
CN102117305B (zh) 查询数据的系统、方法和数据管理系统
CN111723092B (zh) 数据处理方法及装置
CN113688113A (zh) 针对分布式文件系统的元数据预取系统及方法
US10019483B2 (en) Search system and search method
KR102415155B1 (ko) 데이터 검색 장치 및 방법
CN101459599A (zh) 一种实现缓存数据访问与加载并发进行的方法及系统
CN115952184A (zh) 一种基于多层缓存的矢量瓦片实时切片和更新方法
CN112463837B (zh) 一种关系型数据库数据存储查询方法
US8738600B2 (en) String searches in a computer database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant