CN105404646A - 动态数据的多数据库处理查询系统与方法 - Google Patents

动态数据的多数据库处理查询系统与方法 Download PDF

Info

Publication number
CN105404646A
CN105404646A CN201510710515.5A CN201510710515A CN105404646A CN 105404646 A CN105404646 A CN 105404646A CN 201510710515 A CN201510710515 A CN 201510710515A CN 105404646 A CN105404646 A CN 105404646A
Authority
CN
China
Prior art keywords
data
database
entry
search engine
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510710515.5A
Other languages
English (en)
Inventor
孔惟一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Aoyouhui International Trading Co Ltd
Original Assignee
Wuxi Aoyouhui International Trading Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Aoyouhui International Trading Co Ltd filed Critical Wuxi Aoyouhui International Trading Co Ltd
Priority to CN201510710515.5A priority Critical patent/CN105404646A/zh
Publication of CN105404646A publication Critical patent/CN105404646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种动态数据的多数据库处理查询系统，包括数据处理数据库、数据查询数据库、数据同步模块、数据库搜索引擎与数据导引模块，数据处理数据库与数据查询数据库各司其职，数据库搜索引擎与数据导引模块可以根据客户的搜索目的智能判断并从符合要求的数据库高效地返回数据结果给用户，可以缓解数据处理数据库的压力，又能提供有用的输出结果。

Description

动态数据的多数据库处理查询系统与方法
技术领域
本发明涉及一种数据处理系统与方法，特别是一种数据处理查询系统与方法。
背景技术
目前，互联网越来越发达，为了保证数据查询的高效与数据返回的准确，一个数据库既处理数据同时提供查询业务的模式已经不能满足需求，一方面数据库压力较大，另一方面处理的数据过多必将导致效率降低。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种可以有效缓解数据处理数据库的处理压力，同时又能让用户获得有用的动态数据的多数据库处理查询系统及其处理方法。
技术方案：为实现上述目的，本发明的动态数据的多数据库处理查询系统，包括
数据处理数据库，提供日常业务操作使用服务；
数据查询数据库，提供日常业务查询服务，其中数据由数据处理数据库同步而来；
数据同步模块，连接在所述数据处理数据库与所述数据查询数据库之间，定时对数据处理数据库中的数据与数据查询数据库中的数据进行同步与更新；
数据库搜索引擎，根据用户的输入信息搜索相应数据并输出结果；
数据导引模块，分析数据库搜索引擎的搜索目标并导引至合适的数据库；
所述数据库搜索引擎连接所述数据导引模块，所述数据导引模块同时连接数据处理数据库与数据查询数据库；所述数据处理数据库与数据查询数据库之间有数据同步模块进行作为数据同步桥梁。
进一步地，所述数据同步模块包括定时器、数据读取模块、寄存器与数据写入模块，每到所述定时器的定时时长，所述数据读取模块读取所述数据处理数据库中的动态数据至寄存器，所述写入模块将寄存器中的数据写入数据查询数据库。
动态数据的多数据库处理查询方法，具体为：针对数据处理数据库与数据查询数据库里的每个条目均配置著录信息与关键词，所述数据导引模块中储存有所述数据处理数据库与数据查询数据库中的条目列表及每个条目对应的著录信息与关键词；数据导引模块根据所述数据库搜索引擎用户输入的判断条件从存储在数据导引模块中的条目中搜索出匹配条目，数据导引模块中设定有一个判断检索数据量的阈值，若搜索出的匹配条目不超过所述阈值，则从所述数据处理数据库中返回数据给所述数据库搜索引擎，若搜索出的匹配条目超过所述阈值，则从所述数据查询数据库返回数据给所述数据库搜索引擎，数据库搜索引擎再将返回的数据结果输出给用户。
进一步地，若搜索出的匹配条目超过所述阈值，而从数据导引模块中的条目中搜索出匹配条目中包含所述数据查询数据库不存在而目前仅存在于数据处理数据库中的条目，则这些数据查询数据库不存在而目前仅存在于数据处理数据库中的条目从数据处理数据库返回给数据库搜索引擎，而那些数据查询数据库中拥有的条目则从数据查询数据库返回给数据库搜索引擎。
有益效果：本发明的动态数据的多数据库处理查询系统包括数据处理数据库与数据查询数据库，两个数据库各司其职，数据库搜索引擎与数据导引模块可以根据客户的搜索目的智能判断并从符合要求的数据库高效地返回数据结果给用户，可以缓解数据处理数据库的压力，又能提供有用的输出结果。
附图说明
附图1为动态数据的多数据库处理查询系统的示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如附图1所示的动态数据的多数据库处理查询系统，包括：
数据处理数据库，提供日常业务操作使用服务；
数据查询数据库，提供日常业务查询服务，其中数据由数据处理数据库同步而来；
数据同步模块，包括定时器、数据读取模块、寄存器与数据写入模块，定时器设定同步时间，可以为1小时、1天等，每到所述定时器的定时时长，所述数据读取模块读取所述数据处理数据库中的动态数据至寄存器，所述写入模块将寄存器中的数据写入数据查询数据库，连接在所述数据处理数据库与所述数据查询数据库之间，定时对数据处理数据库中的数据与数据查询数据库中的数据进行同步与更新；
数据库搜索引擎，根据用户的输入信息搜索相应数据并输出结果；
数据导引模块，分析数据库搜索引擎的搜索目标并导引至合适的数据库；
所述数据库搜索引擎连接所述数据导引模块，所述数据导引模块同时连接数据处理数据库与数据查询数据库；所述数据处理数据库与数据查询数据库之间有数据同步模块进行作为数据同步桥梁。
动态数据的多数据库处理查询方法，具体为：针对数据处理数据库与数据查询数据库里的每个条目均配置著录信息与关键词，所述数据导引模块中储存有所述数据处理数据库与数据查询数据库中的条目列表及每个条目对应的著录信息与关键词；数据导引模块根据所述数据库搜索引擎用户输入的判断条件从存储在数据导引模块中的条目中搜索出匹配条目，数据导引模块中设定有一个判断检索数据量的阈值，若搜索出的匹配条目不超过所述阈值，则从所述数据处理数据库中返回数据给所述数据库搜索引擎，若搜索出的匹配条目超过所述阈值，则从所述数据查询数据库返回数据给所述数据库搜索引擎，数据库搜索引擎再将返回的数据结果输出给用户。
由于数据处理数据库与数据查询数据库中的数据不同步，因此有的条目在数据处理数据库中有而在数据查询数据库中没有，若搜索出的匹配条目超过所述阈值，而从数据导引模块中的条目中搜索出匹配条目中包含所述数据查询数据库不存在而目前仅存在于数据处理数据库中的条目，则这些数据查询数据库不存在而目前仅存在于数据处理数据库中的条目从数据处理数据库返回给数据库搜索引擎，而那些数据查询数据库中拥有的条目则从数据查询数据库返回给数据库搜索引擎，这样可以保证数据的结果的精确有效，又能达到缓解数据处理数据库压力的效果
本发明的动态数据的多数据库处理查询系统包括数据处理数据库与数据查询数据库，两个数据库各司其职，数据库搜索引擎与数据导引模块可以根据客户的搜索目的智能判断并从符合要求的数据库高效地返回数据结果给用户，可以缓解数据处理数据库的压力，又能提供有用的输出结果。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.动态数据的多数据库处理查询系统，其特征在于，包括：
数据处理数据库，提供日常业务操作使用服务；
数据查询数据库，提供日常业务查询服务，其中数据由数据处理数据库同步而来；
数据同步模块，连接在所述数据处理数据库与所述数据查询数据库之间，定时对数据处理数据库中的数据与数据查询数据库中的数据进行同步与更新；
数据库搜索引擎，根据用户的输入信息搜索相应数据并输出结果；
数据导引模块，分析数据库搜索引擎的搜索目标并导引至合适的数据库；
所述数据库搜索引擎连接所述数据导引模块，所述数据导引模块同时连接数据处理数据库与数据查询数据库；所述数据处理数据库与数据查询数据库之间有数据同步模块进行作为数据同步桥梁。
2.根据权利要求1所述的动态数据的多数据库处理查询系统，其特征在于，所述数据同步模块包括定时器、数据读取模块、寄存器与数据写入模块，每到所述定时器的定时时长，所述数据读取模块读取所述数据处理数据库中的动态数据至寄存器，所述写入模块将寄存器中的数据写入数据查询数据库。
3.动态数据的多数据库处理查询方法，其特征在于，针对数据处理数据库与数据查询数据库里的每个条目均配置著录信息与关键词，所述数据导引模块中储存有所述数据处理数据库与数据查询数据库中的条目列表及每个条目对应的著录信息与关键词；数据导引模块根据所述数据库搜索引擎用户输入的判断条件从存储在数据导引模块中的条目中搜索出匹配条目，数据导引模块中设定有一个判断检索数据量的阈值，若搜索出的匹配条目不超过所述阈值，则从所述数据处理数据库中返回数据给所述数据库搜索引擎，若搜索出的匹配条目超过所述阈值，则从所述数据查询数据库返回数据给所述数据库搜索引擎，数据库搜索引擎再将返回的数据结果输出给用户。
4.根据权利要求3所述的多数据库处理查询方法，其特征在于，若搜索出的匹配条目超过所述阈值，而从数据导引模块中的条目中搜索出匹配条目中包含所述数据查询数据库不存在而目前仅存在于数据处理数据库中的条目，则这些数据查询数据库不存在而目前仅存在于数据处理数据库中的条目从数据处理数据库返回给数据库搜索引擎，而那些数据查询数据库中拥有的条目则从数据查询数据库返回给数据库搜索引擎。
CN201510710515.5A 2015-10-28 2015-10-28 动态数据的多数据库处理查询系统与方法 Pending CN105404646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510710515.5A CN105404646A (zh) 2015-10-28 2015-10-28 动态数据的多数据库处理查询系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510710515.5A CN105404646A (zh) 2015-10-28 2015-10-28 动态数据的多数据库处理查询系统与方法

Publications (1)

Publication Number Publication Date
CN105404646A true CN105404646A (zh) 2016-03-16

Family

ID=55470136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510710515.5A Pending CN105404646A (zh) 2015-10-28 2015-10-28 动态数据的多数据库处理查询系统与方法

Country Status (1)

Country Link
CN (1) CN105404646A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919683A (zh) * 2017-03-02 2017-07-04 惠州市亿能电子有限公司 一种快速查询数据的方法及功能模块
CN110020966A (zh) * 2019-04-11 2019-07-16 北京百度网讯科技有限公司 应用于智能电网的数据处理方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468777A (zh) * 2014-12-05 2015-03-25 北京奇虎科技有限公司 数据操作方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468777A (zh) * 2014-12-05 2015-03-25 北京奇虎科技有限公司 数据操作方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
飞鸿无痕: "Amoeba搞定mysql主从读写分离", 《HTTP://BLOG.CHINAUNIX.NET/UID-20639775-ID-154600.HTML》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919683A (zh) * 2017-03-02 2017-07-04 惠州市亿能电子有限公司 一种快速查询数据的方法及功能模块
CN106919683B (zh) * 2017-03-02 2020-04-28 惠州市亿能电子有限公司 一种快速查询数据的方法及系统
CN110020966A (zh) * 2019-04-11 2019-07-16 北京百度网讯科技有限公司 应用于智能电网的数据处理方法和装置

Similar Documents

Publication Publication Date Title
CN103761318B (zh) 一种关系型异构数据库数据同步的方法及系统
CN102456058B (zh) 类目信息提供方法及装置
WO2015074466A1 (zh) 一种数据查询方法及装置
CN105446991A (zh) 数据存储方法、查询方法及设备
CN102890722A (zh) 应用于时序历史数据库的索引方法
CN105205105A (zh) 一种基于storm的数据ETL系统及处理方法
CN103646029B (zh) 一种针对博文的相似度计算方法
CN102411617B (zh) 一种对海量url进行存储和查询方法
CN104391908B (zh) 一种图上基于局部敏感哈希的多关键字索引方法
CN102169491B (zh) 一种多数据集中重复记录动态检测方法
CN103106245A (zh) 基于大规模术语语料库对译稿自动碎片化分类的方法
CN102567442B (zh) 一种分布式文件系统中元数据磁盘同步的方法
CN102722499A (zh) 搜索引擎及其实现方法
CN106202254A (zh) 一种查询方法及数据查询系统
CN104714974A (zh) 一种查询语句解析与再处理的方法和装置
CN103559258A (zh) 基于云计算的网页排序方法
CN101957860A (zh) 一种发布、搜索信息的方法及装置
CN102314464A (zh) 歌词搜索方法及搜索引擎
CN105404646A (zh) 动态数据的多数据库处理查询系统与方法
CN113722600B (zh) 应用于大数据的数据查询方法、装置、设备及产品
CN102346765A (zh) 一种查询内存数据的方法及装置
CN107169097A (zh) 一种Spark Broadcasthashjoin操作的改进方法
CN103853771A (zh) 一种搜索结果的推送方法及系统
CN105320715A (zh) 基于本体的语义查询方法
CN104899755A (zh) 一种多维度复杂条件广告索引方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160316