CN106776772B - 一种数据检索的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据检索的方法和装置。该方法包括：获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词；根据所述行业关键词查找预设的行业索引库，得到行业检索索引；根据所述普通关键词查找预设的普通索引库，得到普通检索索引；根据所述行业检索索引和所述普通检索索引查找全量数据库，得到对应的检索数据。本发明实施例根据行业关键词查找预设的行业索引库，相比于普通索引库，行业索引库规模更小，构建行业索引库的成本更低，行业索引库的检索速度更快。

Description

一种数据检索的方法及装置

技术领域

本发明实施例涉及大数据分析技术，尤其涉及一种数据检索的方法及装置。

背景技术

目前，在java编程领域，全文检索引擎主要是基于倒排索引技术，具体实现是全文检索引擎工具包(Lucene)，但Lucene是一个开放源代码的全文检索引擎工具包，不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

以Lucene为基础，出现了大量开源的全文检索引擎，目前最为著名和广泛使用的是独立的企业级搜索应用服务器(Solr)，Solr是基于Lucene的一个高性能全文搜索服务器。同时对Lucene进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，是一款非常优秀的全文搜索引擎。

Solr的设计初衷主要是基于Lucene实现一个高性能全文搜索服务器，在集群及并行计算方面并非优先考虑，虽然后期有较大升级改进，包括分布式解决方案(SolrCloud)的努力，但是仍然有很大的易用性、性能、可靠性及稳定性方面的问题。

在云计算时代，为了解决Solr对于大数据快速检索的问题，基于Lucene的开源分布式搜索服务器(ElasticSearch)应运而生。ElasticSearch也是一个基于Lucene的搜索服务器，但它提供了一个分布式多用户能力的全文搜索引擎，基于轻量级Web服务(RESTfulWeb)接口。Elasticsearch设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。Elasticsearch的搜索服务器始终可用，能够很方便的从一台开始并扩展到数百台服务器，并且实现实时搜索，Elasticsearch建立了一个云的解决方案。

至此，全文检索问题似乎得到完美解决。但是，随着数据量的指数级增长，在万亿级数据量甚至更大数据量下，Elasticsearch集群运行起来也越来越慢，实时性检索效率难以保障。各大领先的互联网IT企业都在尝试不同的解决方案。

但他们的方案主要是基于互联网使用场景下的大并发实时检索，服务器集群动辄上千台，这些方案对于需要对海量数据需进行实时检索但并发量要求不高的系统来说在成本上难以承受。

发明内容

本发明实施例提供一种数据检索的方法和装置，可以在满足实时性的前提下降低成本。

第一方面，本发明实施例提供了一种数据检索的方法，包括：

获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词；

根据所述行业关键词查找预设的行业索引库，得到行业检索索引；

根据所述普通关键词查找预设的普通索引库，得到普通检索索引；

根据所述行业检索索引和所述普通检索索引查找全量数据库，得到对应的检索数据。

第二方面，本发明实施例还提供了一种数据检索的装置，包括：

请求获取模块，用于获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词；

检索行业索引库模块，与所述请求获取模块相连，用于根据所述行业关键词查找预设的行业索引库，得到行业检索索引；

检索普通索引库模块，与所述请求获取模块相连，用于根据所述普通关键词查找预设的普通索引库，得到普通检索索引；

查找全量数据库模块，分别与所述检索行业索引库模块以及所述检索普通索引库模块相连，用于根据所述行业检索索引和所述普通检索索引查找全量数据库，得到对应的检索数据。

本发明实施例根据行业关键词查找预设的行业索引库，相比于普通索引库，行业索引库规模更小，构建行业索引库的成本更低，行业索引库的检索速度更快。

附图说明

图1是本发明实施例一提供的数据检索的方法流程图；

图2是本发明实施例二提供的数据检索的方法流程图；

图3是本发明实施例三提供的数据检索的方法流程图；

图4是本发明实施例四提供的数据检索的装置结构示意图；

图5是本发明实施例五提供的数据检索的装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的数据检索的方法流程图。本实施例可适用于特定行业大数据实时检索的情况，该方法可以由数据检索的装置来执行，该装置可以由软件和/或硬件方式实现，该装置可以集成在任何服务器中，例如典型的是ElasticSearch服务器。

本实施例的方法包括步骤S101、S102、S103及S104，步骤S102与S103不分先后。

S101、获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词。

获取数据检索请求后进行分析，识别其中的行业关键词和普通关键词。为了提升行业关键词的识别速度，可以先将行业关键词读入到内存中，并使用Trie树保存。在识别时，将要识别的关键词在Trie树中进行查找，如果存在，则为行业关键词，如果不存在，则是普通关键词。

Trie树又称单词查找树，是一种树形结构，是一种哈希树的变种，典型应用是用于统计，排序和保存大量的字符串，所以经常被搜索引擎系统用于文本词频统计。

S102、根据行业关键词查找预设的行业索引库，得到行业检索索引。

行业索引库接收行业关键词，并根据接收的行业关键词查到行业检索索引。

S103、根据普通关键词查找预设的普通索引库，得到普通检索索引。

普通索引库接收普通关键词，并根据接收的普通关键词查到普通检索索引。

S104、根据行业检索索引和普通检索索引查找全量数据库，得到对应的检索数据。

行业检索索引和普通检索索引在进行合并后查找全量数据库。因为行业关键词的权重高于普通关键词，因此如果普通索引库的检索结果和行业索引库的检索结果有重复，则丢弃普通索引库的检索结果。为了提升前端的响应速度，优先保障行业关键词的检索实时性，行业索引库检索出结果后直接进入下一步，而普通索引库检索出的结果与行业索引库的检索结果进行比较，去重后再进入下一步。具体可用一个独立的检索分发服务实现，该服务的核心是一个检索dispatcher类，该类的主要目的是根据检索关键词将检索请求分发到不同的索引库中，并最终合并得检索结果键值。

根据合并后检索结果键值查找并显示全量数据库的对应数据。键值指数据或文件的唯一标识数据。

一般基于互联网的全文搜索引擎，由于其应用场景是面向大众，因此其词库需要尽可能全面，但是对于特定行业的低并发实时检索业务来说，虽然面对的数据量巨大，因为使用人群有限且目的明确，所以其关心的行业关键词是有限的，由行业关键词构成的行业词库的规模常常是全词库的十分之一甚至百分之一，行业词库规模越小，行业索引库规模就越小。对于特定行业的用户来说，满足了行业关键词的检索实时性，就满足了用户90％以上的需求。

本实施例根据行业关键词查找预设的行业索引库，相比于普通索引库，行业索引库规模更小，构建行业索引库的成本更低，行业索引库的检索速度更快。

实施例二

图2是本发明实施例二提供的数据检索的方法流程图。实施例二以上述实施例为基础，在检索数据前增加了创建普通索引库及行业索引库的步骤。可通过一个独立的创建程序来确保数据依序顺利入库和普通索引库及行业索引库的创建。

本实施例提供的数据检索的方法包括以下步骤：步骤S201、步骤S202、步骤S203、步骤S204、步骤S205、步骤S206、步骤S207及步骤S208。其中，步骤S205、步骤S206、步骤S207及步骤S208分别与实施例一中的步骤S101、步骤S102、步骤S103及步骤S104相同，相同的步骤不再赘述，步骤S203与步骤S204不分先后。

S201、获取所述全量数据库的输入数据。

实时接收经过清洗处理的输入数据，将输入数据发送给全量数据库进行保存。输入数据包括文档。

S202、提取所述输入数据的键值。

键值是输入数据的唯一标识，输入数据的键值用来指代输入数据。键值将全量数据库和行业索引库及普通索引库联系在一起，在检索时根据键值可得到全量数据库中对应的检索数据。

S203、根据所述输入数据的键值和行业词库，得到行业索引，并将所述行业索引写入所述行业索引库。

行业索引库接收全量数据库中的输入数据，统计行业词库中的行业关键词在哪些输入数据或者说文档里出现过，便得到行业索引，将所述行业索引写入所述行业索引库。

由行业关键词构成的行业词库的规模常常是普通词库的十分之一甚至百分之一，相应地行业索引库的规模比普通索引库小很多。相比于普通索引库，构建行业索引库的成本更低，行业索引库的检索速度更快。

S204、根据所述输入数据的键值和普通词库，得到普通索引，并将所述普通索引写入所述普通索引库。

普通索引库接收全量数据库中的输入数据，统计普通词库中的普通关键词在哪些输入数据或者说文档里出现过，便得到普通索引，将所述普通索引写入所述普通索引库。

无论是行业索引库还是普通索引库，都只创建索引，不保存输入数据，输入数据保存在全量数据库中，全量数据库中输入数据的键值作为存储字段保存在行业索引库和普通索引库。

行业索引库和普通索引库建立后就可以进行后续的检索了。

S205、获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词。

S206、根据行业关键词查找预设的行业索引库，得到行业检索索引。

S207、根据普通关键词查找预设的普通索引库，得到普通检索索引。

S208、根据行业检索索引和普通检索索引查找全量数据库，得到对应的检索数据。

本实施例提供了建立行业索引库和普通索引库的方法，相比于普通索引库，行业索引库规模更小，构建行业索引库的成本更低，行业索引库的检索速度更快。

实施例三

图3是本发明实施例三提供的数据检索的方法流程图。实施例三以上述实施例为基础，在检索数据前增加了重建行业索引库的步骤，重建行业索引库的步骤可由独立的行业索引重建程序实现。

本实施例提供的数据检索的方法包括以下步骤：步骤S301、步骤S302、步骤S303、步骤S304、步骤S305、步骤S306和步骤S307。其中，步骤S304、步骤S305、步骤S306和步骤S307分别与实施例一中的步骤S101、步骤S102、步骤S103及步骤S104相同，相同的步骤不再赘述。

S301、获取行业索引库的重建请求。

在使用行业索引库的过程中，行业词库有可能改变，例如新增或删除某些行业关键词，原先的行业索引库不能满足要求，这时需要重建行业索引库。

普通词库一般不会变，普通索引库一般不存在重建普通索引的需求。

S302、根据所述重建请求清空所述行业索引库，并读取所述全量数据库中的数据。

根据所述重建请求，可以暂停数据入库和检索数据以便于行业索引库的重建，清空所述行业索引库中的行业索引，逐条读取全量数据库中的数据。

S303、根据所述全量数据库中的数据的键值和行业词库，得到新的行业索引，并将所述新的行业索引写入所述行业索引库。

行业索引库接收读取的全量数据库中的数据，统计行业词库中的行业关键词在哪些数据或者说文档里出现过，便得到新的行业索引，将所述新的行业索引写入所述行业索引库。

S304、获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词。

S305、根据行业关键词查找预设的行业索引库，得到行业检索索引。

S306、根据普通关键词查找预设的普通索引库，得到普通检索索引。

S307、根据行业检索索引和普通检索索引查找全量数据库，得到对应的检索数据。

本实施例提供了重建行业索引库的方法，在行业词库改变后，重建的行业索引库能满足检索需求的变化。

实施例四

图4是本发明实施例四提供的数据检索的装置结构示意图。该装置用于执行上述实施例中的数据检索的方法。该装置包括：请求获取模块401、检索行业索引库模块402、检索普通索引库模块403和查找全量数据库模块404。

请求获取模块，用于获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词。

检索行业索引库模块，与所述请求获取模块相连，用于根据所述行业关键词查找预设的行业索引库，得到行业检索索引。

检索普通索引库模块，与所述请求获取模块相连，用于根据所述普通关键词查找预设的普通索引库，得到普通检索索引。

查找全量数据库模块，分别与所述检索行业索引库模块以及所述检索普通索引库模块相连，用于根据所述行业检索索引和所述普通检索索引查找全量数据库，得到对应的检索数据。

本实施例根据行业关键词查找预设的行业索引库，相比于普通索引库，行业索引库规模更小，构建行业索引库的成本更低，行业索引库的检索速度更快。

实施例五

图5是本发明实施例五提供的数据检索的装置结构示意图。该装置用于执行上述实施例中的数据检索的方法。本实施例在实施例四的基础上增加了输入数据获取模块501、键值提取模块502、行业索引库构建模块503、普通索引库构建模块504、重建请求获取模块505、全量数据库读取模块506和行业索引库重建模块507。

输入数据获取模块，用于获取所述全量数据库的输入数据。

键值提取模块，与所述输入数据获取模块相连，用于提取所述输入数据的键值。

行业索引库构建模块，分别与所述键值提取模块及所述检索行业索引库模块相连，用于根据所述输入数据的键值和行业词库，得到行业索引，并将所述行业索引写入所述行业索引库。

普通索引库构建模块，分别与所述键值提取模块及所述检索普通索引库模块相连，用于根据所述输入数据的键值和普通词库，得到普通索引，并将所述普通索引写入所述普通索引库。

本实施例提供了建立行业索引库和普通索引库的方法，相比于普通索引库，行业索引库规模更小，构建行业索引库的成本更低，行业索引库的检索速度更快。

重建请求获取模块，用于获取行业索引库的重建请求。

全量数据库读取模块，与所述重建请求获取模块相连，用于根据所述重建请求清空所述行业索引库，并读取所述全量数据库中的数据。

行业索引库重建模块，分别与所述全量数据库读取模块及所述检索行业索引库模块相连，用于根据所述全量数据库中的数据的键值和行业词库，得到新的行业索引，并将所述新的行业索引写入所述行业索引库。

本实施例提供了重建行业索引库的方法，在行业词库改变后，重建的行业索引库能满足检索需求的变化。

本发明实施例所提供的数据检索的装置可用于执行本发明任意实施例所提供的数据检索的方法，具备执行该方法相应的功能和有益效果。

实施例六

本实施例提供的数据检索的装置用于执行上述实施例中的数据检索的方法。本实施例在上述实施例的基础上进行了优化。

进一步地，所述行业索引库使用SSD固态硬盘存储，所述普通索引库使用普通SATA硬盘存储，所述全量数据库的数据压缩保存。

行业索引库使用更加频繁，对行业索引库的实时性要求更高，所以行业索引库选用SSD固态硬盘进行存储。对普通索引库的要求不高，所以使用普通SATA硬盘存储。为了更有效地利用全量数据库的存储容量，对全量数据库的数据进行压缩保存。

进一步地，所述行业索引库和所述全量数据库可部署在同一个服务器集群上。

行业索引库和全量数据库可部署在同一个服务器集群上，可极大减少建立和重建行业索引时行业索引库和全量数据库之间的网络数据传输量，建立和重建行业索引可在各台服务器上同时进行，减少建立和重建行业索引的时间。

本实施例通过优化服务器系统的硬件配置，来保证检索大数据的实时性，提高数据检索装置的效费比。

本发明实施例所提供的数据检索的装置可用于执行本发明任意实施例所提供的数据检索的方法，具备执行该方法相应的功能和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据检索的方法，其特征在于，包括：

获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词；

根据所述行业关键词查找预设的行业索引库，得到行业检索索引，行业索引库检索出结果后直接进入下一步，查找全量数据库；

根据所述普通关键词查找预设的普通索引库，得到普通检索索引，普通索引库检索出的结果与行业索引库的检索结果进行比较，去重后再进入下一步，查找全量数据库；

根据合并后的所述行业检索索引和所述普通检索索引查找全量数据库，得到对应的检索数据。

2.根据权利要求1所述的数据检索的方法，其特征在于，还包括：

获取所述全量数据库的输入数据；

提取所述输入数据的键值；

根据所述输入数据的键值和行业词库，得到行业索引，并将所述行业索引写入所述行业索引库；

根据所述输入数据的键值和普通词库，得到普通索引，并将所述普通索引写入所述普通索引库。

3.根据权利要求1或2所述的数据检索的方法，其特征在于，还包括：

获取行业索引库的重建请求；

根据所述重建请求清空所述行业索引库，并读取所述全量数据库中的数据；

根据所述全量数据库中的数据的键值和行业词库，得到新的行业索引，并将所述新的行业索引写入所述行业索引库。

4.一种数据检索的装置，其特征在于，包括：

请求获取模块，用于获取数据检索请求，所述数据检索请求中包括行业关键词和除行业关键词之外的普通关键词；

检索行业索引库模块，与所述请求获取模块相连，用于根据所述行业关键词查找预设的行业索引库，得到行业检索索引，行业索引库检索出结果后直接进入下一步，查找全量数据库；

检索普通索引库模块，与所述请求获取模块相连，用于根据所述普通关键词查找预设的普通索引库，得到普通检索索引，普通索引库检索出的结果与行业索引库的检索结果进行比较，去重后再进入下一步，查找全量数据库；

查找全量数据库模块，分别与所述检索行业索引库模块以及所述检索普通索引库模块相连，用于根据合并后的所述行业检索索引和所述普通检索索引查找全量数据库，得到对应的检索数据。

5.根据权利要求4所述的数据检索的装置，其特征在于，还包括：

输入数据获取模块，用于获取所述全量数据库的输入数据；

键值提取模块，与所述输入数据获取模块相连，用于提取所述输入数据的键值；

行业索引库构建模块，分别与所述键值提取模块及所述检索行业索引库模块相连，用于根据所述输入数据的键值和行业词库，得到行业索引，并将所述行业索引写入所述行业索引库；

普通索引库构建模块，分别与所述键值提取模块及所述检索普通索引库模块相连，用于根据所述输入数据的键值和普通词库，得到普通索引，并将所述普通索引写入所述普通索引库。

6.根据权利要求4或5所述的数据检索的装置，其特征在于，还包括：

重建请求获取模块，用于获取行业索引库的重建请求；

全量数据库读取模块，与所述重建请求获取模块相连，用于根据所述重建请求清空所述行业索引库，并读取所述全量数据库中的数据；

行业索引库重建模块，分别与所述全量数据库读取模块及所述检索行业索引库模块相连，用于根据所述全量数据库中的数据的键值和行业词库，得到新的行业索引，并将所述新的行业索引写入所述行业索引库。

7.根据权利要求4或5所述的数据检索的装置，其特征在于，所述行业索引库使用SSD固态硬盘存储，所述普通索引库使用普通SATA硬盘存储，所述全量数据库的数据压缩保存。

8.根据权利要求4或5所述的数据检索的装置，其特征在于，所述行业索引库和所述全量数据库部署在同一个服务器集群上。

Images