CN110110234A - 一种大数据实时搜索系统和方法 - Google Patents

Abstract

本发明提供了一种大数据实时搜索系统，包括：索引服务模块、搜索引擎模块、查询服务模块和后台管理模块；所述索引服务模块，其用于提取原始数据，并对所述原始数据进行初级处理；所述搜索引擎模块，其用于对所述预处理后的数据建立索引库；所述查询服务模块，其用于接收用户输入的语句，并转化为相应查询语句；所述后台管理模块用于对所述索引服务模块、搜索引擎模块和查询服务模块进行管理。通过本发明能够实现对搜索引擎的管理，搜索成本较低，速度较慢，灵活性较高。

Description

一种大数据实时搜索系统和方法

技术领域

本发明涉及计算机技术领域，具体涉及一种大数据实时搜索系统方法。

背景技术

现有的搜索引擎系统一般只设置有搜索引擎，并不能对搜索引擎进行管理，所有的搜索工作都在搜索引擎中进行，搜索成本较高，速度较慢，灵活性较差。

发明内容

针对现有技术中的缺陷，本发明提供一种大数据实时搜索系统，能够实现对搜索引擎的管理，搜索成本较低，速度较慢，灵活性较高。

本发明提供了一种大数据实时搜索系统，包括：索引服务模块、搜索引擎模块、查询服务模块和后台管理模块,其特征在于：

所述索引服务模块，其用于提取原始数据，并对所述原始数据进行初级处理；

所述搜索引擎模块，其用于对所述预处理后的数据建立索引库；

所述查询服务模块，其用于接收用户输入的语句，并转化为相应查询语句；

所述后台管理模块用于对所述索引服务模块、搜索引擎模块和查询服务模块进行管理。

可选地，所述搜索引擎还用于基于所述查询语句，从所述索引库中查询相应的搜索结果，并将所述搜索结果返回给所述查询服务模块。

可选地，所述查询服务模块还用于显示所述搜索结果。

可选地，对所述原始数据进行初级处理具体包括：

对所述原始数据进行加工，获得json格式数据。

可选地，所述搜索引擎模块采用solr源码作为底层搜索引擎服务，通过jenkins推送Java项目。

可选地，所述搜索引擎模块根据所述json格式数据建立索引库。

可选地，所述索引库包括：查询索引库和展示索引库。

可选地，所述根据所述json格式数据建立索引库，包括：

根据所述json格式数据获得索引字段；

对所述索引字段进行横向切分，获得查询字段和展示字段；

根据所述查询字段建立所述查询索引库，根据所述展示字段建立所述展示索引库。

可选地，所述索引服务模块用于采用离线算分组件，计算每条数据的分值，并将所述分值发送至所述搜索引擎模块；

所述搜索引擎模块用于将所述分值存储至相应的索引库中；

所述查询索引库包括：分值和数据id；所述展示索引库，包括：数据id和展示数据。

可选地，所述管理后台模块用于对搜索引擎节点进行监控，当发现有挂掉节点时，发出警报信息。

可选地，所述Java项目读取配置中心的基本配置文件，根据所述基本配置文件建立索引库。

可选地，所述搜索引擎模块用于根据所述查询语句，从所述索引库中查询相应的搜索结果，并将所述搜索结果返回给所述查询服务模块，包括：

所述搜索引擎模块用于根据所述查询语句，从所述查询索引库中查询相应搜索结果的数据id；

根据所述数据id，从所述展示索引库中查找相应的展示数据，将查询到的展示数据作为搜索结果返回给所述查询服务模块。

可选地，所述索引服务模块用于实时将增量数据发送至所述搜索引擎模块，使所述搜索引擎模块根据所述增量数据对所述索引库进行增量更新。

可选地，所述查询服务模块用于接收用户的输入语句，将所述输入语句组装成查询语句，包括：

所述查询服务模块用于接收用户的输入数据，使用算法组件，对输入数据进行类目预测、查询词改写和主题词抽取中的一种或多种操作，获得查询语句。

可选地，所述管理后台模块用于创建索引库架构、删除索引库、创建索引库别名、删除索引库别名和重载索引库。

本发明提供了一种大数据实时搜索系统，包括：索引服务模块、搜索引擎模块、查询服务模块和后台管理模块；通过设置索引服务模块、搜索引擎模块、查询服务模块和后台管理模块，能够实现对搜索引擎的管理，搜索成本较低，速度较慢，灵活性较高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例提供的一种大数据实时搜索系统的示意图；

图2为与本发明实施例一致的一种大数据实时搜索方法的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明提供了一种大数据实时搜索系统。下面结合附图对本发明的实施例进行说明。

请参考图1，图1为本发明具体实施例提供的一种大数据实时搜索系统的示意图，本实施例提供的一种大数据实时搜索系统，包括：索引服务模块101、搜索引擎模块102、查询服务模块103和后台管理模块104；所述索引服务模块101用于从数据库中提取原始数据，对所述原始数据进行加工，获得json格式数据，并将所述json格式数据发送至所述搜索引擎模块102；所述搜索引擎模块102用于存储所述json格式数据，并根据所述json格式数据建立索引库；所述查询服务模块103用于接收用户的输入语句，将所述输入语句组装成查询语句，并将所述查询语句发送至所述搜索引擎模块102；所述搜索引擎模块102用于根据所述查询语句，从所述索引库中查询相应的搜索结果，并将所述搜索结果返回给所述查询服务模块103；所述查询服务模块103用于显示所述搜索结果；所述后台管理模块104用于对所述索引服务模块101、搜索引擎模块102和查询服务模块103进行管理。

本发明通过设置索引服务模块101、搜索引擎模块102、查询服务模块103和后台管理模块104，能够实现对搜索引擎的管理，搜索成本较低，速度较慢，灵活性较高。

其中，搜索引擎模块102采用solr源码作为底层搜索引擎服务，通过jenkins推送Java项目，能够实现搜索引擎的轻量化部署。该搜索引擎可通过zookeeper连接，组成一个搜索引擎集群solrcloud。

推上去的Java项目通过jenkins推送到线上服务器；推上去的Java项目读取配置中心的基本配置文件，根据所述基本配置文件建立索引库，实现了通过配置组建集群、索引存放目录控制。

索引库需要依赖schema、solrconfig的配置，实现了过管理后台上传，不再需要调用zkcli等工具上传配置文件。

在本发明中，所述索引库包括：查询索引库和展示索引库；所述根据所述json格式数据建立索引库，包括：根据所述json格式数据获得索引字段；对所述索引字段进行横向切分，获得查询字段和展示字段；根据所述查询字段建立所述查询索引库，根据所述展示字段建立所述展示索引库。

通过设置查询索引库和展示索引库，能够实现查询与展示的分离，随着索引数据的增加，单条索引所包含的字段越来越多，一条索引包含的字段可能超过上万个，该发明实现了对索引字段的横向切分，将索引字段拆分成查询的字段与展示的字段，并分别存入对应的索引库。

所述索引服务模块101用于采用离线算分组件，计算每条数据的分值，并将所述分值发送至所述搜索引擎模块102；所述搜索引擎模块102用于将所述分值存储至相应的索引库中；所述查询索引库包括：分值和数据id；所述展示索引库，包括：数据id和展示数据。

离线算分组件主要应用在索引服务模块101中，在拉取原始数据后，对每条待索引的数据进行打分，实现权重的计算。这套算分组件是从搜索引擎算分组件抽取出来，所以在定义算分公式时需要遵守搜索引擎的FunctionQuery函数格式。离线算分是在创建索引时把分数算好，相对于在查询时，时实算分，性能提升明显。

其中，分值是用来评价服务商的优质基本，在展示数据时，可以根据分值大小进行排序。

所述搜索引擎模块102用于根据所述查询语句，从所述索引库中查询相应的搜索结果，并将所述搜索结果返回给所述查询服务模块103，包括：所述搜索引擎模块102用于根据所述查询语句，从所述查询索引库中查询相应搜索结果的数据id；根据所述数据id，从所述展示索引库中查找相应的展示数据，将查询到的展示数据作为搜索结果返回给所述查询服务模块103。

在本发明中，每条数据都对应有相应的数据id，用于标记当条数据。

在本发明中，所述索引服务模块101用于实时将增量数据发送至所述搜索引擎模块102，使所述搜索引擎模块102根据所述增量数据对所述索引库进行增量更新。

索引服务模块101是将原始数据，通过规则的组装与加工，将数据形成json格式，发送给搜索引擎模块102创建索引库。

在本发明中，还可以设置有kafka消息系统；当用户数据发生变化时，会时实将新数据推送到kafka消息系统上，该模块通过监听kafka的消息，实时将数据的变更提交给搜索引擎模块102，实现搜索引擎模块102的实时更新。

在本发明中，还可以实现定时索引，例如，每隔一天进行一次数据更新。

所述查询服务模块103用于接收用户的输入语句，将所述输入语句组装成查询语句，包括：所述查询服务模块103用于接收用户的输入数据，使用算法组件，对输入数据进行类目预测、查询词改写和主题词抽取中的一种或多种操作，获得查询语句。

查询服务模块103是将查询服务模块103是将用户的输入转换成搜索引擎的查询语句，提交给搜索引擎，搜索引擎将查询结果返回后，再通过数据id去获取需要展示的字段。

其中，类目预测，是通过关键词预测出可能的分类信息，在查询时，对预测出来的分类进行优先展示。查询词改写，是通过关键词分词后，获取分词后的同意词，在检索时，连同与包含拥有同意词的数据一起招回，从而扩大数据的招回。关键词抽取主题词，对于一些长尾词，在数据招回时可能只能招回少量结果，所以实现了通过抽取主题词的方式，把包含主题词的数据都扩回，从而获得更多的数据。

在类目预测、查询词改写和主题词抽取中会用到中文分词组件，本发明中使用的中文分词组件为：alg-seg。

大部分开源搜索引擎对中文的支持比较弱，实现了自已的一套中文分词，并实现了对词库的热更新，很多中文分词词库都是固定的，如果要更新词库，需要重启服务，而本发明通过把增量词库同步到zookeeper的作法，zookeeper中存储的词库有变化时会时实会词库同步到分词组件，从而实现了词库的热更新。

分词是搜索引擎的基石，搜索引擎在创建索引时，需要使用中文分词把中文切词后做倒排索引，在查询时需要使用分词把关键词切词后在倒排索引中检索。

查询出来的结果可能会出现单个服务商的多个产品，根据服务商ID进行展示，一个服务商只展示一个产品的规则进行重排。

数据排重组件，是对查词出来的结果进二次排序。如果一个页面都是某一商家的产品，会对用户很不友好，从而降低页面的转化率。所以对这种页面进行优化，在从搜索引擎获取数据时尽可能的获取的多，然后再对结果进行重新排序，如果在一个页面中发现一个商家有多个产品，则把相同服务商的第二个产品拿到下一页。这样，能够避免单个商家霸屏的现象，并且使数据排序更加合理。

所述管理后台模块用于对搜索引擎节点进行监控，当发现有挂掉节点时，发出警报信息。

所述管理后台模块用于创建索引库架构、删除索引库、创建索引库别名、删除索引库别名和重载索引库。

管理后台模块是对搜索引擎模块102、索引服务模块101、查询服务模块103进行管理的模块。

该模块实现了以下功能：

a、对搜索引擎集群的管理，新建搜索引擎集群时需要依赖zookeeper，管理后台实现了为新搜索引擎创建zookeeper节点的功能。

b、对搜索引擎节点的监控，为保证搜索引擎集群的稳定，管理后台实现了对搜索引擎集群节点的监控，发现有挂掉的节点立发告警。

c、对对索引库的管理，包括索引配置的上传、创建索引库、删除索引库、创建索引库别名、删除索引库别名、重载索引库等操作。

d、对索引服务的管理，索引服务分定时索引和增量索引方式，这两种索引模式其实是两种定时任务，管理后台对这两种定时任务的开关管理。

e、对分词管理，使用中文分词组件alg-seg，可以对词库进行扩展，有扩展词库、歧义词库、停用词库，管理后台实现了对这些词库管理功能。

f、用户输入的关键词带有很强的分类信息，管理后台实现了关键词与类目关系的绑定功能，在查询时，如果关键词有绑定关系，则会在相应类目下搜索。

以上，为本发明提供的一种大数据实时搜索系统。

如图2所示，本发明还提出了一种大数据实时搜索方法，其包括：

提取原始数据，并对所述原始数据进行初级处理；

对所述预处理后的数据建立索引库；

接收用户输入的语句，并转化为相应查询语句；

输出查询结果。

可选地，基于所述查询语句，从所述索引库中查询相应的搜索结果，并将所述搜索结果返回给所述查询服务模块。

可选地，对所述原始数据进行初级处理具体包括：

对所述原始数据进行加工，获得json格式数据。

可选地，采用solr源码作为底层搜索引擎服务，通过jenkins推送Java项目。

可选地，根据所述json格式数据建立索引库。

可选地，所述索引库包括：查询索引库和展示索引库。

可选地，所述根据所述json格式数据建立索引库，包括：

根据所述json格式数据获得索引字段；

对所述索引字段进行横向切分，获得查询字段和展示字段；

根据所述查询字段建立所述查询索引库，根据所述展示字段建立所述展示索引库。

可选地，采用离线算分组件，计算每条数据的分值；

将所述分值存储至相应的索引库中；

所述查询索引库包括：分值和数据id；所述展示索引库，包括：数据id和展示数据。

可选地，对搜索引擎节点进行监控，当发现有挂掉节点时，发出警报信息。

可选地，所述Java项目读取配置中心的基本配置文件，根据所述基本配置文件建立索引库。

可选地，根据所述查询语句，从所述索引库中查询相应的搜索结果，并将所述搜索结果返回给，包括：

根据所述查询语句，从所述查询索引库中查询相应搜索结果的数据id；

根据所述数据id，从所述展示索引库中查找相应的展示数据，将查询到的展示数据作为搜索结果返回。

可选地，实时将增量数据发送至所述搜索引擎模块，使所述搜索引擎模块根据所述增量数据对所述索引库进行增量更新。

可选地，接收用户的输入语句，将所述输入语句组装成查询语句，包括：

接收用户的输入数据，使用算法组件，对输入数据进行类目预测、查询词改写和主题词抽取中的一种或多种操作，获得查询语句。

可选地，创建索引库架构、删除索引库、创建索引库别名、删除索引库别名和重载索引库。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种大数据实时搜索系统，包括：索引服务模块、搜索引擎模块、查询服务模块和后台管理模块,其特征在于：

所述索引服务模块，其用于提取原始数据，并对所述原始数据进行初级处理；

所述搜索引擎模块，其用于对所述预处理后的数据建立索引库；

所述查询服务模块，其用于接收用户输入的语句，并转化为相应查询语句；

所述后台管理模块用于对所述索引服务模块、搜索引擎模块和查询服务模块进行管理。

2.根据权利要求1所述的系统，其特征在于，所述搜索引擎还用于基于所述查询语句，从所述索引库中查询相应的搜索结果，并将所述搜索结果返回给所述查询服务模块。

3.根据权利要求1所述的系统，其特征在于，所述查询服务模块还用于显示所述搜索结果。

4.根据权利要求1所述的系统，其特征在于，对所述原始数据进行初级处理具体包括：

对所述原始数据进行加工，获得json格式数据。

5.根据权利要求1所述的系统，其特征在于，所述搜索引擎模块采用solr源码作为底层搜索引擎服务，通过jenkins推送Java项目。

6.根据权利要求4所述的系统，其特征在于，所述搜索引擎模块根据所述json格式数据建立索引库。

7.根据权利要求1所述的系统，其特征在于，所述索引库包括：查询索引库和展示索引库。

8.根据权利要求6所述的系统，其特征在于，所述根据所述json格式数据建立索引库，包括：

根据所述json格式数据获得索引字段；

对所述索引字段进行横向切分，获得查询字段和展示字段；

根据所述查询字段建立所述查询索引库，根据所述展示字段建立所述展示索引库。

9.根据权利要求8所述的系统，其特征在于，所述索引服务模块用于采用离线算分组件，计算每条数据的分值，并将所述分值发送至所述搜索引擎模块；

所述搜索引擎模块用于将所述分值存储至相应的索引库中；

所述查询索引库包括：分值和数据id；所述展示索引库，包括：数据id和展示数据。

10.根据权利要求1所述的系统，其特征在于，所述管理后台模块用于对搜索引擎节点进行监控，当发现有挂掉节点时，发出警报信息。