CN105677725A - 一种用于旅游垂直搜索引擎的前置解析方法 - Google Patents

Abstract

本发明公开了一种用于旅游垂直搜索引擎的前置解析方法，能够分析用户的搜索词，并做语义分析，在匹配多种规则引擎后进一步合并规则，最终将搜索词转换成符合用户需求的查询条件。本发明负责基于搜索词文本的语义解析，能够理解用户搜索词的意图，将原始请求映射成更符合用户需求的查询条件，令查询结果更为精确。灵活的多规则引擎应用方式，方便开发者自定义更多的规则引擎，优化搜索结果。此外修改规则数据库后，前置解析通过时间戳自动识别修改内容，动态更新前置解析服务，通过新开辟内存空间更新规则引擎，从而不会间断前置解析的服务，方便运营人员基于关键字快速调整搜索结果，而无需做任何开发和代码发布，大大提高了运营的效率。

Description

一种用于旅游垂直搜索引擎的前置解析方法

技术领域

本发明属于搜索引擎技术领域，具体涉及一种用于旅游垂直搜索引擎的前置解析方法。

背景技术

随着互联网旅游平台的发展，在线可售卖的旅游产品得到极大丰富，如何让用户快速找到想要的产品成为各大旅游网站重点要解决的问题。旅游垂直搜索引擎可以方便用户快速查找产品，是必不可少的快速查找工具。

如何返回用户想要的产品是垂直搜索引擎中的一个难题，一般的垂直搜索引擎通过搜索词文本匹配的方式返回产品，例如考虑搜索关键词在产品中出现的词频。但当词频无法表征匹配相关性时，就可能返回用户不想要的产品，例如用户搜索“马尔代夫”可能返回“小马尔代夫”的三亚旅游产品。同时，当出现某些搜索词的搜索结果不理想时，一般的垂直搜索引擎很难快速调整结果，这就导致现有垂直搜索引擎的检索结果常常与用户的需求产生较大的偏差。

发明内容

为解决上述问题，本发明公开了一种用于旅游垂直搜索引擎的前置解析方法，能够分析用户的搜索词，并做语义分析，在匹配多种规则引擎后进一步合并规则，最终将搜索词转换成符合用户需求的查询条件。

为了达到上述目的，本发明提供如下技术方案：

一种用于旅游垂直搜索引擎的前置解析方法，包括如下步骤：

对搜索词进行预处理；

对搜索关键词进行分词、实体识别和词性标注；

采用若干规则引擎进行匹配，在每一类的规则引擎中，每一条规则都定义有合并操作规则、优先级和互斥规则；不同规则引擎间定义有合并策略和优先级；

得到各规则引擎的匹配结果后，首先在同一类匹配规则中根据合并操作规则、优先级和互斥规则进行合并得到初步合并结果后，在不同类匹配规则中根据合并策略和优先级针对初步合并结果进行合并得到最终合并结果；

将最终合并结果解析成搜索条件。

进一步的，所属若干规则引擎包括精确匹配引擎、语法匹配引擎和词项匹配引擎，匹配的过程包括：

步骤B，进入精确匹配引擎进行关键词匹配，若匹配则获取精确匹配结果，匹配结束后直接退出或继续进行其他引擎匹配；

步骤C，对搜索关键词进行分词、实体识别和词性标注；

步骤D，进入语法匹配引擎进行语法匹配，若步骤C标注后得到的词性组合结果匹配或部分匹配语法匹配规则，则获取语法匹配结果，语法匹配引擎完成后退出或者继续匹配其它引擎；

步骤E，进入词项匹配引擎进行词项匹配，将步骤C分词后的词进行匹配，返回所有匹配规则。

进一步的，所述合并规则包括“AND”、“OR”。

进一步的，所述规则存储在规则数据库中，当规则数据库更新时，前置解析模块通过时间戳自动识别修改内容，动态更新前置解析服务，通过新开辟内存空间更新规则引擎。

进一步的，所述规则数据库更新过程如下：

1.新增关键词，对关键词进行预处理；

2.判断该关键词的规则是否存在，如存在，则跳至步骤3，不存在跳至4；

3.该关键词的规则已存在，判断是否需要编辑，如不编辑，则退出，如编辑，跳至5；

4.新增关键词，选取规则引擎类型；

5.编辑规则具体内容，保存后跳至6；

6.审核规则，如驳回，则退出；

7.更新规则数据库，前置解析自动更新服务。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提供的前置解析方法，负责基于搜索词文本的语义解析，能够理解用户搜索词的意图，将原始请求映射成更符合用户需求的查询条件，从而令查询结果更为精确，克服现有垂直搜索引擎的缺陷。灵活的多规则引擎应用方式，方便开发者自定义更多的规则引擎，优化搜索结果。此外修改规则数据库后，前置解析通过时间戳自动识别修改内容，动态更新前置解析服务，通过新开辟内存空间更新规则引擎，从而不会间断前置解析的服务，方便运营人员基于关键字快速调整搜索结果，而无需做任何开发和代码发布，大大提高了运营的效率。

附图说明

图1为本发明系统架构图；

图2为前置解析方法流程图；

图3为运营系统新增规则流程图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供了一种前置解析方法，基于前置解析模块和规则数据库实现，如图1所示，通过网站、无线客户端获得的原始用户请求经搜索业务处理层提取出原始查询词后，传输至前置解析模块中，前置解析模块理解用户搜索词意图，映射成符合用户需求的查询条件并返回搜索业务处理层，搜索业务处理层根据查询条件、利用产品索引系统进行索引查询获得原始搜索结果，经过处理后返回最终处理结果至网站、无线客户端。具体地说，前置解析模块用于分析用户的搜索词，并做语义分析，然后匹配规则数据库中的精确匹配、词项匹配和语法匹配等规则引擎，把搜索词转换成查询条件。本例提供给前置解析模块的搜索词为“马尔代夫天堂岛跟团游线路”，如图1所示，前置解析方法的处理步骤如下：

步骤A，首先预处理模块对搜索词预处理，预处理旨在将输入的搜索词规范化，例如不规范字符处理，可将不规范的字符去除或识别后用规范字符代替；关键词长度限制，当关键词超长时，只截取前n个关键字词；基于空格的分词，以关键词中的空格为界，将关键词进行初步分词等等。上述搜索词中“线路”为停用词，去除该词后得到“马尔代夫天堂岛跟团游”。

本发明利用多个规则引擎相配合，并采用预先设置好的策略控制搜索时进入哪些引擎，采用插件化的设计方法，规则引擎可以自定义增加，规则引擎的执行顺序也可以根据需要改变。引擎规则均存储在规则数据库中，本例中策略为进入所有的规则引擎，本例中的引擎规则如表1所示，包括精确匹配引擎、语法匹配引擎、词项匹配引擎三类，根据需要，还可以增加其他类别的引擎。在后续匹配过程中，一个关键词不仅可能匹配到不同类引擎中的结果，也有可能匹配到同一类引擎中的多个规则，规则之间的结果合并由每个规则定义，规则之间可以定义取交集、并集等。同一类引擎的各条规则之间可以定义是否互斥，并可以定义这些规则的优先级和合并规则；而不同类引擎之间也可以定义合并策略和优先级。因此，下表1中规则定义有规则名、规则引擎类型、规则合并操作方式、规则优先级、互斥规则及规则内容。

注：aa=地区，bb=景点，cc=品类，dd=线路产品

表1

本例通过以下步骤运用多个引擎进行搜索：

步骤B，进入精确匹配引擎进行关键词匹配，精确匹配是指搜索词完整匹配规则库中的一条或多条规则。若匹配则获取精确匹配候选集，添加至结果规则集。利用步骤A处理后得到的关键词在图2中的精确匹配引擎中进行匹配后，匹配到规则1和2添加至结果规则集。

当然，本步骤具有匹配结果时可以直接选择退出，不执行其后步骤，但本例继续匹配其它引擎。

步骤C，实体识别模块对搜索关键词进行分词、实体识别和词性标注。

步骤C-1，首先进行最长分词，建立旅游相关的词库，可以使用常用的分词技术对用户请求进行分词。本例采用分词器IK分词后得到“马尔代夫|天堂|岛|跟团游”。

步骤C-2，对分词后的词进行实体识别和词性标注。实体识别中的实体非传统自然语言中的实体，本发明所指的实体为旅游垂直搜索中自定义的实体，词性可以是地区、景点、行程天数、品类、助词等，为能够独立存在的短语，例如“二日游”“天堂岛”。实体识别步骤是结合分词结果，加上一些词语组合技术，对词语进行合并，对搜索请求进行实体识别。对步骤C-1得到的分词结果进行实体识别后得到的实体为“马尔代夫|天堂岛|跟团游”。

对识别后的实体再进行词性标注，此处的词性非常用的名词、动词等词性，而是自定义的词性，例如品类词、地区、景点、天数等。对“马尔代夫|天堂岛|跟团游”中的实体分别进行词性标注，将马尔代夫标注为地区，天堂岛标注为景点，跟团游标注为品类，得到结果“马尔代夫(地区)|天堂岛（景点）|跟团游（品类）”。标注词性时可事先基于一些类别建立分类器，例如品类词分类器、地区分类器、景点分类器、天数分类器等等，分类器可以采用常用的bayes分类器，然后计算前述实体与分类器的相似概率，返回最相似的分类器作为该实体的词性。

步骤C-3，若关键词中还存在无词性的词语则重复执行步骤C-2，直至搜索关键词中所有的词语均标注有词性。

步骤D，进入语法匹配引擎进行语法匹配。本步骤并非必需，但需要先对搜索词做完词性标注，将关键词转换为词性和词项的组合后才能进行。如果步骤C-2标注后得到的词性组合结果命中语法匹配规则，则把规则集添加到结果规则集，即使是搜索词中只有部分匹配了语法规则也依然视为命中，剩余未匹配的词项可选择是否要继续匹配其他规则引擎。前述的部分匹配是指关键词的词项或词性可多于语法规则的内容，但是语法规则中的所有内容必须完整准确地存在于关键词中。本例中语法引擎中具有“地区+景点+品类”这一规则名，可以与步骤C得到的进行词性标注后的关键词的词性组合（(地区景点品类）相匹配，从而匹配到引擎中的规则3添加至结果规则集。为了便于理解，基于本例，以下针对部分匹配进行拓展说明：若本例中语法引擎中还具有另外一条规则，规则名为“地区+景点”，该规则亦与本例中步骤C得到的关键词的词性组合匹配成功；若本例中语法引擎中还具有另外一条规则，规则名为“地区+景点+品类+时间”，则该规则与本例中步骤C得到的关键词的词性组合不匹配。

语法匹配引擎完成后，可以选择退出或者继续匹配其它引擎。

步骤E，进入词项匹配引擎进行词项匹配。本步骤并非必需，但至少在分词后才能进行。分词后的每个词进入词项匹配引擎，若匹配则返回所有匹配规则。本例中采用步骤C得到的最终结果“马尔代夫|天堂岛|跟团游”（需去除词性仅保留词项部分），其中“马尔代夫”匹配词项引擎中的规则4，“天堂岛”匹配规则5，“跟团游”匹配规则6，均添加至结果规则集。

上述步骤D和E均不是必须执行的，且无一定的先后顺序，根据需要可以先进行词项匹配后在进行语法匹配。

步骤F，规则合并解析模块针对上述步骤中得到的规则，进行合并和解析，转换成具体的查询条件。当同一类规则中存在互斥的规则时，按照规则的优先级执行，并根据预先设定好的合并操作方式进行规则的合并。合并不同类规则时按照预先设定的合并策略和优先级进行合并。

前述步骤A-E中得到的结果规则集中包括，规则1、2、3、4、5、6，但由于1和2是互斥规则，由于规则1和2中规则1的优先级更高，故根据规则优先级保留1；得到规则1、3、4、5、6。精确匹配规则引擎、语法匹配规则引擎和词项匹配规则引擎的合并策略为精确匹配||语法匹配||词项匹配，根据该合并策略将规则1、3、4、5、6合并后得到1||3||（4&&5&&6）。根据其规则内容，进一步解析得到

(aa:1)||(dd:1)||(aa:2&&bb:1&&cc:1)

eaa:(1OR2)&&bb:1&&cc:1&&dd:1

从而得到前置解析的输出结果，通过前置解析步骤A-E把用户的文本请求“马尔代夫天堂岛跟团游线路”解析成更精确的搜索条件：地区为1或者2，且景点为1，且品类为1，且线路产品为1。

为了加快规则引擎的请求速度，内存中需要建立匹配规则的正向索引和反向索引。

基于上述前置解析方法，本发明还提供了搜索运营系统，用于修改规则数据库中的引擎规则，并将修改规则引擎规则的过程以界面形式操作，通过搜索运营系统中新增一条规则时，通过以下流程实现：

1.新增关键词，对关键词进行预处理。

2.判断该关键词的规则是否存在？如存在，则跳至3，不存在跳至4.

3.该关键词的规则已存在，是否需要编辑？如不编辑，则退出，如编辑，跳至5。

4.新增关键词，选取规则引擎类型，包括精确匹配、词项匹配、规则匹配。

5.编辑规则具体内容，例如是否清空关键词，对应哪些属性转化。保存后跳至6。

6.审核规则。如驳回，则退出。

7.更新规则数据库，前置解析自动更新服务。

搜索运营系统修改前置解析规则引擎的规则数据库后，前置解析模块通过时间戳自动识别修改内容，动态更新前置解析服务，通过新开辟内存空间更新规则引擎，从而不会间断前置解析的服务。

由于搜索引擎使用了前置解析，所以新增规则自动能体现在搜索结果中，具体可影响包含新增关键词的搜索请求。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种用于旅游垂直搜索引擎的前置解析方法，其特征在于，包括如下步骤：

对搜索词进行预处理；

对搜索关键词进行分词、实体识别和词性标注；

采用若干规则引擎进行匹配，在每一类的规则引擎中，每一条规则都定义有合并操作规则、优先级和互斥规则；不同规则引擎间定义有合并策略和优先级；

得到各规则引擎的匹配结果后，首先在同一类匹配规则中根据合并操作规则、优先级和互斥规则进行合并得到初步合并结果后，在不同类匹配规则中根据合并策略和优先级针对初步合并结果进行合并得到最终合并结果；

将最终合并结果解析成搜索条件。

2.根据权利要求1所述的用于旅游垂直搜索引擎的前置解析方法，其特征在于，所属若干规则引擎包括精确匹配引擎、语法匹配引擎和词项匹配引擎，匹配的过程包括：

步骤B，进入精确匹配引擎进行关键词匹配，若匹配则获取精确匹配结果，匹配结束后直接退出或继续进行其他引擎匹配；

步骤C，对搜索关键词进行分词、实体识别和词性标注；

步骤D，进入语法匹配引擎进行语法匹配，若步骤C标注后得到的词性匹配或部分匹配语法匹配规则，则获取语法匹配结果，语法匹配引擎完成后退出或者继续匹配其它引擎；

步骤E，进入词项匹配引擎进行词项匹配，将步骤C分词后的词进行匹配，返回所有匹配规则。

3.根据权利要求1或2所述的用于旅游垂直搜索引擎的前置解析方法，其特征在于，所述合并规则包括“AND”、“OR”。

4.根据权利要求1所述的用于旅游垂直搜索引擎的前置解析方法，其特征在于，所述规则存储在规则数据库中，当规则数据库更新时，前置解析模块通过时间戳自动识别修改内容，动态更新前置解析服务，通过新开辟内存空间更新规则引擎。

5.根据权利要求1所述的用于旅游垂直搜索引擎的前置解析方法，其特征在于，所述规则数据库更新过程如下：

1.新增关键词，对关键词进行预处理；

2.判断该关键词的规则是否存在，如存在，则跳至步骤3，不存在跳至4；

3.该关键词的规则已存在，判断是否需要编辑，如不编辑，则退出，如编辑，跳至5；

4.新增关键词，选取规则引擎类型；

5.编辑规则具体内容，保存后跳至6；

6.审核规则，如驳回，则退出；

7.更新规则数据库，前置解析自动更新服务。