CN105138511A - 一种对搜索关键词进行语义分析的方法和系统 - Google Patents

Abstract

本发明涉及一种对搜索关键词进行语义分析的方法和系统。包括搜索词接收模块、分词模块、语义分析模块、评估模块和结果组装模块；搜索词接收模块接收用户输入的搜索词，并将搜索词发送至分词模块；分词模块对搜索词进行中文分词和去除停用词得到关键词语组，并将关键词语组发送至语义分析模块；语义分析模块接收关键词语组，并通过匹配引擎调取词典索引库中的词语，采用预设算法对关键词语组进行匹配，得到匹配结果；评估模块通过匹配引擎再次调取词典索引库中的词语，对匹配结果进行评分；结果组装模块对评分后的匹配结果进行格式化组合。

Description

一种对搜索关键词进行语义分析的方法和系统

技术领域

本发明涉及信息检索技术，尤其涉及一种对搜索关键词进行语义分析的方法和系统。

背景技术

计算机科学领域的一个重要分支就是“人工智能”，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

在自然语言处理方面，如何让计算机识别和理解人类的语言，并且模拟人类思维方式去思考、推理问题，是完成“人工智能”这个人类伟大理想的重要举措。不管是中文，英文语言环境中，除了“你”“我”“他”等这类个别的例外以外，词组才是人类表达语义的最小单位。

中文由于其深厚而且博大精深的文化底蕴，“长字符串”形式的书写方式使得计算机在理解中文方面远比理解英文要困难很多。因为英文本身就是以“词”为最小的存在单位，书写方式是以空格区分每个词分割，所以计算机能通过空格来很好的识别英文的一个最小语义表达。

中文的复杂程度、表达语义的能力远远高于英文，同样一个词在不同的语用、语境下表达的意思是完全不同的。比如“乒乓球拍卖完了”，可以理解为“乒乓球_拍卖完了”、也可以是“乒乓球拍_卖完了”，再比如“XXX行贿中国石油公司”和“中国石油公司行贿XXX”。同样的内容不同的分割、不同的顺序，表达的意思就完全不一样。所以若想让计算机识别中文文本，第一步要做的就是告诉计算机在一句话中，哪几个字是一个词组。而这就是分词的过程。而由于中文具有非常强的歧义性，所以准确分词技术是一项非常复杂和具有挑战性的工作。

常见的中文歧义类型有：

1、组合歧义：在分词过程中是最常遇到的，比如：“美国花旗银行”中的“国花”，“苏联想从边境撤军”中的“联想”，“技术和服务”中的“和服”等等非常多。

2、人名歧义：“宁静”、“杨柳”、“黎明”等等，语境歧义

3、语用歧义：“牦牛肉不好吃”，其中的“好”有两种意思，a)“味道不好吃”的意思；b)“不容易吃”的意思；

4、语境歧义：两米二六个头的姚明。并不是说姚明有“26个脑袋”

5、真歧义：真歧义是最难以区分的，包括我们人类若没有上下文语境的判断和知识积累，也很难正确的分词。例如“武汉市长江大桥”就可以分为“武汉_市长_江大桥”或者“武汉市_长江大桥”。

6、分词颗粒问题：“中国人民解放军”可以是一个词，也可以是“中国人民解放军”在不同的应用情景下，分词颗粒度是完全不同的。分词颗粒度的不同，造成语义的完全不同。

7、分词具有领域性：在医药、化工领域的中文表达方式和文字特点与其他领域完全不同，互联网网友的用词方式跟其他领域完全不同。

这类歧义在中文中还有更多更多，若不能正确的分词，计算机就无法正确识别中文文本的内容。但能正确的分词仅仅是中文语义识别的第一步，必须还要能准确的对词义进行解析，让计算机“懂得”词的意义。

现有技术方案中的关键字检索运用最常见的地方是基于关键字检索的客户问答系统，在很多门户网站上均部署有此类机器问答系统，其实此类系统就是传统FAQ(FrequentlyAskedQuestions)的升级，当FAQ过多时用户可能不方便查找自己关心的信息，于是有了这种升级和改进，专注于用户“问什么，答什么”。例如，用户提问：密码忘了怎么办？机器人回复：

尊敬的用户早上好！

如果您忘记了密码可使用保密邮箱重置密码，请点击以下链接并输入您注册时填写的保密邮箱地址：

www.xxx.com/pass？type＝rest

上述例子中，系统接收到问本“密码忘了怎么办？”，首先将文本拆分为：“密码”、“忘了”、“怎么办？”，然后对拆分后的词进行关键字检索，最后判断出用户是想知道忘记密码后怎么登陆系统，于是就将预先准备好的回复语返回给客户。

这种识别方法比较简单，成本低见效快，但是准确度不高。如果用户提问为“我的密码是什么？”，系统估计就识别不出来是什么意思了。为了解决这类问题可以使用海量词库来解决。

当根据根据搜到词识别用户意图时，遇到的麻烦更多，见以下场景：1、“iphone5什么时候降价”2、“iphone6什么时候上市”3、“三星合约机”4、“ip6”5、“安卓手机数据线”6、“苹果5手机壳”7、“荣耀6白屏”。

在场景1中，不仅是要识别出用户对iphone5感兴趣，更要识别出用户希望以优惠的价格购机。在场景2中，用户表现出了对iphone6的关心，但是用户不一定想购买。在场景3中，用户表现出了对三星手机的兴趣，但是必须是合约机。在场景4中，用户究竟是搜索“Ipv6(InternetProtocolVersion6)”还是iphone6。在场景5中，用户是想购买安卓手机的数据线而不是手机。在场景6中，用户是想买iphone5的手机壳而不是手机。在场景7中，用户的荣耀6手机发生了白屏故障，而不是想买白色的荣耀6。因此单单使用传统的关键字检索技术是无法满足要求的。

发明内容

本发明所要解决的技术问题是提供一种通过综合语义判断，识别用户搜索意愿的语义分析方法和系统。

本发明解决上述技术问题的技术方案如下：一种对搜索关键词进行语义分析的系统，包括搜索词接收模块、词典索引库、分词模块、语义分析模块、评估模块和结果组装模块；

所述搜索词接收模块，用于接收用户输入的搜索词，并将所述搜索词发送至分词模块；

所述词典索引库，用于存储停用词典、基础词典、正向词典、反向词典和核心词典；

所述分词模块，用于通过匹配引擎调取词典索引库中的词语，对搜索词进行中文分词和去除停用词得到关键词语组，并将所述关键词语组发送至语义分析模块；

所述语义分析模块，用于接收关键词语组，并通过匹配引擎调取词典索引库中的词语，采用预设算法对关键词语组进行匹配，得到匹配结果；

所述评估模块，用于通过匹配引擎再次调取词典索引库中的词语，对匹配结果进行评分；

所述结果组装模块，用于对评分后的匹配结果进行格式化组合。

本发明的有益效果是：本发明对关键字检索切分成三个部分：关键检索、正向检索、反向检索，并辅以语义算法和评分体系，进行综合语义判断，有效识别用户搜索意愿，从而为有效的指导终端营销。

本发明还提供一种对搜索关键词进行语义分析的方法，包括以下步骤，接收用户输入的搜索词；

对搜索词进行中文分词和去除停用词得到关键词语组；

通过匹配引擎调取词典索引库中的词语，采用预设算法对关键词语组进行匹配，得到匹配结果；

通过匹配引擎再次调取词典索引库中的词语，对匹配结果进行评分；

对评分后的匹配结果进行格式化组合。

附图说明

图1为本发明一种对搜索关键词进行语义分析的系统模块关系示意图；

图2为本发明一种对搜索关键词进行语义分析的方法步骤流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种对搜索关键词进行语义分析的系统，包括搜索词接收模块、分词模块、语义分析模块、评估模块和结果组装模块。搜索词接收模块，用于接收用户输入的搜索词，并将搜索词发送至分词模块。分词模块，用于对搜索词进行中文分词和去除停用词得到关键词语组，并将关键词语组发送至语义分析模块。本发明的分词模块选用了开源的分词工具IKAnalyzer对搜索词进行分词，得到分词结果。语义分析模块，用于接收关键词语组，并通过匹配引擎调取词典索引库中的词语，采用预设算法对关键词语组进行匹配，得到匹配结果。评估模块，用于通过匹配引擎再次调取词典索引库中的词语，对匹配结果进行评分。结果组装模块，用于对评分后的匹配结果进行格式化组合。

上述对搜索关键词进行语义分析的系统，还可以包括词典索引库，用于存储停用词典、基础词典、正向词典、反向词典和核心词典。停用词典，用于存储停用词。停用词用来辅助分词工具切分词语，被人工预存进停用词表中，一般无实际意义，多为语气助词、连词或介词，例如也、啊、又、比、与、但。基础词典，用于存储商品名词。商品名词包括品牌名词、型号名词和/或类别名词。当商品为移动终端时，商品名称可以为苹果、iphone、iphone4s、三星、华为、荣耀6、nokia110。正向词典，用于存储语义正向的辅助词语，例如多少钱、价格、报价、合约、新功能、实体店。反向词典，用于存储语义反向的辅助词语，例如花屏、进水、不亮、怎么用、教程。核心词典选用分词工具IKAnalyzer的核心词典,停用词典、基础词典、正向词典和反向词典中的词语也被添加进核心词典。

预设算法包括核心算法。核心算法包括关键词检索算法、正向检索算法和反向检索算法。关键词检索算法为，在基础词典中对关键词语组中的每个目标关键词语进行逐一匹配。正向检索算法为，在正向词典中对关键词语组中的每个目标关键词语进行逐一匹配。反向检索算法为，利用反向词典中对关键词语组中的非目标关键词语进行过滤。

预设算法还包括辅助算法。辅助算法包括整体匹配算法、循环匹配算法、循环叠加匹配算法和语义结果校正匹配算法，整体匹配算法为，利用基础词典对用户输入的搜索词进行全量不拆分匹配。循环匹配算法为，利用基础词典对关键词语组中的每个关键词语进行循环匹配。循环叠加匹配算法为，对关键词语组中的每个关键字依照先后顺序进行逐步组合，每步组合得到一个组合词语，将组合词语逐步在基础词典中进行循环匹配。语义结果校正匹配算法为，如果对用户输入的搜索词进行全量不拆分匹配时没有在核心词典中命中匹配目标，而对搜索词分词后的关键词语组匹配时在基础词典中命中匹配目标，则检测关键词语与命中的匹配目标是否有业务跨越行为，如果是则抛弃当次匹配结果，如果否则保留当次匹配结果。

评估模块对匹配结果进行评分包括相似度评分、业务关联度评分、域名评分和语义得分校正。

相似度评分为，计算搜索词与词典索引库中的词语的匹配率。例如，用户输入的搜索词的字数为5个，其中只有3个字得到了匹配，因此，其匹配率为60％，即相似度评分为6。

业务关联度评分，将搜索词与基础词库中的模糊性词条进行匹配，模糊性词条预先赋值业务关联分数，搜索词与模糊性词条匹配成功后，拷贝对应的模糊性词条的业务关联分数，没有匹配成功模糊词条的搜索条目给予高于业务关联分数的预定分数。

域名评分为，对用户输入的搜索词的来源域名进行评分，评分过程为，将来源域名与域名表中的预定域名进行匹配，在域名表中预先存储预定域名的预定分数，来源域名与预定域名匹配成功，则来源域名拷贝预定域名所对应的预定分数。

域名表例如：

语义得分校正，对相似度评分、业务关联度评分和域名评分的综合分数进行校正，校正过程为，将分数超过第一预定分数的匹配结果赋值为第一预定分数，将分数低于第二预定分数的匹配结果抛弃。

如图2所示，本发明还提供一种对搜索关键词进行语义分析的方法，包括以下步骤，

接收用户输入的搜索词。

对搜索词进行中文分词和去除停用词得到关键词语组。

通过匹配引擎调取词典索引库中的词语，采用预设算法对关键词语组进行匹配，得到匹配结果。

通过匹配引擎再次调取词典索引库中的词语，对匹配结果进行评分。

对评分后的匹配结果进行格式化组合。

词典索引库，用于存储停用词典、基础词典、正向词典、反向词典和核心词典。停用词典，用于存储停用词。基础词典，用于存储商品名词。商品名词包括品牌名词、型号名词和/或类别名词。正向词典，用于存储语义正向的辅助词语。反向词典，用于存储语义反向的辅助词语。核心词典选用分词工具IKAnalyzer的核心词典。

一种对搜索关键词进行语义分析的方法，预设算法包括核心算法。核心算法包括关键词检索算法、正向检索算法和反向检索算法。关键词检索算法为，在基础词典中对关键词语组中的每个目标关键词语进行逐一匹配。正向检索算法为，在正向词典中对关键词语组中的每个目标关键词语进行逐一匹配。反向检索算法为，利用反向词典中对关键词语组中的非目标关键词语进行过滤。

预设算法还包括辅助算法。辅助算法包括整体匹配算法、循环匹配算法、循环叠加匹配算法和语义结果校正匹配算法，整体匹配算法为，利用基础词典对用户输入的搜索词进行全量不拆分匹配。循环匹配算法为，利用基础词典对关键词语组中的每个关键词语进行循环匹配。循环叠加匹配算法为，对关键词语组中的每个关键字依照先后顺序进行逐步组合，每步组合得到一个组合词语，将组合词语逐步在基础词典中进行循环匹配。例如“12345”被拆分为“1”、“2”、“3”、“4”、“5”，检索过程为：先对“1”进行检索，然后进行叠加操作得到“12”，然后对其进行检索；再然后继续叠加得到“123”，再对其进行检索，后同略。语义结果校正匹配算法为，如果对用户输入的搜索词进行全量不拆分匹配时没有在核心词典中命中匹配目标，而对搜索词分词后的关键词语组匹配时在基础词典中命中匹配目标，则检测关键词语与命中的匹配目标是否有业务跨越行为，如果是则抛弃当次匹配结果，如果否则保留当次匹配结果。例如，用户搜索“T1列车”，分词工具拆分为“T1”、“列车”。其中“T1”识别为终端机型，“列车”识别为歌曲。本次搜索有业务跨越行为，应当抛弃。

对匹配结果进行评分包括相似度评分、业务关联度评分、域名评分和语义得分校正。相似度评分为，计算搜索词与词典索引库中的词语的匹配率。业务关联度评分，将搜索词与基础词库中的模糊性词条进行匹配，模糊性词条例如“手机”、“4G手机”等。模糊性词条预先赋值业务关联分数，搜索词与模糊性词条匹配成功后，拷贝对应的模糊性词条的业务关联分数，没有匹配成功模糊词条的搜索条目应当给予稍高的预定分数。域名评分为，对用户输入的搜索词的来源域名进行评分，评分过程为，将来源域名与域名表中的预定域名进行匹配，在域名表中预先存储预定域名的预定分数，来源域名与预定域名匹配成功，则来源域名拷贝预定域名所对应的预定分数。

语义得分校正，对相似度评分、业务关联度评分和域名评分的综合分数进行校正，校正过程为，将分数超过第一预定分数的匹配结果赋值为第一预定分数，将分数低于第二预定分数的匹配结果抛弃。

实施例一

本实施例以用户输入搜索词“lumia810报价”。

步骤01，搜索词接收模块接收搜索词“lumia810报价”，执行步骤02。

步骤02，分词工具将“lumia810报价”拆分为：“lumia”、“810”、“报价”，执行步骤03。

步骤03，匹配引擎调取反向词典，分别对“lumia”、“810”、“报价”进行反向匹配，最终未匹配成功，执行步骤04。

步骤04，匹配引擎调取基础词典，分别对“lumia”、“810”、“报价”进行基础匹配，最终“lumia”匹配成功“诺基亚”、“nokia”、“lumia”、“怒米亚”、“卢米亚”、“诺基亚非凡系列”，执行步骤05；

步骤05，匹配引擎分别将“lumia”、“810”、“报价”进行正向匹配，最终“报价”匹配成功，进行加分操作，执行步骤06；

步骤06，域名打分服务将“m.taobao.com”进行深度分析打分，经过拆解最终同“taobao.com”匹配成功,进行加分操作，执行步骤07；

步骤07，语义评估器对步骤04、05、06的得分结果进行综合评分，产生该次搜索行为的最终得分，执行步骤08；

步骤08，结果组装器对产生的结果和任务信息进行格式化，最终返回并保存类似以下的结果。

用户号码	语义识别推荐机型	得分
			18812345678	Nokia--Lumia--810	9分

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对搜索关键词进行语义分析的系统，其特征在于，包括搜索词接收模块、词典索引库、分词模块、语义分析模块、评估模块和结果组装模块；

所述搜索词接收模块，用于接收用户输入的搜索词，并将所述搜索词发送至分词模块；

词典索引库，用于预先存储预定词语，并响应匹配引擎的调取；

所述分词模块，用于通过匹配引擎调取词典索引库中的词语，对搜索词进行中文分词和去除停用词得到关键词语组，并将所述关键词语组发送至语义分析模块；

所述语义分析模块，用于接收关键词语组，并通过匹配引擎调取词典索引库中的词语，采用预设算法对关键词语组进行匹配，得到匹配结果；

所述评估模块，用于通过匹配引擎再次调取词典索引库中的词语，对匹配结果进行评分；

所述结果组装模块，用于对评分后的匹配结果进行格式化组合。

2.根据权利要求1所述一种对搜索关键词进行语义分析的系统，其特征在于，所述预定词语，包括停用词、商品名词、语义正向词和语义反向词，所述词典索引库，存储停用词典、基础词典、正向词典、反向词典和核心词典；

所述停用词典，用于存储停用词；

所述基础词典，用于存储商品名词；所述商品名词包括品牌名词、型号名词和/或类别名词；

所述正向词典，用于存储语义正向的辅助词语；

所述反向词典，用于存储语义反向的辅助词语；

核心词典选用分词工具IKAnalyzer的核心词典,所述停用词典、基础词典、正向词典和反向词典被添加进分词工具IKAnalyzer的核心词典中。

3.根据权利要求2所述一种对搜索关键词进行语义分析的系统，其特征在于，所述预设算法包括核心算法和语义结果校正匹配算法；

所述核心算法为，利用词典索引库，对关键词语组中的目标关键词进行逐一匹配，并过滤掉关键词语组中的非目标关键词；

所述语义结果校正匹配算法为，在核心算法中，如果对用户输入的搜索词进行全量不拆分匹配时没有在核心词典中命中匹配目标，而对搜索词分词后的关键词语组匹配时在基础词典中命中匹配目标，则检测关键词语与命中的匹配目标是否有业务跨越行为，如果是则抛弃当次匹配结果，如果否则保留当次匹配结果。

4.根据权利要求3所述一种对搜索关键词进行语义分析的系统，其特征在于，所述核心算法包括关键词检索算法、正向检索算法、反向检索算法、整体匹配算法、循环匹配算法和循环叠加匹配算法；

所述关键词检索算法为，在基础词典中对关键词语组中的每个目标关键词语进行逐一匹配；

所述正向检索算法为，在正向词典中对关键词语组中的每个目标关键词语进行逐一匹配；

所述反向检索算法为，利用反向词典中对关键词语组中的非目标关键词语进行过滤；

所述整体匹配算法为，利用基础词典对用户输入的搜索词进行全量不拆分匹配；

所述循环匹配算法为，利用基础词典对关键词语组中的每个关键词语进行循环匹配；

所述循环叠加匹配算法为，对关键词语组中的每个关键字依照先后顺序进行逐步组合，每步组合得到一个组合词语，将组合词语逐步在基础词典中进行循环匹配。

5.根据权利要求1所述一种对搜索关键词进行语义分析的系统，其特征在于，所述评估模块对匹配结果进行评分包括相似度评分、业务关联度评分、域名评分和语义得分校正；

所述相似度评分为，计算搜索词与词典索引库中的词语的匹配率；

所述业务关联度评分，将搜索词与基础词库中的模糊性词条进行匹配，所述模糊性词条预先赋值业务关联分数，搜索词与所述模糊性词条匹配成功后，拷贝对应的模糊性词条的业务关联分数，没有匹配成功模糊词条的搜索条目给予高于业务关联分数的预定分数；

所述域名评分为，对用户输入的搜索词的来源域名进行评分，评分过程为，将来源域名与域名表中的预定域名进行匹配，在域名表中预先存储预定域名的预定分数，来源域名与预定域名匹配成功，则来源域名拷贝预定域名所对应的预定分数；

所述语义得分校正，对相似度评分、业务关联度评分和域名评分的综合分数进行校正，校正过程为，将分数超过第一预定分数的匹配结果赋值为第一预定分数，将分数低于第二预定分数的匹配结果抛弃。

6.一种对搜索关键词进行语义分析的方法，其特征在于，包括以下步骤，

接收用户输入的搜索词；

对搜索词进行中文分词和去除停用词得到关键词语组；

通过匹配引擎调取词典索引库中的词语，采用预设算法对关键词语组进行匹配，得到匹配结果；

通过匹配引擎再次调取词典索引库中的词语，对匹配结果进行评分；

对评分后的匹配结果进行格式化组合。

7.根据权利要求6所述一种对搜索关键词进行语义分析的方法，其特征在于，所述预定词语，包括停用词、商品名词、语义正向词和语义反向词，所述词典索引库，存储停用词典、基础词典、正向词典、反向词典和核心词典；

所述停用词典，用于存储停用词；

所述基础词典，用于存储商品名词；所述商品名词包括品牌名词、型号名词和/或类别名词；

所述正向词典，用于存储语义正向的辅助词语；

所述反向词典，用于存储语义反向的辅助词语；

核心词典选用分词工具IKAnalyzer的核心词典。

8.根据权利要求6所述一种对搜索关键词进行语义分析的方法，其特征在于，所述预设算法包括核心算法和语义结果校正匹配算法；

所述核心算法为，利用词典索引库，对关键词语组中的目标关键词进行逐一匹配，并过滤掉关键词语组中的非目标关键词

所述语义结果校正匹配算法为，在核心算法中，如果对用户输入的搜索词进行全量不拆分匹配时没有在核心词典中命中匹配目标，而对搜索词分词后的关键词语组匹配时在基础词典中命中匹配目标，则检测关键词语与命中的匹配目标是否有业务跨越行为，如果是则抛弃当次匹配结果，如果否则保留当次匹配结果。

9.根据权利要求8所述一种对搜索关键词进行语义分析的方法，其特征在于，所述核心算法包括关键词检索算法、正向检索算法、反向检索算法整体匹配算法、循环匹配算法和循环叠加匹配算法；

所述关键词检索算法为，在基础词典中对关键词语组中的每个目标关键词语进行逐一匹配；

所述正向检索算法为，在正向词典中对关键词语组中的每个目标关键词语进行逐一匹配；

所述反向检索算法为，利用反向词典中对关键词语组中的非目标关键词语进行过滤；

所述整体匹配算法为，利用基础词典对用户输入的搜索词进行全量不拆分匹配；

所述循环匹配算法为，利用基础词典对关键词语组中的每个关键词语进行循环匹配；

所述循环叠加匹配算法为，对关键词语组中的每个关键字依照先后顺序进行逐步组合，每步组合得到一个组合词语，将组合词语逐步在基础词典中进行循环匹配。

10.根据权利要求6所述一种对搜索关键词进行语义分析的方法，其特征在于，所述对匹配结果进行评分包括相似度评分、业务关联度评分、域名评分和语义得分校正；

所述相似度评分为，计算搜索词与词典索引库中的词语的匹配率；

所述业务关联度评分，将搜索词与基础词库中的模糊性词条进行匹配，所述模糊性词条预先赋值业务关联分数，搜索词与所述模糊性词条匹配成功后，拷贝对应的模糊性词条的业务关联分数，没有匹配成功模糊词条的搜索条目应当给予稍高的预定分数；

所述域名评分为，对用户输入的搜索词的来源域名进行评分，评分过程为，将来源域名与域名表中的预定域名进行匹配，在域名表中预先存储预定域名的预定分数，来源域名与预定域名匹配成功，则来源域名拷贝预定域名所对应的预定分数；

所述语义得分校正，对相似度评分、业务关联度评分和域名评分的综合分数进行校正，校正过程为，将分数超过第一预定分数的匹配结果赋值为第一预定分数，将分数低于第二预定分数的匹配结果抛弃。