CN102880645B - 语义化的智能搜索方法 - Google Patents

Abstract

本发明涉及搜索算法的相关技术，具体是一种理解自然语义的、可以广泛应用在不同领域（如购物、音乐、图书等）的通用智能搜索方法。本发明主要解决当前关键词搜索算法只是将切好的关键词，基于索引匹配目标内容；当语义化的多个关键字连在一起时，匹配结果就会混乱不堪。所要达到的技术目的是：主动地分析、理解一句自然语义的搜索句子，将这个句子拆分成有语义的若干本体，而非关键词；利用本体和句式的匹配来代替关键词的索引匹配，最终达到一种理解自然语义的效果；进而为自然语言搜索，尤其是语音交互搜索提供一种更便捷更精确的搜索方式。

Description

语义化的智能搜索方法

技术领域

本发明涉及搜索算法的相关技术，具体是一种理解自然语义的、可以广泛应用在不同领域（如购物、音乐、图书等）的通用智能搜索方法。

背景技术

目前主流的基于关键词匹配的搜索技术，限制了计算机在检索中的语义分析能力。其搜索返回的结果中，包含大量的无关信息，查准率低下，不能切中用户的真正意图。比如“买黑色的手机”，其中“买”字和“的”字都会对关键字搜索的结果造成影响，而且可能只要带有“黑色”字样的产品全都成为搜索结果，比如黑色的袜子、黑色的手机等。

显而易见，关键词搜索很难理解自然语言形式的一句话，比如“黑色的电脑”，“买安卓的手机”等。因为关键词索引是基于词库的，是词语的大杂汇，标注出的结果缺乏语义信息，缺乏知识的理解和推理能力。

主流搜索技术的这些缺点，在移动互联网时代，就显得更为突出。在移动设备上，由于屏幕比较小，所以对搜索结果有更精准的要求。此外，“语音输入”要比“打字”方便快捷，从而对自然语言形式的搜索更为迫切。

下面以实例来分析当前关键字搜索方法的局限性及不足之处。

不足一：复合关键字不能语义关联

如搜索“浦东新区的健身会所”，某知名网站网上的结果中：第一页给出的结果，没有一家是“健身会所”。可以明显地看出关键字匹配的痕迹，即商家名称中只要有“的”字的，全都算作搜索结果，地址中只要有“浦东新区”的全都算作搜索结果，没有语义化的理解和关联。

换成“找浦东新区的健身会所”，如果用这种更符合自然语义的交互方式来搜的话，现行网站的结果是：完全没有找到任何结果，搜索引擎没有自然语义的理解能力。

再如“黑色的电脑”，某知名购物网站的结果：

第一页的结果只有两个“学生平板电脑”，其他的20多个产品，没有一个是电脑。“找黑色的电脑”，用更符合自然语义的交互方式来搜，某购物网的结果

效果会更差，提示没有找到相关商品，只能给出“电脑”的结果，根本不能识别“黑色”。

不足二：只有特定的“语义化”搜索，没有通用的语义化效果

不足三：勾选太复杂，不适应移动设备的小屏幕

不足四：现在的电商不能充份发挥移动设备语音的价值点

现在的各大电商，都有手机客户端，而手机客户端都有一个功能就是接受“语音搜索”。就算是电商主页的搜索框里面，都有一个小话筒，代表着语音输入。

不管是手机也好，网站也好，他们接收来的语音，仅仅是变成了文字，然后进行了一次传统的字符串匹配。效果跟我在前面举的关键字匹配例子是一样的。

设备的硬件条件得到迅猛发展的同时，软件方面却跟不上步伐。当前语音设备的价值点没有发挥出来，语音的作用就是代替打字，缺乏后台智能计算、自然语义的技术支持。

发明内容

本发明主要解决当前关键词搜索算法只是将切好的关键词，基于索引匹配目标内容；当语义化的多个关键字连在一起时，匹配结果就会混乱不堪。

所要达到的技术目的是：主动地分析、理解一句自然语义的搜索句子，将这个句子拆分成有语义的若干本体，而非关键词；利用本体和句式的匹配来代替关键词的索引匹配，最终达到一种理解自然语义的效果；进而为自然语言搜索，尤其是语音交互搜索提供一种更便捷更精确的搜索方式。

为完成上述发明目的，本发明是这样实现的：

（1）以通用本体结构化领域知识；

所述的通用本体，包括事物、事物的分类、事物的特征，基于这三种基本的概念可以结构化全部的领域知识；

（2）建立领域知识库；

所述的领域知识库是在某个领域，基于上述步骤的结构化分析，通过三张固定的表格，将所有事物及关系表达清楚；这三张表分别为事物表，事物的类表和事物的特征表；同时建立三表之间的关联关系；

（3）建立固定句式库；

根据人类语言的特点，基于事物与事物的特征进行不同的排列组合，形成特定的表达自然语言的句式结构；建立起固定格式的能够用来理解自然语言意图的句式库，以及根据该意图提取领域知识的规则库；

（4）概念切分；

根据句式结构对自然语言的句子进行词语切分，将词语与领域知识库对比进行概念标注；进而理解和识别自然语言的意图；

（5）根据搜索规则实现知识提取；

了解自然语言的意图后，利用相应意图的搜索规则在领域知识库内进行匹配提取，给出贴近意图的精确的知识和答案。

本专利是以有限的几个标准概念，构成适用于众多具体领域（如购物、团购、图书、视频等）的通用本体，形成具体领域的本体概念体系。对于目前有所有领域都有他特殊的地方，但同样他们都具有同样的特性，例如，事物，事物的类别，事物的特点、特性、特征等；当涉及到我们要去找到具体事一物时，无非是运用一系列的限定词从群体，到类别，到个体，再到具有特性的个体这样一个查找顺序来进行；而这种顺序的运用恰是本专利的主体思想。，本专利利用领域知识库这样一个自身就具有结构化特征的这种关系的数据库，。基于句式结构进行通过切词，并在领域知识在库中进行对比，从而起到了解输入者真实意图的作用。例如，你输入黑色苹果，这时因为在库内有对应的苹果手机，颜色属性是黑色，这时，通过在领域知识库的匹配，计算机知道，这时的输入者，真实意图是要找的手机；而不是人吃的水果。如果你输入的是红色苹果，那么系统就会主动提供给你关于水果的内容，而不会涉及到手机，因为从领域库中的特征，已经反应出客户端的真实意图是找水果，而不是手机；真正的苹果手机，他没有出红色的。可能上述情况对于一般的购物网说不定会给出一大堆的关于红色手机壳的结果，而利用本专利的检索方法，基本不会给出错误的结论。

对上述技术方案作进一步的细化，所述的物表是指在某一领域中，所有具有实质意义概念词汇表；所述的物的分类表是指将物按照本领域中惯常分类方法给物分类，从而为物建立表；所述的物的特征表是指该物在本领域中所应当具有属性与属性值的表格。本专利所指的事物，不仅是指某个具体的实物，在某些行业中也可以是一个有意义的概念；例如，它可以是一个品牌名字。本专利利用归纳的办法，把所有事物都按这种方式来建表，建立领域知识库，从而给检索带来便利；达到真正的让电脑理解客户端的主旨的目的。

对上述技术方案作进一步的改进，所述的结构化句式是由一个谓语动词加上宾语或加上限定了的宾语构成。所述的句式结构是由谓语动词加上物或物的关系和物构成；或者是单纯的物与物的特征关系构成。基于物与物的关系进行不同的排列组合，形成特定的句式结构；这种基于本体概念的、语序相关的句式结构，可以用于句子的有效匹配，实现对自然语句的理解。对于搜索来说，人们习惯性的会对想要的结果加一定的限定词，我们正是抓住客户这一特性，采用固定式的结构，从而实现了概念的切分，而非是词的切分，因为有了领域知识库，所以，计算机能正确的理解这哪些词应该与哪些词相组合的问题。组成的句式结构如下（包括但不限于）

对上述技术方案作进一步的改进，实现对自然语言句子的概念切分，并与句式结构库进行匹配，实现对自然语言句子的本体标注，最终实现计算机对自然语言的意图理解。

上述方法具体阐述如下：

一、建立标准的通用本体。

本专利所述的事物是指在某一领域中，所有具有实质意义概念词汇；所述的事物的分类是指将物按照本领域中惯常分类方法给出的事物分类体系；所述的事物的特征表是指该事物在本领域中所应当具有属性与属性值。

本发明以下几个概念作为标准的通用本体。这几个通用本体概念是本发明的核心技术点：

●事物（product，P），广义上表示各领域不可分割的单位实体。如一个商品、一本图书、一首音乐、一篇文章、一个人、一个动物、一个百科词条，等等；

●事物分类（productCategory，PC），表示product事物的领域分类，如购物、图书、音乐、作品、百科等等；该分类有父子层级，会形成一个树状结构，如购物->数码->电脑->平板电脑，等；

●事物特征类型（productFeatureType，PFType），表示特征类别，特征类别是指用来进一步标识事物product或productCategory事物分类的属性，如“某本书”这个product事物会有作者、出版社、出版时间、ISBN、版次、定价等特征类别。

●事物特征（productFeature，PF），表示具体特征，即某个product事物的某个特征类型的productFeatureType的特征值，如“iphone4”这个product事物有“品牌”这个特征类别，其productFeature特征值是“苹果”。

●V，表示谓词，指各类动作类语义，即语法上的动词或动词词组。

本发明中的标准的通用本体，可以适用于各具体领域（如购物、团购、图书等），形成领域的本体概念体系。

下面是购物类笔记本电脑的本体概念示例：

表1：通用本体概念示例

二、基于通用本体，建立标准的句式结构。

对“本体概念”进行不同的排列组合，每一种组合就是一种句式结构。比如：“V”+“product”是一个句式；“product”+“V”也是一个句式；“V”+“productCategory”也是一个句式等等。形成基于本体概念的、语序相关的句式结构，用于句子的有效匹配。

基于上面标准的通用本体，组成的句式结构如下（包括但不限于）：

句式结构是由谓语动词（V）加上事物（P）（或事物的分类）和事物的特征（PF）构成；或者是谓语动词V缺省，由单纯的事物与事物的特征关系构成。这种基于通用本体概念的关系进行不同的排列组合，形成特定的句式结构；句式结构是语序相关的，可以用于句子的有效匹配，实现对自然语句的理解。

句式是具体句子实例的抽象与归纳。不管自然语言的实例怎么变化，总是会落到某一特定的句式中。一个句式，就规定了在某个位置的某种本体概念，换句话说，在这个句式的这个位置匹配成功的词语会对应到某个本体。

这样，基于这些句式，计算机在理解本体语义的基础上，就可以理解一个句子的意图，理解自然语言，从而对语义化的智能搜索效果产生关键的影响。

三、基于通用本体，建立领域知识库。

领域知识库是依据通用本体的结构表构建的。其中事物表是保存某一领域中，所有具有实质意义概念词汇；所述的事物的分类表是保存按照本领域中惯常分类方法给事物的分类体系；所述的事物的特征表是保存该物在本领域中所应当具有属性与属性值。

针对每一个领域，如购物、音乐、视频、游戏，都可以根据通用本体建立领域知识库库。领域知识库会涵盖该领域的绝大多数词语和数据，并且每个词语都是有语义的，是知识库而非词库。

目前热门的网络购物领域，各大电商网站就积累了庞大的数据。但由于缺乏通用本体的结构化存储，虽然随着数据的不断积累，知识库的内容不断丰富，但缺乏智能检索能力。

而领域知识库是完全结构化的，是基于通用本体而构建的简洁的结构化存储。通用本体是结构化的，不仅完全可以涵盖各领域的语汇和知识，并且每个词语都是有语义的，是知识库而非词库，从而为智能搜索奠定良好的基础。。，可以完整地存储该领域的知识如目前热门的网络购物领域，各大电商网站就积累了庞大的数据。随着数据的不断积累，知识库的内容不断丰富，智能检索的要求就尤为迫切。

比如，对表1中通用本体概念示例加以扩充，其实就是网络购物领域的本体知识库示例。

四、搜索语句根据本体切词。

当前主流关键字搜索引擎，都拥有一个庞大的词库，这个词库实际上是词汇的大集合，没有梳理，没有领域的概念。

本发明，用本体知识库代替了词库，领域本体知识库会涵盖该某些领域的绝大多数词语，并且每个词语都是有语义的，比如“电脑”的语义是事物分类（productCategory，PC）。

所以语句中的词语并不是简单地随意到词库里去匹配。一个自然语句的标注切分过程，要进入本体知识库去匹配。所有切分匹配成功的词语都是带有本体语义的。

如，“买联想的黑色笔记本”，经过本体切词标注如下：

例句：买联想的黑色笔记本

本体标注：V+productFeature+productFeature+productCategory

对于搜索来说，人们习惯性的会对想要的结果加一定的限定词，我们正是抓住客户这一特性，采用固定式的结构，从而实现了概念的切分，而非是词的切分，因为有了领域知识库，所以，计算机能正确的理解这哪些词应该与哪些词相组合的问题。

五、搜索结果的强语义相关性。

当某种句式被匹配成功后，就会触发与相应的检索规则，去后台进行智能运算，操作数据库，以庞大的领域知识本体库为源数据，最终得出精确的搜索结果。当用户数据量收集到足够多的程度，还可以在规则中加入情景分析，语义化+情景化的智能搜索将会成为可能。

检索规则皆是面向句式的，而句式是反应人类意图的，所以本发明的规则并不像当前主流的关键字搜索引擎。当前关键字搜索引擎的计算逻辑是单一、无意图分析的，仅仅是关键字匹配成功就排序返回。而本发明的每一个规则都是用户意图的体现，不同的句式有不同的规则。

句式则是句子的归纳，之所以成为句式，就是因为这些句子有共同的特点，可以表达共同的人类意图。所以，本发明的基于句式的搜索规则，能够分析意图、理解语义，从而确保搜索结果的强语义相关性。

发明效果

本发明主动地分析、理解一句自然语义的搜索句子，将这个句子拆分成有语义的若干本体，而非关键字。句式匹配成功后就会触发相应的搜索规则，进而进行语义化的智能搜索过程，得出符合人类自然语义效果的精确的搜索结果。

通过领域本体知识库的建设，摆脱了关键字搜索引擎词库建设和句法分析的复杂性和模糊性，不仅易于操作和实现，同时，基于本体概念的句式匹配，可以有效实现对句子意义的精确理解，得出精确的搜索结果，为深度人工智能问答奠定基础。

一个句子的意图，必需要在语境、领域的前提下，才能明确；而不是单看一个词语。因为一个词语可以用在各个领域，各种语境下。当前主流的技术只需要把句子切开、切成词就完成了任务。那么这个词代表什么？这个词在这个句子中有多重要？这个句子是什么语境、什么领域的？当前的主流搜索引擎给出的答案，只要包含切出的词语，就返回它们。主流搜索引擎根本无法回答以上的几个问题，所以他们给出的结果必定是结果的罗列。

本技术专利的价值点，正是为各个领域的搜索引擎搭建起后台知识库以及一个自然语义分析的智能通用平台，特别适用于电商购物领域、图书检索领域、团购领域、服务检索领域等。使得系统“懂得”人类的自然语义，进而得出更符合期望的、更精准的搜索结果，充分发挥在移动互联设备上的语音搜索功能。

如果机器能够区分语境、区分领域、区分句式、区分一个词的不同意义，那么就可以给出特定的答案，精确且符合人们预期的答案，而不是无数关键字结果的罗列。

具体实施方式

步骤1，明确通用本体；本发明中的标准的通用本体，包括产品条目事物（product，P）、事物产品分类（productCategory，PC）、事物产品特征类型（productFeatureType，PFType）、事物产品特征（productFeature，PF），以及谓词V，是可以适用于各具体领域（如购物、团购、图书等）的本体概念体系；

步骤2，明确通用句式结构；对“本体概念”进行不同的排列组合，每一种组合就是一种句式结构。句式结构的数量包括但不限于以上列出的14种，可以根据具体的领域要求进行扩展；

步骤3，基于通用统一本体，建立领域知识库；需要把领域相关数据，根据本体概念进行存储。在购物领域，所谓事物就是产品，我们来用表1中的4个数码产品作为范例来具体说明。

A）“产品分类表”：示例的商品分类为2级，一级分类：3C数码；二级分类：鼠标、笔记本。

B)“产品”表：需要明确“产品编号”、“所属分类”、“产品名称”、“图片地址”等。

C)“产品特征属性表”：需填“产品特征属性编号”、“产品特征属性名称”字段。

D)“产品特征值表”：需填“产品特征值编号”、“产品特征属性编号”、“产品特征值”。

E)“产品特征关联表”：需填“关联编号”、“产品编号”、“产品特征值编号”。

步骤4，配置句式搜索规则；上述步骤已经建立一个领域产品数据库，以及14种或以上的句式结构库；现在，再为每一种句式结构提供从领域产品数据库搜索数据的规则。对于结构化数据而言，这种搜索规则通常都是比较简单的类似SQL的数据查询规则。

步骤5，开始搜索；首先将搜索语句按标准句式结构进行概念切分；据据概念切分在句式结构库中进行匹配，找出其应的最为简单的语意表达，最终得到相应的语意解释；然后，根据上一步的结果在数据库内提取相对应的数据，返回相匹配的最终搜索结果。

如输入“买鼠标”，自动安上述切词成“买”（V）+“鼠标”，并从知识库库中提出所有鼠标信息，并返回展示。

再比如，输入“买联想的黑色电脑”则会提供相应的“黑色联想电脑”，系统能够分析出来是电脑，并会从所有电脑中提出所有电脑产品，再从相关属性中选出“黑色”以及“联想”品牌的电脑。这种方式则不会像关键词搜索，仅仅提供一堆电脑数据，或是关于黑色的其他物品给您。因为可以语义识别你的意图是在找“联想牌，黑色的，电脑”。

Claims (1)

1.一种语义化的智能搜索方法，其包括以下步骤：

(1)以通用本体结构化领域知识；

所述的通用本体，包括事物、事物的分类、事物的特征，基于这三种基本的概念可以结构化全部的领域知识；

(2)建立领域知识库；

所述的领域知识库是在某个领域，基于上述步骤的结构化分析，通过三张固定的表格，将所有事物及关系表达清楚；这三张表分别为事物表，事物的类表和事物的特征表；同时建立三表之间的关联关系；

(3)建立固定句式库；

根据人类语言的特点，基于事物与事物的特征进行不同的排列组合，形成特定的表达自然语言的句式结构；建立起固定格式的能够用来理解自然语言意图的句式库，以及根据该意图提取领域知识的规则库；

(4)概念切分；

根据句式结构对自然语言的句子进行词语切分，将词语与领域知识库对比进行概念标注；进而理解和识别自然语言的意图；

(5)根据搜索规则实现知识提取；

了解自然语言的意图后，利用相应意图的搜索规则在领域知识库内进行匹配提取，给出贴近意图的精确的知识和答案；

所述的事物(简称P)是指在某一领域中，所有具有实质意义的概念词汇；所述的事物的分类(简称PC)是指按照本领域中惯常的分类方法为事物建立的分类体系；所述的事物的特征是指在本领域中事物所应当具有的特征，通常描述为属性(简称PFType)与属性值(简称PF)；

所述的表格，是指关系数据库的表结构；所述的领域知识库是完全结构化的，且是基于通用本体而构建的简洁的结构化存储，可以完整地存储该领域的知识；

句式结构是由通用本体事物(P)或事物的分类(PC)、和事物的一个或多个特征加上谓语动词(V)基于特定的语序组合构成；这种基于本体概念的、语序相关的句式结构，可以用于句子的有效匹配，实现对自然语句的理解；

上述句式结构，谓语动词(V)可以缺省，直接由事物或事物分类、事物特征构成联合或偏正结构的短语。