CN105095222A - 单元词替换方法、搜索方法及装置 - Google Patents

Abstract

本申请涉及一种单元词替换方法、搜索方法及装置，所述方法包括：对输入的查询语句进行分词，得到所述查询语句的第一单元词；利用所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；从二元词组数据库中，查询得到所述第一单元词与其上下文的第一单元词组成的二元词组的第一紧密度、所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度；如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。本申请能更精确地解析搜索意图，提高搜索结果的准确性。

Description

单元词替换方法、搜索方法及装置

技术领域

本申请涉及信息处理技术领域，尤其涉及一种单元词替换方法、搜索方法及装置。

背景技术

在现有的搜索产品中，当用户提交查询语句后，搜索引擎会将用户提交的查询语句进行预处理后再进行检索。在预处理过程中，用户提交的查询语句会被拆分成多个关键词，可以利用同义词替换功能对这些关键词进行同义替换操作，生成新的搜索引擎底层可读的查询语句。

现有的同义词替换功能大多都是对存在同义词词组的关键词采用直接替换的方式，对于一些不必要替换的情形不会加以区分，例如，用户输入查询语句“中国银行快捷支付限额”，经过分词得到关键词“中国银行”、“快捷”、“支付”和“限额”。在这个查询语句中，“支付”的同义词包括“付款”，因而采用同义词替换功能后，会得到新的查询语句“中国银行快捷付款限额”。而在实际情形中，“快捷支付”是一个固定搭配的词组，具有特定的含义，其使用频率比“快捷付款”高。可以看出，这种采用直接匹配方式，由于缺乏了上下文的参照信息，往往会造成不必要的同义替换，替换结果会带来相关度较差的搜索结果，不能精确解析用户的搜索意图，导致搜索结果的准确性较差。

发明内容

本申请的目的是，提供一种单元词替换方法、搜索方法及装置，可减少不必要的同义词替换，能更精确地解析搜索意图，提高搜索结果的准确性。

本申请提供了一种单元词替换方法，所述方法包括：

对输入的查询语句进行分词，得到所述查询语句的第一单元词；

利用所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

比较所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。

又一方面，本申请还提供了一种基于单元词替换的搜索方法，所述方法包括：

对输入的查询语句进行分词，得到所述查询语句的第一单元词；

利用所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

比较所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词；

利用所述第一单元词的替换词，生成新的查询语句进行搜索，得到搜索结果。

又一方面，本申请还提供了一种单元词替换装置，所述装置包括：

分词单元，用于对输入的查询语句进行分词，得到所述查询语句的第一单元词；

第一查询单元，用于利用所述分词单元得到的所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

第二查询单元，用于从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述第一查询单元得到的所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

处理单元，用于比较所述查询单元得到的所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。

又一方面，本申请还提供了一种基于单元词替换的搜索装置，所述装置包括：

分词单元，用于对输入的查询语句进行分词，得到所述查询语句的第一单元词；

第一查询单元，用于利用所述分词单元得到的所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

第二查询单元，用于从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述第一查询单元得到的所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

处理单元，用于比较所述查询单元得到的所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词；

搜索单元，用于利用所述处理单元得到的所述第一单元词的替换词，生成新的查询语句进行搜索，得到搜索结果。

本申请提供的单元词替换方法、基于单元词替换的搜索方法及装置，根据二元词组的紧密度以及替换词在查询语句中的上下文信息，来进行有选择性的替换，考虑了上下文的参照信息，可减少不必要的同义词替换，能更精确地解析搜索意图，提高搜索结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的单元词替换方法流程图；

图2为本申请实施例提供的基于单元词替换的搜索方法流程图；

图3为本申请实施例提供的单元词替换装置示意图；

图4为本申请实施例提供的基于单元词替换的搜索装置示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的单元词替换方法及装置，适用于各类需要进行同义词替换的场景，尤其是具有上下文作为参照信息的文本中同义词替换的场景，例如，在搜索引擎的搜索栏中输入的查询语句等等。

本申请实施例提供的基于单元词替换的搜索方法及装置，适用于各类搜索引擎，尤其是有采用同义词替换进行扩展性搜索的搜索引擎，例如，用于公告搜索、商品搜索、云客服(Clive)搜索等等的搜索引擎。

图1是本申请实施例提供的单元词替换方法流程图，如图1所示，本申请实施例的单元词替换方法包括：

S101、对输入的查询语句进行分词，得到所述查询语句的第一单元词。

本申请中所述的查询语句是指用户在进行搜索时，在网页的搜索栏中输入的关键词或语句。例如，在Clive搜索时，用户打开商务网站的客服网页进行问题的搜索，用户在网页的搜索栏上输入“中国银行快捷支付限额是多少”、“如何更改支付宝密码”等查询语句。又例如：在公告搜索时，用户在网页的搜索栏上输入例如“请问新款的秋冬连衣裙今年什么时间上架啊”等查询语句。在商品搜索时，用户在网页的搜索栏上输入例如“夏装连衣裙裤”等查询语句。

对用户输入的查询语句按照现有的分词方法(例如，正向最大匹配法、逆向最大匹配法等)进行分词，分成多个单元词，即第一单元词。例如，对于查询语句“中国银行快捷支付限额”，经过分词得到第一单元词“中国银行”、“快捷”、“支付”和“限额”。

当然，在对所述查询语句进行分词之后还可以对分词得到的单元词进行过滤，过滤掉一些停用词、数字、标点等，过滤掉一些如“的”、“什么”、“多少”等等停用词，提高后续查询的处理效率。其中，停用词是一些常用的单元词,如冠词、介词和代词等,不能作为单个单词进行检索。

S102、利用所述第一单元词，从同义词表中找出所述第一单元词的同义词集合。

例如，对于单元词“支付”，可以从同义词表中找出“支付”同义词包括“付款”、“付钱”等，组成“支付”的同义词集合。

S103、从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度。

其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度。

一般来说，所述二元词组数据库是利用一定规模的语料库预先建立的。该语料库可以是自然语言的基础语料，也可以是人为规定的一定范围或领域的语料，优选的，该语料库与同义词表的语料库来源于同一份基础语料。因而，本申请实施例提供的基于同义词替换的搜索方法，还包括：将语料库中的单元词两两组成参考二元词组，并计算所述参考二元词组的紧密度，建立所述二元词组数据库。

具体地，对于参考二元词组(W_A，W_B)的两个单元词W_A和W_B，所述计算所述参考二元词组的紧密度，具体包括：

根据以下公式(1)：

$T(W_A,W_B)=P\left(W_B\right|W_A)=\frac{C(W_A,W_B)}{C\left(W_A\right)}---\left(1\right)$

计算得到所述参考二元词组(W_A，W_B)的紧密度，其中，T(W_A，W_B)表示单元词W_A和W_B之间的紧密度，P(W_B|W_A)表示单元词W_B依赖于单元词W_A出现的概率，C(W_A，W_B)表示单元词W_A和W_B在所述语料库的训练文档集合中同时出现的次数，C(W_A)表示单元词W_A在所述语料库的训练文档集合中出现的总次数。

可选的，在所述计算所述参考二元词组的紧密度之后，还包括：

根据所述参考二元词组的紧密度，对所述语料库的参考二元词组进行分类。

所述二元词组数据库中可以包括一级词组集合、二级词组集合和三级词组集合，可以分别用closest、closer与unclose来表示，以描述两个单元词之间十分紧密、一般紧密以及不紧密的关系。

如果所述参考二元词组的紧密度大于等于第一阈值α，则将所述参考二元词组分类到所述一级词组集合。

如果所述参考二元词组的紧密度小于第一阈值α且大于等于第二阈值β，则将所述参考二元词组分类到所述二级词组集合。

如果所述参考二元词组的紧密度小于第二阈值β，则将所述参考二元词组分类到所述三级词组集合。

其中，第一阈值α和第二阈值β均为预设阈值，可根据实验经验进行调整，第一阈值α大于第二阈值β。

S104、比较所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。

其中，预设阈值为根据实际经验设定的值，也可以为上述的第二阈值β。对于第二紧密度小于第二阈值β的第二二元词组，表明该第二二元词组为三级词组集合(unclose)中的词组，这两个词之间为不紧密的关系。对于三级词组集合(unclose)中的词组不考虑替换。

如果分别用closest、closer与unclose来表示一级词组集合、二级词组集合和三级词组集合中两个单元词之间的关系，如果有两个单元词W_A和W_B，单元词W_B有同义词W_B1，具体地，所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值可以但不限于如下表1所示：

表1

第一紧密度T(WA，WB)	第二紧密度T(WA，WB1)	是否替换
			closest	closest	yes
closest	closer	no
			closest	unclose	no
closer	closest	yes
			closer	closer	yes
closer	unclose	no

unclose	closest	yes
			unclose	closer	yes
unclose	unclose	no

对于表1中结果为yes的，则表明可用同义词W_B1替换单元词W_B，将同义词W_B1作为单元词W_B的替换词，结果为no的，则不替换。

可选的，所述第一单元词的上下文的单元词包括以下至少一种：所述第一单元词的前导词、所述第一单元词的后导词。

所述第一紧密度包括所述第一单元词与所述第一单元词的前导词组成的第一二元词组的紧密度，或者，所述第一单元词与所述第一单元词的后导词组成的第一二元词组的紧密度。

所述第二紧密度包括所述同义词集合中的单元词与所述第一单元词的前导词组成的第二二元词组的紧密度，或者，所述同义词集合中的单元词与所述第一单元词的后导词组成的第二二元词组的紧密度。

如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词，形成所述第一单元词的替换词集合。

举个例子，假如查询语句为“W_AW_BW_C”，包括3个单元词W_A、W_B和W_C，W_A为W_B的前导词，W_C为W_B的后导词。如果有W_B同义词集合S_B＝{S_B1，S_B2，…，S_Bn}，则第一紧密度包括T(W_A，W_B)或T(W_B，W_C)，第二紧密度包括T(W_A，S_Bi)或T(S_Bi，W_C)，其中，i＝1,2，…，n。此时，将第一紧密度T(W_A，W_B)与第二紧密度T(W_A，S_Bi)进行比较，将第二紧密度T(W_A，S_Bi)大于等于所述第一紧密度T(W_A，W_B)且第二紧密度T(W_A，S_Bi)大于预设阈值的同义词作为可替换的同义词，可以获得可替换的同义词集合S_Bpre，同理，再将第一紧密度T(W_B，W_C)与第二紧密度T(S_Bi，W_C)进行比较，可以获得可替换的同义词集合S_Bsuf。最后，可以得到对于整个语句“W_AW_BW_C”，单元词W_B的替换词集合S(W_B)＝S_Bpre∪S_Bsuf。

图2是本申请实施例提供的基于单元词替换的搜索方法流程图，如图2所示，本申请实施例的基于单元词替换的搜索方法包括：

S201、对输入的查询语句进行分词，得到所述查询语句的第一单元词。

S202、利用所述第一单元词，从同义词表中找出所述第一单元词的同义词集合。

S203、从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度。

S204、比较所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。

上述步骤S201～S204与图1中的步骤S101～S104对应相同，于此不再赘述。

S205、利用所述第一单元词的替换词，生成新的查询语句进行搜索，得到搜索结果。

例如，对于查询语句“中国银行快捷支付限额”，虽然“支付”、“付款”、“付钱”这3个词两两互为同义词，然而，由于“快捷”“支付”是一个紧密度很高的词组，代表了一个业务或是一个常用语，而(“快捷”“付款”)或(“快捷”“付钱”)这些都是紧密度较低的词组，在整个查询语句的上下文中，与“支付”一词所具有的价值是不等价的，所以没必要进行同义词替换。而相反，如果用户提交的查询语句是“中国银行快捷付款限额”，则有选择性的同义词替换策略应该将“付款”替换成“支付”，同时保留用户提交的“付款”一词，提交给底层引擎的查询语句应该为“query＝phrase’快捷’and(phrase’付款orphrase’支付’)”。

这样，通过对用户在各类搜索引擎的搜索栏中输入的查询语句中的单元词，结合上下文信息，进行有选择地替换，可以减少不必要的同义词替换，能更精确地解析搜索意图，提高搜索结果的准确性。

以上是对本申请实施例所提供的单元词替换方法、基于单元词替换的搜索方法进行的详细描述，下面对本申请提供的单元词替换方法、基于单元词替换的搜索装置进行详细描述。

图3是本申请实施例提供的单元词替换装置示意图，如图3所示，本申请实施例的单元词替换装置包括：分词单元301、第一查询单元302、第二查询单元303和处理单元304。

分词单元301用于对输入的查询语句进行分词，得到所述查询语句的第一单元词。

分词单元301对用户输入的查询语句按照现有的分词方法(例如，正向最大匹配法、逆向最大匹配法等)进行分词，分成多个单元词，即第一单元词。例如，对于查询语句“中国银行快捷支付限额”，分词单元301经过分词得到第一单元词“中国银行”、“快捷”、“支付”和“限额”。

可选的，分词单元301在对所述查询语句进行分词之后还可以对分词得到的单元词进行过滤，过滤掉一些停用词、数字、标点等，以提高后续单元的处理效率。

第一查询单元302用于利用分词单元301得到的所述第一单元词，从同义词表中找出所述第一单元词的同义词集合。

例如，对于单元词“支付”，可以从同义词表中找出“支付”同义词包括“付款”、“付钱”等，组成“支付”的同义词集合。

第二查询单元303用于从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、第一查询单元302得到的所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度。

其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度。

一般来说，所述二元词组数据库是利用一定规模的语料库预先建立的。该语料库可以是自然语言的基础语料，也可以是人为规定的一定范围或领域的语料，优选的，该语料库与同义词表的语料库来源于同一份基础语料。因而，本申请实施例提供的基于同义词替换的搜索装置，还包括：预处理单元(图未示)。具体地，所述预处理单元用于将语料库中的单元词两两组成参考二元词组，并计算所述参考二元词组的紧密度，建立所述二元词组数据库。

具体地，对于参考二元词组(W_A，W_B)的两个单元词W_A和W_B，所述预处理单元根据公式(1)计算得到所述参考二元词组(W_A，W_B)的紧密度。

可选的，所述预处理单元在计算所述二元词组的紧密度之后，还用于根据所述二元词组的紧密度，对所述语料库的二元词组进行分类。

所述二元词组数据库中可以包括一级词组集合、二级词组集合和三级词组集合，可以分别用closest、closer与unclose来表示，以描述两个单元词之间十分紧密、一般紧密以及不紧密的关系。

如果所述二元词组的紧密度大于等于第一阈值α，所述预处理单元则将所述二元词组分类到所述一级词组集合。

如果所述二元词组的紧密度小于第一阈值α且大于等于第二阈值β，所述预处理单元则将所述二元词组分类到所述二级词组集合。

如果所述二元词组的紧密度小于第二阈值β，所述预处理单元则将所述二元词组分类到所述三级词组集合。

其中，第一阈值α和第二阈值β均为预设阈值，可根据实验经验进行调整，第一阈值α大于第二阈值β。

处理单元304用于比较第二查询单元303得到的所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。

其中，预设阈值为根据实际经验设定的值，也可以为上述的第二阈值β。对于第二紧密度小于第二阈值β的第二二元词组，表明该第二二元词组为三级词组集合(unclose)中的词组，这两个词之间为不紧密的关系。对于三级词组集合(unclose)中的词组不考虑替换。

如果分别用closest、closer与unclose来表示一级词组集合、二级词组集合和三级词组集合中两个单元词之间的关系，如果有两个单元词W_A和W_B，单元词W_B有同义词W_B1，具体地，所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值可以但不限于如表1所示。

对于表1中结果为yes的，则表明可用同义词W_B1替换单元词W_B，处理单元304将同义词W_B1作为单元词W_B的替换词，结果为no的，则不替换。

可选的，分词单元301得到的所述第一单元词的上下文的单元词包括以下至少一种：所述第一单元词的前导词、所述第一单元词的后导词。

第二查询单元303查询得到的所述第一紧密度包括所述第一单元词与所述第一单元词的前导词组成的第一二元词组的紧密度，或者，所述第一单元词与所述第一单元词的后导词组成的第一二元词组的紧密度。

第二查询单元查询303得到的所述第二紧密度包括所述同义词集合中的单元词与所述第一单元词的前导词组成的第二二元词组的紧密度，或者，所述同义词集合中的单元词与所述第一单元词的后导词组成的第二二元词组的紧密度。

如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，处理单元304则将所述第二单元词作为所述第一单元词的替换词，形成所述第一单元词的替换词集合。

举个例子，假如查询语句为“W_AW_BW_C”，包括3个单元词W_A、W_B和W_C，W_A为W_B的前导词，W_C为W_B的后导词。如果有W_B同义词集合S_B＝{S_B1，S_B2，…，S_Bn}，则第二查询单元303可以查询到的第一紧密度包括T(W_A，W_B)或T(W_B，W_C)，第二紧密度包括T(W_A，S_Bi)或T(S_Bi，W_C)，其中，i＝1,2，…，n。此时，处理单元204将第一紧密度T(W_A，W_B)与第二紧密度T(W_A，S_Bi)进行比较，将第二紧密度T(W_A，S_Bi)大于等于所述第一紧密度T(W_A，W_B)且第二紧密度T(W_A，S_Bi)大于预设阈值的同义词作为可替换的同义词，可以获得可替换的同义词集合S_Bpre，同理，处理单元304再将第一紧密度T(W_B，W_C)与第二紧密度T(S_Bi，W_C)进行比较，可以获得可替换的同义词集合S_Bsuf。最后，可以得到对于整个语句“W_AW_BW_C”，单元词W_B的替换词集合S(W_B)＝S_Bpre∪S_Bsuf。

图4是本申请实施例提供的基于单元词替换的搜索装置示意图，如图4所示，本申请实施例的基于单元词替换的搜索装置包括：分词单元401、第一查询单元402、第二查询单元403、处理单元404和搜索单元405。

其中，分词单元401、第一查询单元402、第二查询单元403和处理单元404分别与图3中的分词单元301、第一查询单元302、第二查询单元303和处理单元304对应相同，于此不再赘述。

搜索单元405用于利用处理单元404得到的所述第一单元词的替换词，生成新的查询语句进行搜索，得到搜索结果。

例如，对于查询语句“中国银行快捷支付限额”，虽然“支付”、“付款”、“付钱”这3个词两两互为同义词，然而，由于“快捷”“支付”是一个紧密度很高的词组，代表了一个业务或是一个常用语，而(“快捷”“付款”)或(“快捷”“付钱”)这些都是紧密度较低的词组，在整个查询语句的上下文中，与“支付”一词所具有的价值是不等价的，所以没必要进行同义词替换。而相反，如果用户提交的查询语句是“中国银行快捷付款限额”，则有选择性的同义词替换策略应该将“付款”替换成“支付”，同时保留用户提交的“付款”一词，搜索单元405提交给底层引擎的查询语句应该为“query＝phrase’快捷’and(phrase’付款orphrase’支付’)”。

本申请提供的单元词替换方法、基于单元词替换的搜索方法及装置，根据二元词组的紧密度以及替换词在查询语句中的上下文信息，来进行有选择性的替换，考虑了上下文的参照信息，可减少不必要的同义词替换，减少不必要的替换操作带来的噪音，能更精确地解析搜索意图，提高搜索结果的准确性。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种单元词替换方法，其特征在于，所述方法包括：

对输入的查询语句进行分词，得到所述查询语句的第一单元词；

利用所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

比较所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将语料库中的单元词两两组成参考二元词组，并计算所述参考二元词组的紧密度，建立所述二元词组数据库。

3.根据权利要求2所述的方法，其特征在于，所述计算所述参考二元词组的紧密度，具体包括：

对于参考二元词组(W_A，W_B)的两个单元词W_A和W_B，根据公式 $T(W_A,W_B)=P\left(W_B\right|W_A)=\frac{C(W_A,W_B)}{C\left(W_A\right)},$ 计算得到所述参考二元词组(W_A，W_B)的紧密度，其中，T(W_A，W_B)表示单元词W_A和W_B之间的紧密度，P(W_B|W_A)表示单元词W_B依赖于单元词W_A出现的概率，C(W_A，W_B)表示单元词W_A和W_B在所述语料库的训练文档集合中同时出现的次数，C(W_A)表示单元词W_A在所述语料库的训练文档集合中出现的总次数。

4.根据权利要求2或3所述的方法，其特征在于，在所述计算所述参考二元词组的紧密度之后，还包括：

根据所述参考二元词组的紧密度，对所述语料库的参考二元词组进行分类；

所述二元词组数据库中包括一级词组集合、二级词组集合和三级词组集合；

如果所述参考二元词组的紧密度大于等于第一阈值，则将所述参考二元词组分类到所述一级词组集合；

如果所述参考二元词组的紧密度小于第一阈值且大于等于第二阈值，则将所述参考二元词组分类到所述二级词组集合；

如果所述参考二元词组的紧密度小于第二阈值，则将所述参考二元词组分类到所述三级词组集合。

5.根据权利要求1所述的方法，其特征在于，所述第一单元词的上下文的单元词包括以下至少一种：所述第一单元词的前导词、所述第一单元词的后导词；

所述第一紧密度包括所述第一单元词与所述第一单元词的前导词组成的第一二元词组的紧密度，或者，所述第一单元词与所述第一单元词的后导词组成的第一二元词组的紧密度；

所述第二紧密度包括所述同义词集合中的单元词与所述第一单元词的前导词组成的第二二元词组的紧密度，或者，所述同义词集合中的单元词与所述第一单元词的后导词组成的第二二元词组的紧密度。

6.一种基于单元词替换的搜索方法，其特征在于，所述方法包括：

对输入的查询语句进行分词，得到所述查询语句的第一单元词；

利用所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

比较所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词；

利用所述第一单元词的替换词，生成新的查询语句进行搜索，得到搜索结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将语料库中的单元词两两组成参考二元词组，并计算所述参考二元词组的紧密度，建立所述二元词组数据库。

8.根据权利要求7所述的方法，其特征在于，所述计算所述参考二元词组的紧密度，具体包括：

对于参考二元词组(W_A，W_B)的两个单元词W_A和W_B，根据公式 $T(W_A,W_B)=P\left(W_B\right|W_A)=\frac{C(W_A,W_B)}{C\left(W_A\right)},$ 计算得到所述参考二元词组(W_A，W_B)的紧密度，其中，T(W_A，W_B)表示单元词W_A和W_B之间的紧密度，P(W_B|W_A)表示单元词W_B依赖于单元词W_A出现的概率，C(W_A，W_B)表示单元词W_A和W_B在所述语料库的训练文档集合中同时出现的次数，C(W_A)表示单元词W_A在所述语料库的训练文档集合中出现的总次数。

9.根据权利要求7或8所述的方法，其特征在于，在所述计算所述参考二元词组的紧密度之后，还包括：

根据所述参考二元词组的紧密度，对所述语料库的参考二元词组进行分类；

所述二元词组数据库中包括一级词组集合、二级词组集合和三级词组集合；

如果所述参考二元词组的紧密度大于等于第一阈值，则将所述参考二元词组分类到所述一级词组集合；

如果所述参考二元词组的紧密度小于第一阈值且大于等于第二阈值，则将所述参考二元词组分类到所述二级词组集合；

如果所述参考二元词组的紧密度小于第二阈值，则将所述参考二元词组分类到所述三级词组集合。

10.根据权利要求6所述的方法，其特征在于，所述第一单元词的上下文的单元词包括以下至少一种：所述第一单元词的前导词、所述第一单元词的后导词；

所述第一紧密度包括所述第一单元词与所述第一单元词的前导词组成的第一二元词组的紧密度，或者，所述第一单元词与所述第一单元词的后导词组成的第一二元词组的紧密度；

所述第二紧密度包括所述同义词集合中的单元词与所述第一单元词的前导词组成的第二二元词组的紧密度，或者，所述同义词集合中的单元词与所述第一单元词的后导词组成的第二二元词组的紧密度。

11.一种单元词替换装置，其特征在于，所述装置包括：

分词单元，用于对输入的查询语句进行分词，得到所述查询语句的第一单元词；

第一查询单元，用于利用所述分词单元得到的所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

第二查询单元，用于从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述第一查询单元得到的所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

处理单元，用于比较所述第二查询单元得到的所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

预处理单元，用于将语料库中的单元词两两组成参考二元词组，并计算所述参考二元词组的紧密度，建立所述二元词组数据库。

13.根据权利要求12所述的装置，其特征在于，所述预处理单元具体用于根据公式 $T(W_A,W_B)=P\left(W_B\right|W_A)=\frac{C(W_A,W_B)}{C\left(W_A\right)},$ 计算得到参考二元词组(W_A，W_B)的紧密度，其中，T(W_A，W_B)表示单元词W_A和W_B之间的紧密度，P(W_B|W_A)表示单元词W_B依赖于单元词W_A出现的概率，C(W_A，W_B)表示单元词W_A和W_B在所述语料库的训练文档集合中同时出现的次数，C(W_A)表示单元词W_A在所述语料库的训练文档集合中出现的总次数。

14.根据权利要求12或13所述的装置，其特征在于，所述预处理单元在计算所述参考二元词组的紧密度之后，还用于根据所述参考二元词组的紧密度，对所述语料库的参考二元词组进行分类；

所述二元词组数据库中包括一级词组集合、二级词组集合和三级词组集合；

如果所述参考二元词组的紧密度大于等于第一阈值，所述预处理单元则将所述参考二元词组分类到所述一级词组集合；

如果所述参考二元词组的紧密度小于第一阈值且大于等于第二阈值，所述预处理单元则将所述参考二元词组分类到所述二级词组集合；

如果所述参考二元词组的紧密度小于第二阈值，所述预处理单元则将所述参考二元词组分类到所述三级词组集合。

15.根据权利要求11所述的装置，其特征在于，所述分词单元得到的所述第一单元词的上下文的单元词包括以下至少一种：所述第一单元词的前导词、所述第一单元词的后导词；

所述第二查询单元查询得到的所述第一紧密度包括所述第一单元词与所述第一单元词的前导词组成的第一二元词组的紧密度，或者，所述第一单元词与所述第一单元词的后导词组成的第一二元词组的紧密度；

所述第二查询单元查询得到的所述第二紧密度包括所述同义词集合中的单元词与所述第一单元词的前导词组成的第二二元词组的紧密度，或者，所述同义词集合中的单元词与所述第一单元词的后导词组成的第二二元词组的紧密度。

16.一种基于单元词替换的搜索装置，其特征在于，所述装置包括：

分词单元，用于对输入的查询语句进行分词，得到所述查询语句的第一单元词；

第一查询单元，用于利用所述分词单元得到的所述第一单元词，从同义词表中找出所述第一单元词的同义词集合；

第二查询单元，用于从二元词组数据库中，查询得到所述第一单元词与其上下文的单元词组成的第一二元词组的第一紧密度、所述第一查询单元得到的所述同义词集合中的第二单元词与所述第一单元词的上下文的单元词组成的第二二元词组的第二紧密度，其中，所述二元词组数据库中包括参考二元词组及所述参考二元词组的紧密度；

处理单元，用于比较所述第二查询单元得到的所述第一紧密度和所述第二紧密度，如果所述第二紧密度大于等于所述第一紧密度且所述第二紧密度大于预设阈值，则将所述第二单元词作为所述第一单元词的替换词；

搜索单元，用于利用所述处理单元得到的所述第一单元词的替换词，生成新的查询语句进行搜索，得到搜索结果。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括：

预处理单元，用于将语料库中的单元词两两组成参考二元词组，并计算所述参考二元词组的紧密度，建立所述二元词组数据库。

18.根据权利要求17所述的装置，其特征在于，所述预处理单元具体用于根据公式 $T(W_A,W_B)=P\left(W_B\right|W_A)=\frac{C(W_A,W_B)}{C\left(W_A\right)},$ 计算得到参考二元词组(W_A，W_B)的紧密度，其中，T(W_A，W_B)表示单元词W_A和W_B之间的紧密度，P(W_B|W_A)表示单元词W_B依赖于单元词W_A出现的概率，C(W_A，W_B)表示单元词W_A和W_B在所述语料库的训练文档集合中同时出现的次数，C(W_A)表示单元词W_A在所述语料库的训练文档集合中出现的总次数。

19.根据权利要求17或18所述的装置，其特征在于，所述预处理单元在计算所述参考二元词组的紧密度之后，还用于根据所述参考二元词组的紧密度，对所述语料库的参考二元词组进行分类；

所述二元词组数据库中包括一级词组集合、二级词组集合和三级词组集合；

如果所述参考二元词组的紧密度大于等于第一阈值，所述预处理单元则将所述参考二元词组分类到所述一级词组集合；

如果所述参考二元词组的紧密度小于第一阈值且大于等于第二阈值，所述预处理单元则将所述参考二元词组分类到所述二级词组集合；

如果所述参考二元词组的紧密度小于第二阈值，所述预处理单元则将所述参考二元词组分类到所述三级词组集合。

20.根据权利要求16所述的装置，其特征在于，所述分词单元得到的所述第一单元词的上下文的单元词包括以下至少一种：所述第一单元词的前导词、所述第一单元词的后导词；

所述第二查询单元查询得到的所述第一紧密度包括所述第一单元词与所述第一单元词的前导词组成的第一二元词组的紧密度，或者，所述第一单元词与所述第一单元词的后导词组成的第一二元词组的紧密度；

所述第二查询单元查询得到的所述第二紧密度包括所述同义词集合中的单元词与所述第一单元词的前导词组成的第二二元词组的紧密度，或者，所述同义词集合中的单元词与所述第一单元词的后导词组成的第二二元词组的紧密度。