CN103425691B - 一种搜索方法和系统 - Google Patents

Abstract

本申请提供了一种搜索方法和系统，涉及网络技术领域。本申请的方法包括：接收查询词串，检索与查询词串相关的各产品信息；提取对应所述查询词串的第一核心产品词；提取对应所述各产品信息的各第二核心产品词；针对每一、第二核心产品词，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；结合调整后的各产品信息的权重，将各产品信息排序输出。本申请由于前述怀疑产品词列表的构造方式，是以决定产品信息所属类目的核心产品词进行构造的，可避免由于类目作弊等方式造成的返回周边产品的缺点，可提高搜索准确率。

Description

一种搜索方法和系统

技术领域

本申请涉及网络技术领域，特别是涉及一种搜索方法和系统。

背景技术

在搜索领域，特别是针对于产品的搜索过程中，由于不同产品词的组合，对于用户输入的某一产品词，搜索引擎可能返回与用户输入的产品词所对应的产品相关性不高的周边产品。比如对于用户输入的MP3，由于与MP3相对应的产品词组合非常多，比如MP3下载线，MP3扬声器等产品，而MP3下载线，MP3扬声器与MP3是两种不同的产品。由于传统的搜索基本上基于关键产品词的匹配方法进行搜索，很容易搜索出与用户输入的查询词串对应产品相关性比较低的周边产品，比如前述用户输入的是MP3，而搜索引擎的搜索中MP3下载线，MP3扬声器在搜索结果中权重很高等情况，即搜索引擎返回的排序靠前的产品信息结果中，大量存在与查询词串对应产品的相关性低的产品信息。

现有技术中，为了解决上述与用户输入查询词串所属产品相关性低的周边产品的干扰，存在两种技术方案：

1、通过类目来避免周边结果。主要方法是：首先根据日志信息，统计用户的查询词串对应类目的点击率，然后确定所述查询词串对应的类目倾向，对不属于相关类目的产品信息进行降权，即降低返回的结果中不属于相关类目的信息的权重。

对于该种方法来说，在准确率上存在比较大的问题，比如：如果有类目作弊，比如：把手机电池放在手机类目下，在搜索手机的时候会出现周边(手机电池)。另外，如果一个查询词串与多个类目相关，在判断所述查询词串与各相关类目倾向性时，是通过点击率判断类目倾向性的，如果与查询词串相关的某个类目点击率很低，则很容易忽略这些类目，导致搜索引擎很难把与查询词串相关的所有类目全部召回，搜索准确度低。

2、线上结果人工审核。通过人工审核的方式确定每一个产品词对应的周边词集合，即出现了周边词就可以认为这条产品信息不应该出现。

该种方法虽然准确率很高，但是需要花费大量的人工时间进行审核，人力成本很大。

发明内容

本申请所要解决的技术问题是提供一种搜索方法和系统，准确、全面、快捷的解决搜索结果中，与用户查询词串对应的产品相关性低的周边产品信息，在搜索结果中权重高的问题。

为了解决上述问题，本申请公开了一种搜索方法，包括：

接收查询词串，检索与查询词串相关的各产品信息；

提取对应所述查询词串的第一核心产品词；所述第一核心产品词为最小语义单元；

提取对应所述各产品信息的各第二核心产品词；所述第二核心产品词为最小语义单元；

针对每一、第二核心产品词，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；其中，所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；

结合调整后的各产品信息的权重，将各产品信息排序输出。

优选的，还包括：

构建所述怀疑产品词列表的步骤，所述构建所述怀疑产品词列表的步骤包括：

针对数据库中各产品信息，按最大语义单元进行大粒度切分，提取切分结果中的第三核心产品词；

针对所述第三核心产品词，当按最小语义单元进行小粒度切分时，若得到的各词中有至少两个为产品词，则按照词的组成顺序，将第一个产品词作为关键产品词，将最后一个产品词作为所述关键产品词的候选怀疑产品词；

计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词；

针对同一关键产品词，基于筛选后的各候选怀疑产品词生成所述关键产品词的怀疑产品词列表。

优选的，计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，通过所述关键产品词的各类目点击率向量化所述关键产品词，通过所述候选怀疑产品词的各类目点击率向量化候选怀疑产品词；

计算所述关键产品词对应的向量与所述候选怀疑产品词对应的向量之间的夹角值，并基于所述夹角值筛选相关性符合阈值的候选怀疑产品词。

优选的，针对所述关键产品词与所述候选怀疑产品词，通过所述关键产品词的各类目点击率向量化所述关键产品词，通过所述候选怀疑产品词的各类目点击率向量化候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，从搜索日志中分别分析统计各自相关类目的点击率，获得相关类目的权重列表；

将所述关键产品词的所述权重列表中的各值转化为第一向量，将所述候选怀疑产品词的权重列表中的各值转化为第二向量。

优选的，计算所述关键产品词对应的向量与所述候选怀疑产品词对应的向量之间的夹角值，并基于所述夹角值筛选相关性符合阈值的候选怀疑产品词包括：

计算第一向量和第二向量的余弦夹角值；当所述余弦夹角值大于阈值时，则将所述候选怀疑产品词删除。

优选的，计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，通过对所述关键产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述关键产品词，通过对所述候选怀疑产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述候选怀疑产品词；

针对每一个维度，计算关键产品词对应向量和候选怀疑产品词对应向量的夹角值，并基于得到的三个维度的夹角值筛选相关性符合阈值的候选怀疑产品词。

优选的，针对所述关键产品词与所述候选怀疑产品词，通过对所述关键产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述关键产品词，通过对所述候选怀疑产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，分别分析获取搜索日志，获取由关键产品词点击的各产品信息、和由候选怀疑产品词点击的各产品信息；

分别统计关键产品词对应的第一类目点击率列表，对应的各产品信息各属性的第一属性点击率列表，对应的各产品信息的核心产品词的第一产品词点击率列表；并分别统计候选怀疑产品词对应的第二类目点击率列表，对应的各产品信息各属性的第二属性点击率列表，对应的各产品信息的核心产品词的第二产品词点击率列表；

分别将第一类目点击率列表、第一属性点击率列表、第一产品词点击率列表、第二类目点击率列表、第二属性点击率列表、第二产品词点击率列表转化为相应的向量。

优选的，针对每一个维度，计算关键产品词对应向量和候选怀疑产品词对应向量的夹角值，并基于得到的三个维度的夹角值筛选相关性符合阈值的候选怀疑产品词包括：

分别计算第一类目点击率列表对应的向量与第二类目点击率列表对应的向量之间的余弦夹角值，得到类目点击率相关性；计算第一属性点击率列表对应的向量与第二属性点击率列表对应的向量之间的余弦夹角值，得到属性点击率相关性；计算第一产品词点击率列表对应的向量与第二产品词点击率列表对应的向量之间的余弦夹角值，得到产品词点击率相关性；

将所述类目点击率相关性、属性点击率相关性、产品词点击率相关性进行线性加权得到所述关键产品词与所述候选怀疑产品词的总相似度；当所述总相似度大于阈值时，则将所述候选怀疑产品词删除。

优选的，将最后一个产品词作为所述关键产品词的候选怀疑产品词时还包括：

将所述最后一个产品词设置为相应产品信息的第二核心产品词，并将其对应所述产品信息进行存储。

优选的，提取对应所述各产品信息的各第二核心产品词时包括：

从所述存储中提取各产品信息的第二核心产品词。

优选的，获得所述各核心产品词的步骤包括：

对查询词串或者产品信息文本进行分词，得到各分词，并标注各分词的词性；

查找上下文无关词性运维词表，识别出其中的并列词，并基于所述并列词对查询词串或者产品信息文本进行分段；

对于每一段词，如果段内有至少两个分词具有产品词词性，则将其中最后一个分词的词性置为核心产品词。

相应的，本申请还公开了一种搜索系统，包括：

检索模块，用于接收查询词串，检索与查询词串相关的各产品信息；

第一核心产品词获取模块，用于提取对应所述查询词串的第一核心产品词；所述第一核心产品词为最小语义单元；

第二核心产品词获取模块，用于提取对应所述各产品信息的各第二核心产品词；所述第二核心产品词为最小语义单元；

判断模块，用于针对每一、第二核心产品词，在怀疑规则词典中，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；其中，所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词为各产品信息的第二核心产品词；所述怀疑产品词为与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；

输出模块，用于结合调整后的各产品信息的权重，将各产品信息排序输出。

优选的，还包括怀疑产品词列表构造模块，所述怀疑产品词列表构造模块包括：

大粒度切分模块，用于针对数据库中各产品信息，按最大语义单元进行大粒度切分，提取切分结果中的第三核心产品词；

小粒度切分模块，用于针对所述第三核心产品词，当按最小语义单元进行小粒度切分时，若得到的各词中有至少两个为产品词，则按照词的组成顺序，将第一个产品词作为关键产品词，将最后一个产品词作为所述关键产品词的候选怀疑产品词；

筛选模块，用于计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词；

列表生成模块，用于针对同一关键产品词，基于筛选后的各候选怀疑产品词生成所述关键产品词的怀疑产品词列表。

与现有技术相比，本申请包括以下优点：

本申请预先构造的关键产品词与相应怀疑产品词列表，其中，怀疑产品词列表中包括的怀疑产品词是各产品信息的核心产品词，同时，所述怀疑产品词与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目。然后对搜索引擎的检索结果中产品信息的权重进行重新判定，当产品信息的核心产品词在用户查询词串对应的怀疑产品词列表中时，将相应的产品信息的权重降低，那么搜索引擎在返回的结果中，即可降低周边产品对于用户查询词实际所属产品类别的干扰。

进一步的，本申请具有以下两个优点：

首先，由于前述怀疑产品词列表的构造方式，是以决定产品信息所属类目的核心产品词进行构造的，即可避免由于类目作弊等方式造成的返回周边产品的缺点，可提高搜索准确率。

其次，由于是以词为中心进行构建怀疑产品词列表的，而怀疑词列表中的怀疑产品词是与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目的词，这个过程中不是以点击率判定查询词的类目倾向性，从而避免了召回率的问题，提高了信息的准确性。

附图说明

图1是本申请一种搜索方法的流程示意图；

图2是本申请一种搜索系统的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请的核心思想之一在于，预先构建关键产品词与对应的怀疑产品词列表，其中所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；然后将针对用户端输入的查询词串，搜索出来的各产品信息，分别提取查询词串的核心产品词作为关键产品词，提取各产品信息的核心产品词作为对应所述关键产品词的怀疑产品词，将所述怀疑产品词在所述关键产品词与对应的怀疑产品词列表中进行查询，如果查到所述怀疑产品词，则对相应的产品信息进行降权，然后结合调整后的各产品信息的权重，将各产品信息排序输出。这样，减少了周边产品信息出现的几率，提高了召回的准确率和全面性。

参照图1，示出了本申请一种搜索方法的流程示意图。

步骤110，接收查询词串，检索与查询词串相关的各产品信息；

步骤120，提取对应所述查询词串的第一核心产品词；所述第一核心产品词为最小语义单元；

步骤130，提取对应所述各产品信息的各第二核心产品词；所述第二核心产品词为最小语义单元；

步骤140，针对每一、第二核心产品词，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；其中，所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；

在本申请中，一般会预先构建关键产品词相对应的怀疑产品词列表，所述怀疑产品词列表包括怀疑产品词。所述关键产品词为用于提取对应怀疑产品列表的词。在本申请中，当获取到用户查询词串的第一核心产品词时，以第一核心产品词去匹配关键产品词，提取对应的怀疑产品词列表。

其中，所述怀疑产品词为与所在怀疑产品词列表对应的关键产品词不属于同一类目的词，并且所述怀疑产品词与所述关键产品词组合得到的组合词也与所述关键产品词不属于相同类目。

比如，MP3下载线，MP3耳机，其中可以MP3为关键产品词，下载线、耳机为怀疑产品词写入怀疑产品词列表，其中MP3与下载线、耳机分别属于不同类目的产品。MP3与下载线组合的词″MP3下载线″属于下载线相应类目，与MP3不同；MP3与耳机组合的词″MP3耳机″属于耳机类目，与MP3不同。

步骤150，结合调整后的各产品信息的权重，将各产品信息排序输出。

在本申请中，可预先建立关键产品词与对应的怀疑产品词列表的怀疑规则词典。优选的，构建所述关键词与对应怀疑产品词列表的步骤包括：

步骤210，针对数据库中各产品信息，按最大语义单元进行大粒度切分，提取切分结果中的第三核心产品词；

对于产品信息一般是结构化的信息，比如存在标题，摘要，描述等结构化的文本。本申请可从每个产品信息的所有文本信息分析获取核心产品词，也可在某几个结构的文本中获取产品词，比如标题，摘要，描述等。本申请一般采用标题信息字段进行分析。当然本申请也可采用其他字段进行分析。

比如对于从数据库中获取到的一个产品信息的标题信息，则首先按最大语义单元对其进行切分，得到大粒度的分词。最大语义单元类似于短语，如果多个最小分词组合起来表示一个语义单元，则不进行切分。比如：″手机电池″表示手机用的电池。分词一般是根据词典进行最长匹配，如果在词典中收录了由最小语义单元组成的词标识一个语义，则认为其是最大语义单元，比如前述″手机电池″表示的是手机用的电池而不是其他电器用的电池，或者说″MP3下载线″表示的是MP3用的下载线，而不是其他电器用的下载线。

按最大语义单元进行大粒度分词后，得到的可能存在各种词性的词，比如修饰词、产品词、型号词等，比如″非常漂亮的诺基亚手机N99″，那么″非常漂亮的″就是修饰词，″诺基亚手机″就是产品词，″N99″是型号词。其中如果提取的信息比较长，切分得到的产品词比较多，那么依据语言的规则，其中必有一个词为其核心产品词，即确认该产品信息属于哪一类产品。那么本申请对于通过前述大粒度切分得到的各种词，则提取其中的核心产品词，即第三核心产品词。

进一步来说，本申请的词性包括：：CP_CORE(产品核心词)、CP_XIUSHI(产品修饰词)、XS(一般性修饰词)、PP(品牌词)、XH(型号词)、QH(区划词)、BL(并列词)、以及PT(普通词)。比如对于″供应mp3\mp4车载发射器″，其中的词性可如下表一所示，其中分词是以最小语义单元进行的分词，若以最大语义单元进行分词，其词性标注类似：

分词(分词)	词性	重要性
			供应	FW	20
Mp3	CP_XIUSHI	90
			\	BL	0
Mp4	CP_XIUSHI	90
			车载	XS	40

发射器

CP_CORE

150

表一

在实际中，在对提取的信息进行大粒度切分后的词，可依据词性标注词典和一定的判断规则获取每个词的词性，如果某个词为核心产品词，则保留该词为第三核心产品词，其他词则不进行后续处理。

步骤220，针对所述第三核心产品词，当按最小语义单元进行小粒度切分时，若得到的各词中有至少两个为产品词，则按照词的组成顺序，将第一个产品词作为关键产品词，将最后一个产品词作为所述关键产品词的候选怀疑产品词；

对于步骤210进行大粒度切分时，一般能得到能切分为最小语义单元的核心产品词，也能得到不能再切分的核心产品词。本申请对步骤210得到的各第三核心产品词进行最小语义单元切分。如果一个短串A通过大粒度切词无法切分(切分结果为A)，但是通过小粒度切词可以切分(切分结果为A1|A2)，且切分后的每一个分词均为产品词。则认为A1是A2的修饰成分，即产品词A1具有怀疑词候选A2。

具体包括：步骤S221，采用最小语义单元切分所述第三核心产品词，获得最小语义单元词；

比如对于通过步骤210获得的″手机电池″，切分为″手机″和″电池″；通过步骤210获得的″MP3下载线″，则切分为″MP3″和″下载线″。

步骤S222，当所述第三核心产品词被切分为至少两个最小语义单元的词时，标注各最小语义单元词的词性。

对于某些由第三核心产品词切分得到的多个最小语义单元词，标注各最小语义单元的词性，比如标注其是型号词、产品词等情况。

步骤S223，判断所述各最小语义单元词中是否包括至少两个产品词，如果包括，则按照词的组成顺序，将第一个产品词作为关键产品词，将最后一个产品词作为所述关键产品词的候选怀疑产品词。

一般情况下，比如前述″手机电池″切分得到的″手机″″电池″均为产品词，那么可设置″手机″为关键产品词，其具有怀疑产品词″电池″。″MP3下载线″切分得到的″MP3″″下载线″均为产品词，那么可设置″MP3″为关键产品词，其具有怀疑产品词″下载线″。

步骤230，计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词；

在实际中，对于由最小语义单元的各产品词组成的新的产品词时，新产品词可能与最小语义单元的产品词属于同一类目。比如″女装连衣裙″切分得到的″女装″和″连衣裙″则都属于女装类目。那么如果将连衣裙作为女装的候选产品词，则在用户以女装为核心产品词进行搜索时，会误将该产品信息进行降权，导致搜索不准确。那么本申请则会计算前述得到的关键产品词与候选怀疑产品词的相关性，当其相关性大于一定阈值时即将所述候选怀疑产品词删除。即保证与关键产品词属于相同类目候选怀疑产品词不在怀疑产品词列表中。

优选的，计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词包括：

步骤S231，针对所述关键产品词与所述候选怀疑产品词，通过所述关键产品词的各类目点击率向量化所述关键产品词，通过所述候选怀疑产品词的各类目点击率向量化候选怀疑产品词；

在实际中，在搜索引擎的日志中，一般均存在以关键产品词和候选怀疑产品词为查询词进行查询的记录，那么关键产品词和候选怀疑产品词均存在类目的点击率，比如对于关键产品词A的总点击次数为m，类目A的点击次数为m1，类目B的点击次数为m2，……类目N的点击次数为mn，那么关键产品词的类目A的点击率为m1/m，类目B的点击次数为m2/m，类目N的点击率为mn/m，那么对其向量化可为

优选的，针对所述关键产品词与所述候选怀疑产品词，通过所述关键产品词的各类目点击率向量化所述关键产品词，通过所述候选怀疑产品词的各类目点击率向量化候选怀疑产品词包括：

步骤P11，针对所述关键产品词与所述候选怀疑产品词，从搜索日志中分别分析统计各自相关类目的点击率，获得相关类目的权重列表；

分析搜索日志，获得以关键产品词为查询词时点击的各产品信息，根据各产品信息的类别统计各类别的点击率，然后由各类目的点击率构成相关类目的权重列表；分析搜索日志，获得一候选怀疑产品词为查询词时点击的各产品信息，根据各产品信息的类别统计各类别的点击率，然后由各类目的点击率构成相关类目的权重列表。比如前述关键产品词A的总点击次数为m，类目A的点击次数为m1，类目B的点击次数为m2，……类目N的点击次数为mn，那么关键产品词的类目A的点击率为m1/m，类目B的点击次数为m2/m，类目N的点击率为mn/m，那么权重列表可为：m1/m，m2/m，……mn/m。

步骤P12，将所述关键产品词的所述权重列表中的各值转化为第一向量，将所述候选怀疑产品词的权重列表中的各值转化为第二向量。

比如对于前述关键产品词A的权重列表，可将其转换为向量 对于后续怀疑产品词进行类似操作。

步骤S232，计算所述关键产品词对应的向量与所述候选怀疑产品词对应的向量之间的夹角值，并基于所述夹角值筛选相关性符合阈值的候选怀疑产品词。

进一步，优选的计算所述关键产品词对应的向量与所述候选怀疑产品词对应的向量之间的夹角值，并基于所述夹角值筛选相关性符合阈值的候选怀疑产品词包括：

步骤P13，计算第一向量和第二向量的余弦夹角值；当所述余弦夹角值大于阈值时，则将所述候选怀疑产品词删除。

比如关键产品词对应的向量为候选怀疑产品词对应的向量为那么其余弦夹角值为：将夹角值作为关键产品词与候选怀疑产品词之间的相关性，即相似度；如果相似度大于阈值，比如本申请可采用0.2，那么将相应候选怀疑词删除。

和/或，优选的，计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词包括：

步骤S233，针对所述关键产品词与所述候选怀疑产品词，通过对所述关键产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述关键产品词，通过对所述候选怀疑产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述候选怀疑产品词；

本申请可将关键产品词和候选怀疑产品词分别作为查询词。然后即可通过类目、属性、产品词三个维度来向量化随时查询词。比如对应了一个查询词，点击了n个产品信息，由于每个产品信息对应一个类目，产品信息中有m个属性说明，产品信息r标题中出现了n个产品词。可以得到查询词下每个类目的点击率，每个属性的点击率，每个产品词的点击率，从而计算这三个维度的余弦夹角得到相似度。

优选的，针对所述关键产品词与所述候选怀疑产品词，通过对所述关键产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述关键产品词，通过对所述候选怀疑产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述候选怀疑产品词包括：

P21，针对所述关键产品词与所述候选怀疑产品词，分别分析获取搜索日志，获取由关键产品词点击的各产品信息、和由候选怀疑产品词点击的各产品信息；

由前所述，由于大量用户的查询行为，在搜索引擎的历史搜索日志中，一般均存在以关键产品词为查询词，或者以所述候选怀疑产品词为查询词进行查询的日志记录。那么即可分别分析获取搜索日志，获取由关键产品词点击的各产品信息、和由候选怀疑产品词点击的各产品信息。

P22，分别统计关键产品词对应的第一类目点击率列表，对应的各产品信息各属性的第一属性点击率列表，对应的各产品信息的核心产品词的第一产品词点击率列表；并分别统计候选怀疑产品词对应的第二类目点击率列表，对应的各产品信息各属性的第二属性点击率列表，对应的各产品信息的核心产品词的第二产品词点击率列表；

根据关键产品词对应点击的各产品信息，统计关键产品词的各类目的点击率得到第一类目点击率列表，统计各产品信息的各属性的点击率得到第一产品词点击率列表，统计各产品信息的各产品词的点击率得到第一产品词点击率列表。根据候选怀疑产品词对应点击的各产品信息，统计候选怀疑产品词的各类目的点击率得到第二类目点击率列表，统计各产品信息的各属性的点击率得到第二产品词点击率列表，统计各产品信息的各产品词的点击率得到第二产品词点击率列表。

P23，分别将第一类目点击率列表、第一属性点击率列表、第一产品词点击率列表、第二类目点击率列表、第二属性点击率列表、第二产品词点击率列表转化为相应的向量。

比如第一类目点击率列表为：a1，a2……an，转化为向量为 第一属性点击率列表为：b1，b2……bn，转化为向量为 第一产品词点击率列表为：c1，c2……cn，转化为向量为 同理，得到第二类目点击率列表对应的向量为第二属性点击率列表对应的向量为第二产品词点击率列表对应的向量为

步骤S234，针对每一个维度，计算关键产品词对应向量和候选怀疑产品词对应向量的夹角值，并基于得到的三个维度的夹角值筛选相关性符合阈值的候选怀疑产品词。

针对类目维度，计算第一类目点击率列表对应的向量与第二类目点击率列表对应的向量之间的夹角值。同理，针对属性维度得到第一属性点击率列表对应的向量与第二属性点击率列表对应的向量之间的夹角值，针对产品词维度得到第一产品词点击率列表对应的向量与第二产品词点击率列表对应的向量的夹角值。然后基于上述三个维度的夹角值筛选相关性符合阈值的候选怀疑产品词。

进一步的，针对每一个维度，计算关键产品词对应向量和候选怀疑产品词对应向量的夹角值，并基于得到的三个维度的夹角值筛选相关性符合阈值的候选怀疑产品词包括：

步骤p24，分别计算第一类目点击率列表对应的向量与第二类目点击率列表对应的向量之间的余弦夹角值，得到类目点击率相关性；计算第一属性点击率列表对应的向量与第二属性点击率列表对应的向量之间的余弦夹角值，得到属性点击率相关性；计算第一产品词点击率列表对应的向量与第二产品词点击率列表对应的向量之间的余弦夹角值，得到产品词点击率相关性；

比如前述得到类目的余弦值：得到属性维度余弦值 $\cos <\stackrel{\&RightArrow;}{b},\stackrel{\&RightArrow;}{f}>=\frac{\stackrel{\&RightArrow;}{b}\&CenterDot;\stackrel{\&RightArrow;}{f}}{\left|\stackrel{\&RightArrow;}{b}\right|\left|\stackrel{\&RightArrow;}{f}\right|},$ 得到产品词余弦值 $\cos <\stackrel{\&RightArrow;}{c},\stackrel{\&RightArrow;}{g}>=\frac{\stackrel{\&RightArrow;}{c}\&CenterDot;\stackrel{\&RightArrow;}{g}}{\left|\stackrel{\&RightArrow;}{c}\right|\left|\stackrel{\&RightArrow;}{g}\right|}.$

步骤p25，将所述类目点击率相关性、属性点击率相关性、产品词点击率相关性进行线性加权得到所述关键产品词与所述候选怀疑产品词的总相似度；当所述总相似度大于阈值时，则将所述候选怀疑产品词删除。

然后基于上述三个余弦值进行线性加权平均，得到最终余弦值，作为所述关键产品词和候选怀疑产品词的相关性，即相似度，如果相似度大于阈值，比如本申请设置0.3，则将候选怀疑产品词删除。

步骤240，针对同一关键产品词，基于筛选后的各候选怀疑产品词生成所述关键产品词的怀疑产品词列表。

当针对数据库中各产品信息均进行前述步骤的提取分析过程得到关键产品词与候选怀疑产品词的对应关系后，则将同一关键产品词的候选怀疑产品词进行汇总，即可生成相应的怀疑产品词列表。

比如通过前述步骤得到：对于关键产品词MP3，其对应的怀疑产品词列表可包括：下载线、主板、传输线、保护套、充电器、充电池、包套、包装、包装盒、发射器、喇叭、外套、太阳镜、套子、小音箱、小音响、展示架、布袋、开关、彩盒、手机、手表、扩音器、报站器、挂带、挂绳、收音机、数据线、显示屏、连接线、保护膜、扬声器等。

本申请采用了一种自然语言处理与结构化信息结合使用的方法。通过全库产品信息的混合粒度(大粒度切分和小粒度切分)的挖掘，保证了周边结果的召回率。通过类目点击信息的相关性优化、自然语言处理技术和结构化信息的相关性优化，保证了结果的准确率。同时完全摆脱了对于人工成本的依赖，在去除周边结果上表现出了优秀的效果。

基于上述包括关键产品词与相应怀疑产品词列表的怀疑规则词典，对于搜索步骤包括：

步骤110，接收查询词串，检索与查询词串相关的各产品信息；

用户端输入的查询词串，搜索引擎则接收所述查询词串，然后根据所述查询词串从所述查询词串中检索与查询词相关的各产品信息。

步骤120，提取对应所述查询词串的第一核心产品词；所述第一核心产品词为最小语义单元；

以最小语义单元对查询词串进行切分，获得表示查询词串查询的目的产品的第一核心产品词。

本步骤提取核心词的顺序不一定在检索到与查询词串相关的各产品信息之后，也可同时进行，也可在此之前。本申请不对其加以限制。

步骤130，提取对应所述各产品信息的各第二核心产品词；所述第二核心产品词为最小语义单元；

以最小语义单元对各产品信息进行切分，获得表示查询词串查询的目的产品的第一核心产品词。本申请可对产品信息的标题信息进行切分。

其中，在前述构建怀疑产品词列表时，将最后一个产品词作为所述关键产品词的候选怀疑产品词时还包括：

步骤O1，将所述最后一个产品词设置为相应产品信息的第二核心产品词，并将其对应所述产品信息进行存储。

基于步骤O1，提取对应所述各产品信息的各第二核心产品词时包括：

步骤O2，从所述存储中提取各产品信息的第二核心产品词。

通过步骤O1和步骤O2的方式，提取对应所述各产品信息的各第二核心产品词时不用再进行产品信息的切分过程，只需从所述存储中提取各产品信息的第二核心产品词即可。降低搜索引擎的切分过程，提高搜索引擎的效率。

本步骤可在搜索引擎检索到每条产品信息时，进行提取；也可在检索到所有产品信息之后再提取。本申请不对其加以限制。

步骤140，针对每一第二核心产品词，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；其中，所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；

比如对于第一核心产品词″MP3″，其中对应的一个产品信息的第二核心产品词为″下载线″，则以″MP3″匹配相应关键词MP3，查询关键词″MP3″对应的候选词列表中是否存在″下载线″，如果存在，则降低相应的产品信息的权重。

步骤150，结合调整后的各产品信息的权重，将各产品信息排序输出。

在搜索引擎中，搜索时一般基于词串匹配，比如对于″MP3″，会搜索到″MP3下载线″，但是″MP3下载线″与″MP3″不属于同一类目，那么为了提高搜索结果的准确性，即对搜索结果进行展示时，提高展示的前几页的准确性，即需要将″MP3下载线″对应的产品信息进行降权，让其往后排，优先展示在与″MP3″属于相同类目的产品信息。

本申请可对各产品信息与查询词的相关性，先根据相关性分档，档内根据信息质量，信息的预估CTR(Click Through Rate，点击率)和GMV(Gross Merchandise Volume，成交额)，以及其他市场机制(比如会员轮转)等来设置权重。结合调整后的各产品信息的权重，将各产品信息排序输出。

另外，在构建怀疑产品词列表和搜索引擎提取核心产品词时，获得所述各核心产品词的步骤包括：

步骤U1，对查询词串或者产品信息文本进行分词，得到各分词，并标注各分词的词性；

实际中，对于一个产品信息，其分词的词性可包括：CP_CORE(产品核心词)、CP_XIUSHI(产品修饰词)、XS(一般性修饰词)、PP(品牌词)、XH(型号词)、QH(区划词)、BL(并列词)、以及PT(普通词)。比如前述表一所示。

那么对于各产品信息或查询产品信息的查询词串，可按进行分词，然后基于上述词性对每个分词进行标注。步骤U2，查找上下文无关词性运维词表，识别出其中的并列词，并基于所述并列词对查询词串或者产品信息文本进行分段；

对于分词之后的每一个分词，查找上下文无关词性运维词表，识别出其中的并列词，后续会基于并列词，对短串进行分段，每段内进行上下文相关词性计算。比如前述″供应mp3\mp4车载发射器″，可以分段为″供应mp3车载发射器″和″供应mp4车载发射器″。其中MP3、MP4和发射器为产品词。

步骤U3，对于每一段词，如果段内有至少两个分词具有产品词词性，则将其中最后一个分词的词性置为核心产品词。

根据BL词性，对短串进行分段，每段的分词词性和重要性计算独立进行。对于每一段，如果段内有多个分词具有CP(产品词)词性，则将其中最后一个分词的词性置为CP_CORE，其余分词的词性置为CP_XIUSHI。分词重要性打分依据词性进行，具体方法是：

1)从IDF(独立)词典中获取该词的独立分，没有则为0分；

2)如果是最后一个词，加上10分，算出当前得分分；

3)如果是产品核心词，为100+分；

4)如果是品牌词，为80+分；

5)如果是型号词，为60+分；

6)如果是产品修饰词，为40+分；

7)如果是区划词，为20+分；

8)如果是并列符合，左括号右括号，直接设置为0分；

9)如果是普通词，则为5+分。

另外，如果提供了包含产品信息对应的类目id和供应商id，通过多维度特征联合(供应商级别、类目级别、买家级别、怀疑规则)判断来优化效果，得到最终的分词词性和重要性结果。

对于短串中每一个CP_CORE和CP_XIUSHI分词，提取4个特征，分词对应的类目点击，产品信息r所处类目下的产品词分布，供应商主营行业，供应商主营产品，验证每一个候选分词在这4个特征下的表现。

在特征拟合部分，如果特征1)到特征4)均相关，则把CP_XIUSHI提升为CP_CORE；如果特征1)到特征4)均不相关，则把CP_CORE降为CP_XIUSHI。如果特征1)到特征4)均相关，则把该分词设为受信任词，并且把该词对应的怀疑规则词，全部将为CP_XIUSHI。并且修改分词对应的重要性打分，从而得到最后结果。

参照图2，其示出了本申请一种搜索系统的结构示意图，包括

搜索引擎300，所述搜索引擎包括：

检索模块310，用于接收查询词串，检索与查询词串相关的各产品信息；

第一核心产品词获取模块320，用于提取对应所述查询词串的第一核心产品词；所述第一核心产品词为最小语义单元；

第二核心产品词获取模块330，用于提取对应所述各产品信息的各第二核心产品词；所述第二核心产品词为最小语义单元；

判断模块340，用于针对每一第二核心产品词，在怀疑规则词典中，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；其中，所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词为各产品信息的第二核心产品词；所述怀疑产品词为与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；

输出模块350，用于结合调整后的各产品信息的权重，将各产品信息排序输出。

还包括怀疑产品词列表构造模块400，所述怀疑产品词列表构造模块包括：

大粒度切分模块410，用于针对数据库中各产品信息，按最大语义单元进行大粒度切分，提取切分结果中的第三核心产品词；

小粒度切分模块420，用于针对所述第三核心产品词，当按最小语义单元进行小粒度切分时，若得到的各词中有至少两个为产品词，则按照词的组成顺序，将第一个产品词作为关键产品词，将最后一个产品词作为所述关键产品词的候选怀疑产品词；

筛选模块430，用于计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词；

列表生成模块440，用于针对同一关键产品词，基于筛选后的各候选怀疑产品词生成所述关键产品词的怀疑产品词列表。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

以上对本申请所提供的一种搜索方法和系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种搜索方法，其特征在于，包括:

接收查询词串，检索与查询词串相关的各产品信息；

提取对应所述查询词串的第一核心产品词；所述第一核心产品词为最小语义单元；

提取对应所述各产品信息的各第二核心产品词；所述第二核心产品词为最小语义单元；

针对每一第二核心产品词，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；其中，所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；

结合调整后的各产品信息的权重，将各产品信息排序输出。

2.根据权利要求1所述的方法，其特征在于，还包括：

构建所述怀疑产品词列表的步骤，所述构建所述怀疑产品词列表的步骤包括：

针对数据库中各产品信息，按最大语义单元进行大粒度切分，提取切分结果中的第三核心产品词；

针对所述第三核心产品词，当按最小语义单元进行小粒度切分时，若得到的各词中有至少两个为产品词，则按照词的组成顺序，将第一个产品词作为关键产品词，将最后一个产品词作为所述关键产品词的候选怀疑产品词；

计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词；

针对同一关键产品词，基于筛选后的各候选怀疑产品词生成所述关键产品词的怀疑产品词列表。

3.根据权利要求2所述的方法，其特征在于，计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，通过所述关键产品词的各类目点击率向量化所述关键产品词，通过所述候选怀疑产品词的各类目点击率向量化候选怀疑产品词；

计算所述关键产品词对应的向量与所述候选怀疑产品词对应的向量之间的夹角值，并基于所述夹角值筛选相关性符合阈值的候选怀疑产品词。

4.根据权利要求3所述的方法，其特征在于，针对所述关键产品词与所述候选怀疑产品词，通过所述关键产品词的各类目点击率向量化所述关键产品词，通过所述候选怀疑产品词的各类目点击率向量化候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，从搜索日志中分别分析统计各自相关类目的点击率，获得相关类目的权重列表；

将所述关键产品词的所述权重列表中的各值转化为第一向量，将所述候选怀疑产品词的权重列表中的各值转化为第二向量。

5.根据权利要求4所述的方法，其特征在于，计算所述关键产品词对应的向量与所述候选怀疑产品词对应的向量之间的夹角值，并基于所述夹角值筛选相关性符合阈值的候选怀疑产品词包括：

计算第一向量和第二向量的余弦夹角值；当所述余弦夹角值大于阈值时，则将所述候选怀疑产品词删除。

6.根据权利要求2所述的方法，其特征在于，计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，通过对所述关键产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述关键产品词，通过对所述候选怀疑产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述候选怀疑产品词；

针对每一个维度，计算关键产品词对应向量和候选怀疑产品词对应向量的夹角值，并基于得到的三个维度的夹角值筛选相关性符合阈值的候选怀疑产品词。

7.根据权利要求6所述的方法，其特征在于，针对所述关键产品词与所述候选怀疑产品词，通过对所述关键产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述关键产品词，通过对所述候选怀疑产品词的类目点击率、属性目点击率、产品词点击率三个维度分别向量化所述候选怀疑产品词包括：

针对所述关键产品词与所述候选怀疑产品词，分别分析获取搜索日志，获取由关键产品词点击的各产品信息、和由候选怀疑产品词点击的各产品信息；

分别统计关键产品词对应的第一类目点击率列表，对应的各产品信息各属性的第一属性点击率列表，对应的各产品信息的核心产品词的第一产品词点击率列表；并分别统计候选怀疑产品词对应的第二类目点击率列表，对应的各产品信息各属性的第二属性点击率列表，对应的各产品信息的核心产品词的第二产品词点击率列表；

分别将第一类目点击率列表、第一属性点击率列表、第一产品词点击率列表、第二类目点击率列表、第二属性点击率列表、第二产品词点击率列表转化为相应的向量。

8.根据权利要求7所述的方法，其特征在于，针对每一个维度，计算关键产品词对应向量和候选怀疑产品词对应向量的夹角值，并基于得到的三个维度的夹角值筛选相关性符合阈值的候选怀疑产品词包括：

分别计算第一类目点击率列表对应的向量与第二类目点击率列表对应的向量之间的余弦夹角值，得到类目点击率相关性；计算第一属性点击率列表对应的向量与第二属性点击率列表对应的向量之间的余弦夹角值，得到属性点击率相关性；计算第一产品词点击率列表对应的向量与第二产品词点击率列表对应的向量之间的余弦夹角值，得到产品词点击率相关性；

将所述类目点击率相关性、属性点击率相关性、产品词点击率相关性进行线性加权得到所述关键产品词与所述候选怀疑产品词的总相似度；当所述总相似度大于阈值时，则将所述候选怀疑产品词删除。

9.根据权利要求2所述的方法，其特征在于，将最后一个产品词作为所述关键产品词的候选怀疑产品词时还包括：

将所述最后一个产品词设置为相应产品信息的第二核心产品词，并将其对应所述产品信息进行存储。

10.根据权利要求9所述的方法，其特征在于，提取对应所述各产品信息的各第二核心产品词时包括：

从所述存储中提取各产品信息的第二核心产品词。

11.根据权利要求1或2所述的方法，其特征在于，获得所述各核心产品词的步骤包括：

对查询词串或者产品信息文本进行分词，得到各分词，并标注各分词的词性；

查找上下文无关词性运维词表，识别出其中的并列词，并基于所述并列词对查询词串或者产品信息文本进行分段；

对于每一段词，如果段内有至少两个分词具有产品词词性，则将其中最后一个分词的词性置为核心产品词。

12.一种搜索系统，其特征在于，包括:

检索模块，用于接收查询词串，检索与查询词串相关的各产品信息；

第一核心产品词获取模块，用于提取对应所述查询词串的第一核心产品词；所述第一核心产品词为最小语义单元；

第二核心产品词获取模块，用于提取对应所述各产品信息的各第二核心产品词；所述第二核心产品词为最小语义单元；

判断模块，用于针对每一第二核心产品词，在怀疑规则词典中，以第一核心产品词匹配关键产品词，查找所述关键产品词对应的怀疑产品词列表中是否存在所述第二核心产品词；如果存在，则降低所述第二核心产品词对应的产品信息的权重；其中，所述怀疑产品词列表中包括怀疑产品词；所述怀疑产品词为各产品信息的第二核心产品词；所述怀疑产品词为与所述关键产品词进行组合后，得到的合成产品词与所述关键产品词不属于相同类目；

输出模块，用于结合调整后的各产品信息的权重，将各产品信息排序输出。

13.根据权利要求12所述的系统，其特征在于：

还包括怀疑产品词列表构造模块，所述怀疑产品词列表构造模块包括：

大粒度切分模块，用于针对数据库中各产品信息，按最大语义单元进行大粒度切分，提取切分结果中的第三核心产品词；

小粒度切分模块，用于针对所述第三核心产品词，当按最小语义单元进行小粒度切分时，若得到的各词中有至少两个为产品词，则按照词的组成顺序，将第一个产品词作为关键产品词，将最后一个产品词作为所述关键产品词的候选怀疑产品词；

筛选模块，用于计算所述关键产品词与候选怀疑产品词的相关性，筛选相关性符合阈值的候选怀疑产品词；

列表生成模块，用于针对同一关键产品词，基于筛选后的各候选怀疑产品词生成所述关键产品词的怀疑产品词列表。