CN109815396A - 搜索词权重确定方法及装置 - Google Patents

Abstract

本发明公开了一种搜索词权重确定方法及装置，该方法包括：接收搜索语句；对所述搜索语句进行分词处理，得到各搜索词；确定各搜索词的重要度识别特征，所述重要度识别特征包括统计特征，并且利用预先基于点击日志构建的短语词典确定所述统计特征；利用所述重要度识别特征及预先构建的重要度模型，确定所述搜索词的权重。利用本发明，可以提高搜索词权重的准确性。

Description

搜索词权重确定方法及装置

技术领域

本发明涉及信息搜索领域，具体涉及一种搜索词权重确定方法及装置。

背景技术

搜索引擎作为互联网领域的搜索系统，已成为用户上网必不可少的工具之一。目前，随着互联网的不断发展，网络中的信息也呈现喷井式增长，如何快速并准确地在海量网络信息中获取用户关心的信息成为搜索引擎的核心问题。

搜索引擎通常会对户输入的搜索语句进行分词，得到若干个搜索词，根据搜索词的权重以及搜索结果与搜索语句的匹配度等信息对得到的搜索结果进行排序，并提供给用户。由于不同用户基于同一查询意图输入的搜索语句存在很大的差异，因此如何精准识别用户提交的搜索语句中的核心词变得尤为重要，其准确性将直接决定最终呈现的搜索结果排序效果。

在现有技术中，对于搜索语句中包括的各搜索词的权重确定，通常采用统计的方法，根据点击日志中搜索词的词频得到，词频越高，其权重越大。但采用这种方法得到的搜索词的权重与搜索词在搜索语句中的重要程度有时会存在很大偏差，并且产生的词权重数据只能依赖于历史用户搜索过的数据，导致泛化能力差，进而使得对搜索结果的排序不合理，影响用户体验。

发明内容

本发明实施例提供一种搜索词权重确定方法及装置，以提高搜索关键词权重的准确性。

为此，本发明提供如下技术方案：

一种搜索词权重确定方法，所述方法包括：

接收搜索语句；

对所述搜索语句进行分词处理，得到各搜索词；

确定各搜索词的重要度识别特征，所述重要度识别特征包括统计特征，并且利用预先基于点击日志构建的短语词典确定所述统计特征；

利用所述重要度识别特征及预先构建的重要度模型，确定所述搜索词的权重。

可选地，基于点击日志构建所述短语词典包括：

利用点击日志构建相似语句集，所述相似语句集中的各语句为所述点击日志中点击到同一搜索结果项的搜索语句；

从所述相似语句集中抽取相似语句对；

将所述相似语句对作为训练数据，训练得到词对齐模型；

基于所述词对齐模型对所述训练数据进行短语抽取，生成短语词典。

可选地，所述从所述相似语句集中抽取相似语句对包括：

依次确定所述相似语句集中两个不同语句的相关度及语序相近度；

如果所述相关度及所述语序相近度满足设定条件，则将所述两个不同语句作为相似语句对。

可选地，所述确定所述相似语句集中两个不同语句的相关度包括：

根据所述相似语句集中两个不同语句共同点击的搜索结果数、以及各语句对所述共同点击的搜索结果的点击率，确定所述两个不同语句的相关度。

可选地，所述确定所述相似语句集中两个不同语句的语序相近度包括：

根据所述相似语句集中两个不同语句中包含的词的类型及在所述语句中的顺序确定所述两个不同语句的语序相近度。

可选地，所述基于所述词对齐模型对所述训练数据进行短语抽取，生成短语词典包括：

利用所述词对齐模型对所述训练数据进行短语抽取，得到各短语片段对；

确定每对短语片段对的翻译概率；

依据所述翻译概率对所述短语片段对进行筛选，得到筛选后的短语片段对，利用筛选后的短语片段对生成短语词典。

可选地，所述翻译概率包括：双向短语翻译概率和词汇化短语翻译概率。

可选地，所述依据所述翻译概率对所述短语片段对进行筛选，得到筛选后的短语片段对包括：筛选出满足以下两个条件的短语片段对：(1)所述短语片段对中的一个短语片段是另一个短语片段的子集；(2)所述短语片段对中非子集短语片段翻译为子集片段的概率大于或等于所述非子集短语片段翻译为自身的概率。

可选地，所述统计特征包括以下任意一项或多项：

所述搜索词与所述短语词典中相匹配的最长短语片段的长度、所述搜索词与所述短语词典中相匹配的短语片段的个数、所述搜索词与所述短语词典中相匹配的短语片段的平均长度、所述搜索词与所述短语词典中相匹配的最短短语片段的长度。

可选地，所述重要度识别特征还包括：点击特征、和/或语言特征；所述方法还包括：

获取所述搜索词的点击特征和/或语言特征。

可选地，所述搜索词的语言特征包括以下任意一项或多项：所述搜索词在所述搜索语句中的词类、所述搜索词的词性、所述搜索词是否为实体词。

一种搜索词权重确定装置，所述装置包括：

接收模块，用于接收搜索语句；

分词处理模块，用于对所述搜索语句进行分词处理，得到各搜索词；

特征确定模块，用于确定各搜索词的重要度识别特征，所述重要度识别特征包括统计特征；所述特征确定模块包括：统计特征获取单元，用于利用预先基于点击日志构建的短语词典确定所述统计特征；

权重确定模块，用于利用所述重要度识别特征及预先构建的重要度模型，确定所述搜索词的权重。

可选地，所述装置还包括：

词典构建模块，用于基于点击日志构建所述短语词典；所述词典构建模块包括：

语句集合构建单元，用于利用点击日志构建相似语句集，所述相似语句集中的各语句为所述点击日志中点击到同一搜索结果项的搜索语句；

语句对抽取单元，用于从所述相似语句集中抽取相似语句对；

对齐模型训练单元，用于将所述相似语句对作为训练数据，训练得到词对齐模型；

词典生成单元，用于基于所述词对齐模型对所述训练数据进行短语抽取，生成短语词典。

可选地，所述语句抽取单元包括：

参数确定单元，用于依次确定所述相似语句集中两个不同语句的相关度及语序相近度；

相似语句对确定单元，用于判断所述相似语句集中两个不同语句的相关度及语序相近度是否满足设定条件，将满足所述设定条件的两个不同语句作为相似语句对。

可选地，所述参数确定单元根据所述相似语句集中两个不同语句共同点击的搜索结果数、以及各语句对所述共同点击的搜索结果的点击率，确定所述相似语句集中两个不同语句的相关度。

可选地，所述参数确定单元根据所述相似语句集中两个不同语句中包含的词的类型及在所述语句中的顺序确定所述两个不同语句的语序相近度。

可选地，所述词典生成单元包括：

短语片段抽取单元，用于利用所述词对齐模型对所述训练数据进行短语抽取，得到各短语片段对；

概率计算单元，用于确定每对短语片段对的翻译概率；

筛选单元，用于依据所述翻译概率对所述短语片段对进行筛选，得到筛选后的短语片段对，利用筛选后的短语片段对生成短语词典。

可选地，所述翻译概率包括：双向短语翻译概率和词汇化短语翻译概率。

可选地，所述筛选单元筛选出满足以下两个条件的短语片段对：(1)所述短语片段对中的一个短语片段是另一个短语片段的子集；(2)所述短语片段对中非子集短语片段翻译为子集片段的概率大于或等于所述非子集短语片段翻译为自身的概率。

可选地，所述统计特征包括：

所述搜索词与所述短语词典中相匹配的最长短语片段的长度、所述搜索词与所述短语词典中相匹配的短语片段的个数、所述搜索词与所述短语词典中相匹配的短语片段的平均长度、所述搜索词与所述短语词典中相匹配的最短短语片段的长度。

可选地，所述重要度识别特征还包括：点击特征、和/或语言特征；所述特征确定模块还包括：点击特征确定单元、和/或语言特征确定单元；

所述点击特征确定单元用于利用点击日志获取所述搜索词的点击特征；

所述语言特征确定单元用于确定所述搜索词的语言特征。

可选地，所述搜索词的语言特征包括以下任意一项或多项：所述搜索词在所述搜索语句中的词类、所述搜索词的词性、所述搜索词是否为实体词。

一种电子设备，包括：一个或多个处理器、存储器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现前面所述的方法。

一种可读存储介质，其上存储有指令，所述指令被执行以实现前面所述的方法。

本发明实施例提供的搜索词权重确定方法及装置，利用预先基于点击日志构建的短语词典确定搜索语句中各搜索词的统计特征，并将所述统计特征作为重要度识别特征之一，利用所述重要度识别特征及预先构建的重要度模型，确定各搜索词的权重。由于短语词典基于点击日志而构建，不仅可以挖掘出高质量的短语片段，而且大大丰富了其重要度识别特征，有效地提高了权重确定的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例中构建短语词典的流程图；

图2是本发明实施例搜索词权重确定方法的一种流程图；

图3是本发明实施例搜索词权重确定方法的另一种流程图；

图4是本发明实施例搜索词权重确定装置的一种结构框图；

图5是本发明实施例中词典构建模块的一种结构框图；

图6是本发明实施例搜索词权重确定装置的另一种结构框图；

图7是根据一示例性实施例示出的一种用于搜索词权重确定方法的装置的框图；

图8是本发明实施例中服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例提供一种搜索词权重确定方法及装置，利用预先基于点击日志构建的短语词典确定搜索语句中各搜索词的统计特征，并将所述统计特征作为重要度识别特征之一，利用所述重要度识别特征及预先构建的重要度模型，确定各搜索词的权重。

搜索引擎为用户搜索相关信息提供入口，同时会记录用户搜索点击的过程，从而产生大量基于人工标注的点击数据，点击日志是搜索引擎产生的最重要的日志。本发明实施例提供的搜索词权重确定方法及装置，预先利用点击日志中的信息，线下生成短语词典，线上加载所述短语词典，对于每个搜索语句中的搜索词，利用所述短语词典确定各搜索词的统计特征。

在本发明实施例中，基于统计机器翻译的思想构建短语词典，所述统计机器翻译是通过对大量的平行语料(即对源语言和目标语言的语料进行对齐处理后得到的作为训练数据的文本数据)进行统计分析，构建统计翻译模型，进而使用此模型进行翻译。

统计机器翻译通常是指从一种语言翻译到另外一种语言，如中文翻译到英文。在本发明实施例中，将基于同一种语言对一个事项的两种不同方式的表述看作是两种语言，比如，“苍狼电视剧下载”与“苍狼下载”，可以看作是由一种表述翻译成另外一种表述。

下面首先对短语词典的构建过程进行详细说明。

如图1所示，是本发明实施例中构建短语词典的流程图，包括以下步骤：

步骤101，利用点击日志构建相似语句集，所述相似语句集中的各语句为所述点击日志中点击到同一搜索结果项的搜索语句。

通常，点击日志记录的信息主要有用户输入的搜索语句、返回的搜索结果列表对应的URL列表，每个URL对应的排序位置、以及每个URL的点击情况等。从这些信息中，找出相似语句，所述相似语句是指点击到同一搜索结果项对应的URL的搜索语句，即将点击到同一URL的搜索语句作为相似语句放入所述相似语句集中。每个相似语句集含有至少两个相似的搜索语句。

步骤102，从所述相似语句集中抽取相似语句对。

具体地，可以根据所述相似语句集中任意两个语句的相关度及语序相近度来得到各相似语句对。也就是说，对于所述相似语句集中各语句，依次计算两个语句的相似度及语序相近度，根据计算结果确定这两个语句是否为相似语句对。

需要说明的是，对于所述相似语句集中的语句，两两之间都会计算其相似度及语序相近度，只要计算结果满足相似语句对的条件，即可将其作为相似语句对。比如，所述相似语句集中有10条语句，其中语句A与语句B为相似语句对，同时语句A与语句C也可以为相似语句对。

所述相关度可以根据两个不同语句共同点击的搜索结果数、以及各语句对所述共同点击的搜索结果的点击率等来计算，所述点击率是指所述语句点击所述共同点击的搜索结果的次数与所述语句点击所有搜索结果的次数的比率。

其中，所述语句点击所述共同点击的搜索结果的次数，指以该语句作为搜索语句，搜索得到所述共同点击的搜索结果且该搜索结果被点击的次数；所述语句点击所有搜索结果的次数，指以该语句作为搜索语句，搜索得到的所有搜索结果被点击的次数。

比如，可以按照以下公式确定两个语句q1和q2的相关度sim(q1,q2)：

其中，ccn_q1,q2是指语句q1和语句q2共同点击的URL的个数，click_q1表示语句q1对所述共同点击的URL的点击次数(即为：以语句q1作为搜索语句，搜索得到所述共同点击的URL且该URL被点击的次数)，click_q2表示语句q2对所述共同点击的URL的点击次数(即为：以语句q2作为搜索语句，搜索得到所述共同点击的URL且该URL被点击的次数)，ratio_q1表示语句q1对所述共同点击的URL的点击率，ratio_q2表示语句q2对所述共同点击的URL的点击率。

在本发明实施例中，语序相近是指两个不同语句中的各类型词的顺序基本保持一致，如“吃什么水果比较好降压”与“吃什么水果好降压”语序基本一致，但“降压效果好吃什么水果”与“吃什么水果好降压”语序不太一致。因此两个语句语序是否相近可以根据语句中各类型词在所述语句中的顺序决定的。

具体地，所述语序相近度可以根据所述相似语句集中两个不同语句中包含的词的类型及顺序确定。

比如，可以按照以下公式计算两个语句q1和q2的语序相近度appr(q1,q2)：

其中，n表示语句q1和语句q2分词后的最短长度，表示两个语句对齐后第i个词相同，表示两个语句对齐后第i个词不同。

例如，语句q1为“tfboys图片大全”，语句q2为“tfboys图片”。

其中，语句q1中的“tfboys”、“图片”分别与语句q2中“tfboys”、“图片”相等，得到语句q1和语句q2的最短长度为2，即n＝2，因此按照上述公式计算得到上述两个语句q1和q2的语序相近度为：appr(q1,q2)＝1.0。

在判断两个语句的相关度及语序相近度是否满足设定条件时，可以有多种判断方式，比如：

1)将相关度及语序相近似各自满足一定条件的两个语句作为相似语句对。

比如，相关度满足一定条件可以是两个语句共同点击的搜索结果数大于2，并且点击率均在0.1以上；

语序相近度满足一定条件可以是两个语句中分词的词序一致，可以缺失一两个词。

比如，“上海共青森林公园怎么样”与“共青森林公园怎么样”；“不同国家的手势图”与“不同国家手势”等，可以认为两个语句中分词的语序一致；而对于“吉利4s店地址最近在哪里”与“最近的吉利4s店在哪里”这两个语句，则认为语序不相近。

2)将相关度大于设定的相关度阈值并且语序相近度大于设定的相近度阈值的两个语句作为相似语句对。

3)基于相关度及语序相近度计算两个语句的相似度，比如加权计算，如果计算得到的相似度大于设定值，则将这两个语句作为相似语句对。

步骤103，将所述相似语句对作为训练数据，训练得到词对齐模型。

在本发明实施例中，词对齐模型可以通过统计的方法得到相似语句对中词的对齐连线来得到。

比如“不再犹豫韩剧剧情介绍”与“不再犹豫剧情介绍”是需要训练的语句对，可以得到对齐连线(0-0，1-1，2-2，3-2，4-3)，其中，“0-0”表示第一个语句的第0个词(不再)对齐到第二个语句的第0个词(不再)，其它依此类推。

步骤104，基于所述词对齐模型对所述训练数据进行短语抽取，生成短语词典。

具体地，首先利用所述词对齐模型对所述训练数据进行短语抽取，得到各短语片段对，然后从这些短语片段对中筛选出质量较高的短语片段对生成短语词典。

其中，短语抽取可以采用机器翻译中的短语抽取技术，基于词对齐模型的对齐连线，对所述训练数据进行短语抽取。

如对于上面的训练数据“不再犹豫韩剧剧情介绍”与“不再犹豫剧情介绍”，其于词对齐模型的对齐连线(0-0，1-1，2-2，3-2，4-3)，可以抽取得到的短语片段对如下：

不再	不再
		不再 犹豫	不再 犹豫
不再 犹豫 韩剧 剧情	不再 犹豫 剧情
		不再 犹豫 韩剧 剧情 介绍	不再 犹豫 剧情 介绍
犹豫	犹豫
		犹豫 韩剧 剧情	犹豫 剧情
犹豫 韩剧 剧情 介绍	犹豫 剧情 介绍
		韩剧 剧情	剧情
韩剧 剧情 介绍	剧情 介绍
		…	…

为了衡量抽取出来的短语片段对的质量，在本发明实施例中，可以通过计算每一个短语片段对的翻译概率，利用所述翻译概率对所述短语片段对进行筛选，得到筛选后的短语片段对，利用筛选后的短语片段对生成短语词典。

其中，所述翻译概率包括：双向短语翻译概率和词汇化短语翻译概率；所述“双向”是指源语言到目标语言，以及目标语言到源语言；“词汇化”是指将源语言端和目标语言端短语片段分解成词汇，进而检查词汇间的匹配程度。

所述双向短语翻译概率可以利用如下公式计算：

其中，分子表示源语言短语片段f与目标语言短语片段e组成的短语片段对(f,e)在大规模平行语料中出现的频次；分母表示以短语片段f作为源语言端短语的所有短语片段对在大规模双语平行语料中出现的频次，其中以短语片段f作为源语言端短语，其目标语言端短语可能为短语片段e_i中的任一个。

所述词汇化短语翻译概率可以利用如下公式计算：

其中a表示对齐关系，w(e_i|f_j)表示源语言词f_j翻译到目标语言词e_i的概率。

比如，短语对为“北京社会保障网上服务平台”，“北京社保网上服务平台”，对齐关系为：“0-0、1-1、2-1、3-2、4-3、5-4”，其中“0-0”表示源语言的第一个词与目标语言的第一个词对齐。将“北京社保网上服务平台”视为源语言短语e，将“北京社会保障网上服务平台”视为目标语言短语f，利用词汇化短语翻译概率公式计算得到：

在对各短语片段对进行筛选时，筛选出的高质量短语片段对需要满足以下条件：(1)所述短语片段对中的一个短语片段是另一个短语片段的子集；(2)所述短语片段对中非子集短语片段翻译为子集片段的概率大于或等于所述非子集短语片段翻译为自身的概率。

例如，满足上述条件的短语片段对的翻译概率如下表所示：

其中，表中第一行是“不动产登记查询系统”翻译到“不动产登记查询”的四种翻译概率值，第二行是“不动产登记查询系统”翻译到“不动产登记查询系统”的四种翻译概率值。由于翻译概率值很小，所以表格中的数值都是取对数后的结果。

由于短语片段“不动产登记查询系统”(后续称之为短语片段A)包含短语片段“不动产登记查询”(后续称之为短语片段B)中所有的词，因此短语片段B是短语片段A的子集。同时，如上表所示，短语片段A翻译为短语片段B的概率大于短语片段A翻译为自身的概率，即表中第一行的概率都大于第二行相应位置的概率，因此，确定短语片段对(A,B)为高质量短语片段对。为了描述方便，后面将所述非子集短语片段翻译为子集片段的概率称为互译概率，将所述非子集短语片段翻译为自身的概率称为自译概率。

需要说明的是，所述互译概率和所述自译概率的计算均包括上述双向短语翻译概率和词汇化短语翻译概率，也就是说，均得到四个值，也可以看作是上述两种概率(每种概率需要计算两个值)的集合。

上述短语词典中包含了基于点击日志生成的高质量的短语片段，利用该短语词典，在短语片段中如果某个词出现，可认为该词权重高，反之不高。

如图2所示，是本发明实施例搜索词权重确定方法的一种流程图，包括以下步骤：

步骤201，接收搜索语句。

所述搜索语句可以由用户通过智能设备提供的多种输入方法输入至浏览器的搜索栏中，比如，可以通过语音输入、文字输入、手写输入等方式输入所述搜索语句。

步骤202，对所述搜索语句进行分词，得到各搜索词。

所述分词处理可以采用现有技术，在此不再赘述。

步骤203，确定各搜索词的重要度识别特征，所述重要度识别特征包括统计特征，并且利用预先基于点击日志构建的短语词典确定所述统计特征。

所述统计特征包括但不限于以下任意一项或多项：所述搜索词与所述短语词典中相匹配的最长短语片段的长度、所述搜索词与所述短语词典中相匹配的短语片段的个数、所述搜索词与所述短语词典中相匹配的短语片段的平均长度、所述搜索词与所述短语词典中相匹配的最短短语片段的长度。

比如，线上加载的短语词典中包含以下短语片段：

不动产 登记 查询 系统	不动产 登记 查询
		不动产 登记 查询	不动产 登记
登记 查询 系统	登记 查询
		登记 查询	登记
查询 系统	查询

线上用户输入的搜索语句为：“北京不动产登记查询系统”，经过分词处理后得到以下各搜索词：“北京不动产登记查询系统”。

对于其中的搜索词“系统”，利用上述短语词典，可以找到三个短语片段对，分别为：

“不动产登记查询系统”-->"不动产登记查询"；

“登记查询系统”-->"登记查询"；

“查询系统”-->"查询"；

因此，可以得到与搜索词“系统”相匹配的最长短语片段的长度为4，相匹配的最短短语片段的长度为2，相匹配的短语片段的个数为3，相匹配的短语片段的平均长度为3。

步骤204，利用所述重要度识别特征及预先构建的重要度模型，确定所述搜索词的权重。

在本发明实施例中，所述重要度模型可以采用GBDT(Gradient BoostingDecision Tree，梯度迭代决策树)模型，所述GBDT模型是利用GB的策略训练出来的DT模型。

所述重要度模型的输入为搜索词的重要度识别特征，输出为所述搜索词的权重得分，可以是0～1之间的各值。

所述重要度模型的训练方式与常规GBDT的训练方式类似，在此不再赘述。

需要说明的是，在确定搜索词的权重时，需要将该搜索词的重要度识别特征输入所述重要度模型，根据所述重要度模型的输出即可得到该搜索词的权重。

本发明实施例提供的搜索词权重确定方法，利用预先基于点击日志构建的短语词典确定搜索语句中各搜索词的统计特征，并将所述统计特征作为重要度识别特征之一，利用所述重要度识别特征及预先构建的重要度模型，确定各搜索词的权重。由于短语词典基于点击日志而构建，不仅可以挖掘出高质量的短语片段，而且大大丰富了其重要度识别特征，有效地提高了权重确定的准确性。

如图3所示，是本发明实施例搜索词权重确定方法的另一种流程图，包括以下步骤：

步骤301，接收搜索语句。

步骤302，对所述搜索语句进行分词，得到各搜索词。

步骤303，利用预先基于点击日志构建的短语词典确定所述搜索词的统计特征。

步骤304，获取所述搜索词的点击特征和/或语言特征。

对于所述点击特征，可以利用点击日志通过聚类方式得到。通常对于相似搜索语句，共同点击到同一搜索结果的数量越多，并且所述搜索语句中的搜索词出现的次数越多，则可认为该搜索词越重要，反之则不重要。基于该原则，所述点击特征具体可以采用定量或定性方式来表示，对此本发明实施例不做限定。

所述搜索词的语言特征是指搜索词本身在查询上下文即搜索语句中的属性，比如可以包括但不限于以下任意一项或多项：所述搜索词的词类、所述搜索词的词性、所述搜索词是否为实体词。这些信息可以通过查询相应词典或人工标注的方式得到，对此不再详细描述。

步骤305，将所述搜索词的统计特征、以及点击特征和/或语言特征作为所述搜索词的重要度识别特征，利用预先构建的重要度模型，确定所述搜索词的权重。

该实施例提供的搜索词权重确定方法，搜索词的重要度识别特征不仅包括利用预先基于点击日志构建的短语词典得到的搜索词的统计特征，而且还包括搜索词的点击特征和/或语言特征，使其重要度识别特征所具有的信息更丰富，从而可进一步提高了对搜索词权重判断的准确性。

相应地，本发明实施例还提供一种搜索词权重确定装置，如图4所示，是本发明实施例搜索词权重确定装置的一种结构框图。

在该实施例中，所述装置包括以下各模块：

接收模块401，用于接收搜索语句；

分词处理模块402，用于对所述搜索语句进行分词处理，得到各搜索词；

特征确定模块403，用于确定各搜索词的重要度识别特征，所述重要度识别特征包括统计特征，所述统计特征由所述特征确定模块403中的统计特征获取单元431利用预先基于点击日志构建的短语词典来确定；

权重确定模块404，用于利用所述重要度识别特征及预先构建的重要度模型400，确定所述搜索词的权重。

所述搜索语句可以由用户通过智能设备提供的多种输入方法输入至浏览器的搜索栏中，比如，可以通过语音输入、文字输入、手写输入等方式输入所述搜索语句。所述分词处理模块402可以采用现有技术对所述搜索语句进行分词处理，通常可以采用与应用本发明方案的搜索引擎使用的相同分词处理技术。

在本发明实施例中，所述短语词典可以由相应的词典构建模块来建立。所述词典构建模块可以作为该装置的一部分，也可以独立于该装置，对此本发明实施例不做限定。在具体应用时，可以将预先构建的短语词典加载到所述装置中。

所述短语词典中收录的是基于点击日志筛选出的一些高质量的短语片段对，利用所述短语词典，将各搜索词分别与所述短语词典中的短语片段进行匹配，根据匹配结果可以得到所述搜索词的统计特征。当然，如果没有与所述搜索词相匹配的短语片段，则可以将该搜索词的统计特征记为0。

所述统计特征包括但不限于以下任意一项或多项：所述搜索词与所述短语词典中相匹配的最长短语片段的长度、所述搜索词与所述短语词典中相匹配的短语片段的个数、所述搜索词与所述短语词典中相匹配的短语片段的平均长度、所述搜索词与所述短语词典中相匹配的最短短语片段的长度。

所述重要度模型可以采用GBDT模型，所述权重确定模块304将各搜索词的重要度识别特征输入所述重要度模型，根据所述重要度模型得到各搜索词的权重得分。

如图5所示，是本发明实施例中词典构建模块的结构框图，包括以下各单元：

语句集合构建单元501，用于利用点击日志构建相似语句集，所述相似语句集中的各语句为所述点击日志中点击到同一搜索结果项的搜索语句；

语句对抽取单元502，用于从所述相似语句集中抽取相似语句对；

对齐模型训练单元503，用于将所述相似语句对作为训练数据，训练得到词对齐模型；

词典生成单元504，用于基于所述词对齐模型对所述训练数据进行短语抽取，生成短语词典。

需要说明的是，每个相似语句集中可以有两个或两个以上相似的搜索语句。所述语句对抽取单元502可以根据所述相似语句集中两个语句的相关度及语序相近度来得到各相似语句对。也就是说，对于所述相似语句集中各语句，依次计算两个语句的相似度及语序相近度，根据计算结果确定这两个语句是否为相似语句对。

相应地，所述语句抽取单元502的一种具体结构可以包括：参数确定单元和相似语句对确定单元。其中：所述参数确定单元用于依次确定所述相似语句集中两个不同语句的相关度及语序相近度；所述相似语句对确定单元用于判断所述相似语句集中两个不同语句的相关度及语序相近度是否满足设定条件，将满足所述设定条件的两个不同语句作为相似语句对。

所述参数确定单元具体可以根据所述两个不同语句共同点击的搜索结果数、以及各语句对所述共同点击的搜索结果的点击率，确定所述相似语句集中两个不同语句的相关度；可以根据所述相似语句集中两个不同语句中包含的词的类型及在所述语句中的顺序确定所述两个不同语句的语序相近度。所述相关度和所述语序相近度的具体计算及所述相似语句对的判断方式可参见前面本发明方法实施例中的描述，在此不再赘述。

利用抽取得到的相似语句对，所述对齐模型训练单元503可以通过统计的方法得到相似语句对中词的对齐连线，进而得到词对齐模型。

所述词典生成单元504利用所述词对齐模型对所述相似语句对进行筛选，筛选出高质量的相似语句对生成短语词典。相应地，所述词典生成单元504的一种具体结构可以包括以下各单元：

短语片段抽取单元，用于利用所述词对齐模型对所述训练数据进行短语抽取，得到各短语片段对；

概率计算单元，用于确定每对短语片段对的翻译概率；

筛选单元，用于依据所述翻译概率对所述短语片段对进行筛选，得到筛选后的短语片段对，利用筛选后的短语片段对生成短语词典。

所述筛选单元筛选出满足以下两个条件的短语片段对：

(1)所述短语片段对中的一个短语片段是另一个短语片段的子集；

(2)所述短语片段对中非子集短语片段翻译为子集片段的概率大于或等于所述非子集短语片段翻译为自身的概率。

需要说明的是，所述翻译概率包括双向短语翻译概率和词汇化短语翻译概率，其概念及具体计算方式前面本发明方法实施例中已有详细说明，在此不再赘述。

上述短语词典中包含了基于点击日志生成的高质量的短语片段，利用该短语词典，在短语片段中如果某个词出现，则认为该词权重高，反之不高。

本发明实施例提供的搜索词权重确定装置，利用预先基于点击日志构建的短语词典确定搜索语句中各搜索词的统计特征，并将所述统计特征作为重要度识别特征之一，利用所述重要度识别特征及预先构建的重要度模型，确定各搜索词的权重。由于短语词典基于点击日志而构建，不仅可以挖掘出高质量的短语片段，而且大大丰富了其重要度识别特征，有效地提高了权重确定的准确性。

在实际应用中，还可以进一步考虑搜索语句中各搜索词的点击特征和/或语言特征，将这些特征与前面所述的统计特征一起作为所述搜索词的重要度识别特征，对所述搜索词的权重进行预测。

如图6所示，是本发明实施例搜索词权重确定装置的另一种结构框图。

与图4所示实施例不同的是，在该实施例中，所述特征确定模块403不仅包括：统计特征获取单元431，还可进一步包括：点击特征确定单元432、和/或语言特征确定单元433，图6中示出的是特征确定模块403同时包括统计特征获取单元431、点击特征确定单元432、和语言特征确定单元433的情况。

其中，所述点击特征确定单元432用于利用点击日志获取所述搜索词的点击特征。

通常对于相似搜索语句，共同点击到同一搜索结果的数量越多，并且所述搜索语句中的搜索词出现的次数越多，则可认为该搜索词越重要，反之则不重要。基于该原则，所述点击特征具体可以采用定量或定性方式来表示，对此本发明实施例不做限定。

其中，所述语言特征确定单元433用于确定所述搜索词的语言特征。所述搜索词的语言特征是指搜索词本身在查询上下文即搜索语句中的属性，比如可以包括但不限于以下任意一项或多项：所述搜索词的词类、所述搜索词的词性、所述搜索词是否为实体词。所述语言特征确定单元433可以通过查询相应词典得到这些特征。

在图6所示实施例中，权重确定模块404需要将搜索词的统计特征、以及点击特征和/或语言特征作为所述搜索词的重要度识别特征，将这些特征输入预先构建的重要度模型，根据模型的输出得到所述搜索词的权重。

该实施例提供的搜索词权重确定装置，搜索词的重要度识别特征不仅包括利用预先基于点击日志构建的短语词典得到的搜索词的统计特征，而且还包括搜索词的点击特征和/或语言特征，使其重要度识别特征所具有的信息更丰富，从而可进一步提高了对搜索词权重判断的准确性。

图7是根据一示例性实施例示出的一种用于搜索词权重确定方法的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类别的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类别的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述按键误触纠错方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述本发明方法实施例中的全部或部分步骤。

图8是本发明实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种搜索词权重确定方法，其特征在于，所述方法包括：

接收搜索语句；

对所述搜索语句进行分词处理，得到各搜索词；

确定各搜索词的重要度识别特征，所述重要度识别特征包括统计特征，并且利用预先基于点击日志构建的短语词典确定所述统计特征；

利用所述重要度识别特征及预先构建的重要度模型，确定所述搜索词的权重。

2.根据权利要求1所述的方法，其特征在于，基于点击日志构建所述短语词典包括：

利用点击日志构建相似语句集，所述相似语句集中的各语句为所述点击日志中点击到同一搜索结果项的搜索语句；

从所述相似语句集中抽取相似语句对；

将所述相似语句对作为训练数据，训练得到词对齐模型；

基于所述词对齐模型对所述训练数据进行短语抽取，生成短语词典。

3.根据权利要求2所述的方法，其特征在于，所述从所述相似语句集中抽取相似语句对包括：

依次确定所述相似语句集中两个不同语句的相关度及语序相近度；

如果所述相关度及所述语序相近度满足设定条件，则将所述两个不同语句作为相似语句对。

4.根据权利要求3所述的方法，其特征在于，所述确定所述相似语句集中两个不同语句的相关度包括：

根据所述相似语句集中两个不同语句共同点击的搜索结果数、以及各语句对所述共同点击的搜索结果的点击率，确定所述两个不同语句的相关度。

5.根据权利要求3所述的方法，其特征在于，所述确定所述相似语句集中两个不同语句的语序相近度包括：

根据所述相似语句集中两个不同语句中包含的词的类型及在所述语句中的顺序确定所述两个不同语句的语序相近度。

6.根据权利要求2所述的方法，其特征在于，所述基于所述词对齐模型对所述训练数据进行短语抽取，生成短语词典包括：

利用所述词对齐模型对所述训练数据进行短语抽取，得到各短语片段对；

确定每对短语片段对的翻译概率；

依据所述翻译概率对所述短语片段对进行筛选，得到筛选后的短语片段对，利用筛选后的短语片段对生成短语词典。

7.根据权利要求6所述的方法，其特征在于，所述翻译概率包括：双向短语翻译概率和词汇化短语翻译概率。

8.一种搜索词权重确定装置，其特征在于，所述装置包括：

接收模块，用于接收搜索语句；

分词处理模块，用于对所述搜索语句进行分词处理，得到各搜索词；

特征确定模块，用于确定各搜索词的重要度识别特征，所述重要度识别特征包括统计特征；所述特征确定模块包括：统计特征获取单元，用于利用预先基于点击日志构建的短语词典确定所述统计特征；

权重确定模块，用于利用所述重要度识别特征及预先构建的重要度模型，确定所述搜索词的权重。

9.一种电子设备，其特征在于，包括：一个或多个处理器、存储器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现如权利要求1至7任一项所述的方法。

10.一种可读存储介质，其上存储有指令，所述指令被执行以实现如权利要求1至7任一项所述的方法。