CN103399879B - 基于用户搜索日志的兴趣实体获得方法及装置 - Google Patents
基于用户搜索日志的兴趣实体获得方法及装置 Download PDFInfo
- Publication number
- CN103399879B CN103399879B CN201310298364.8A CN201310298364A CN103399879B CN 103399879 B CN103399879 B CN 103399879B CN 201310298364 A CN201310298364 A CN 201310298364A CN 103399879 B CN103399879 B CN 103399879B
- Authority
- CN
- China
- Prior art keywords
- entity
- candidate
- term
- title
- described session
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于用户搜索日志的兴趣实体获得方法及装置。本发明实施例通过对待匹配的Session段中所包括的每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term，进而根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，使得能够利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，由于采用相关匹配方法即匹配出与每个所述用户搜索日志的第一term相关的候选实体，而不再采用完整匹配方法即直接匹配出完整的兴趣实体的名称，从而提高了兴趣实体的召回率。
Description
【技术领域】
本发明涉及数据挖掘技术，尤其涉及一种基于用户搜索日志的兴趣实体获得方法及装置。
【背景技术】
随着互联网信息技术的发展，用户对获取信息的准确性要求越来越高。为了满足用户的需求，大量内容推荐技术被应用于互联网领域。在进行内容推荐前，首先可以根据用户搜索的历史信息获取用户关注或者感兴趣的实体即兴趣实体，然后利用这些兴趣实体，向用户推荐相应或类似的信息和服务。现有技术中，通过在指定用户的用户搜索日志所划分的会话(Session)段中，直接匹配完整的兴趣实体的名称。其中，Session段是一个逻辑意义，它代表一个用户在某段时间内的一个行为意图，从用户的浏览行为来看，Session段具体可以规约成在语义上具有相同关联的连续搜索行为。
然而，在一些情况下，例如，Session段中所包含的词(term)的顺序与兴趣实体中所包含的term的顺序不一致，等情况，使得直接匹配完整的兴趣实体的名称无法获得对应的兴趣实体，从而导致了兴趣实体的召回率的降低。
【发明内容】
本发明的多个方面提供一种基于用户搜索日志的兴趣实体获得方法及装置，用以提高兴趣实体的召回率。
本发明的一方面，提供一种基于用户搜索日志的兴趣实体获得方法，包括：
获得待匹配的Session段，所述Session段中包括客户端的至少一个用户搜索日志；
对每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的多个第一term；
根据预先设置的实体库，匹配出与每个所述用户搜索日志的所述多个第一term相关的候选实体；
利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，包括：
根据预先设置的实体库，建立实体的倒排索引；
根据所述倒排索引，获得与每个所述用户搜索日志的第一term相关的实体；
根据所述实体的term重要性权值覆盖率，对所述实体进行排序；
选择所述term重要性权值覆盖率最高的指定数量的所述实体，以作为所述候选实体。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，包括下列中的至少一项：
利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，作为输入，运行GBDT模型，以获得每个所述候选实体的预测label；若所述候选实体的预测label大于或等于预先设置的label阈值，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，过滤掉所述候选实体；
根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数中的至少一项，获得所述候选实体的排序分数；若所述候选实体的排序分数小于预先设置的第一分数阈值，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，若所述候选实体的排序分数大于或等于所述预测label，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值；以及
根据所述候选实体的名称，确定存在名称包含关系的候选实体，保留包含其他候选实体的名称的候选实体，以作为兴趣实体。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述Session段的特征包括下列中的至少一个：
所述Session段所包含的所有第一term的长度之和。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述候选实体的特征包括下列中的至少一个：
所述候选实体的名称长度之和；
所述候选实体的名称中所包含的所有第二term的term重要性权值之和；以及
所述候选实体的名称中所包含的所有第二term的IDF权值之和；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述Session段与所述候选实体的关联特征包括下列中的至少一个：
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和与所述候选实体的名称长度之和的比值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大term重要性权值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和与所述候选实体的名称中所包含的所有第二term的IDF权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大IDF权值；以及
所述Session段所包含的所有第一term中完整匹配所述候选实体的名称的次数；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
本发明的另一方面，提供一种基于用户搜索日志的兴趣实体获得装置，包括：
获得单元，用于获得待匹配的Session段，所述Session段中包括客户端的至少一个用户搜索日志；
切词单元，用于对每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的多个第一term；
匹配单元，用于根据预先设置的实体库，匹配出与每个所述用户搜索日志的所述多个第一term相关的候选实体；
过滤单元，用于利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述匹配单元，具体用于
根据预先设置的实体库，建立实体的倒排索引；
根据所述倒排索引，获得与每个所述用户搜索日志的第一term相关的实体；
根据所述实体的term重要性权值覆盖率，对所述实体进行排序；
选择所述term重要性权值覆盖率最高的指定数量的所述实体，以作为所述候选实体。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述过滤单元，具体用于执行下列中的至少一项：
利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，作为输入，运行GBDT模型，以获得每个所述候选实体的预测label；若所述候选实体的预测label大于或等于预先设置的label阈值，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，过滤掉所述候选实体；
根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数中的至少一项，获得所述候选实体的排序分数；若所述候选实体的排序分数小于预先设置的第一分数阈值，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，若所述候选实体的排序分数大于或等于所述预测label，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值；以及
根据所述候选实体的名称，确定存在名称包含关系的候选实体，保留包含其他候选实体的名称的候选实体，以作为兴趣实体。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述Session段的特征包括下列中的至少一个：
所述Session段所包含的所有第一term的长度之和。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述候选实体的特征包括下列中的至少一个：
所述候选实体的名称长度之和；
所述候选实体的名称中所包含的所有第二term的term重要性权值之和；以及
所述候选实体的名称中所包含的所有第二term的IDF权值之和；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述Session段与所述候选实体的关联特征包括下列中的至少一个：
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和与所述候选实体的名称长度之和的比值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大term重要性权值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和与所述候选实体的名称中所包含的所有第二term的IDF权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大IDF权值；以及
所述Session段所包含的所有第一term中完整匹配所述候选实体的名称的次数；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
由上述技术方案可知，本发明实施例通过对待匹配的Session段中所包括的每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term，进而根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，使得能够利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，由于采用相关匹配方法即匹配出与每个所述用户搜索日志的第一term相关的候选实体，而不再采用完整匹配方法即直接匹配出完整的兴趣实体的名称，从而提高了兴趣实体的召回率。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于用户搜索日志的兴趣实体获得方法的流程示意图；
图2为本发明另一实施例提供的基于用户搜索日志的兴趣实体获得装置的结构示意图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持装置、无线上网本、个人电脑、便携电脑、MP3播放器、MP4播放器等。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明一实施例提供的基于用户搜索日志的兴趣实体获得方法的流程示意图，如图1所示。
101、获得待匹配的Session段，所述Session段中包括客户端的至少一个用户搜索日志。
102、对每个所述用户搜索日志的检索关键词(query)和用户点击的网页标题(title)进行切词处理，以获得每个所述用户搜索日志的第一term。
103、根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体。
104、利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体。
所谓兴趣实体，即一个抽象概念的实例化，由名称(以及别名)和描述该实体的属性标签(Tag)组成。例如，一个明星实体的名称可以是“周杰伦”，一个电影实体的名称可以是《泰坦尼克号》，一个手机实体的名称可以是“苹果iPhone 4s”；再例如，对于《泰坦尼克号》这个电影实体，可以有“电影”、“美国”、“爱情”、“灾难”、“1997”这样的Tag。
需要说明的是，101～104的执行主体可以是服务引擎，例如，搜索引擎或推荐引擎等，可以位于本地的客户端中，以进行离线服务，或者还可以位于网络侧的服务器中，以进行在线服务，本实施例对此不进行限定。
可以理解的是，所述客户端可以是安装在终端上的应用程序，或者还可以是浏览器的一个网页，只要能够实现兴趣实体的获得，以提供相应服务的客观存在形式都可以，本实施例对此不进行限定。
这样，通过对待匹配的Session段中所包括的每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term，进而根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，使得能够利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，由于采用相关匹配方法即匹配出与每个所述用户搜索日志的第一term相关的候选实体，而不再采用完整匹配方法即直接匹配出完整的兴趣实体的名称，能够有效扩大兴趣实体的召回，从而提高了兴趣实体的召回率。
另外，采用本发明提供的技术方案，由于利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，可以避免现有技术中由于采用完整匹配方法即直接匹配出完整的兴趣实体的名称而导致的匹配出错误的兴趣实体的问题，例如，根据“高清手机电影下载”，直接匹配出《手机》这部电影，能够有效提高兴趣实体获得的准确率，从而提高了兴趣实体获得的可靠性。
可选地，在本实施例的一个可能的实现方式中，在103中，具体可以根据预先设置的实体库，建立实体的倒排索引。进而，根据所述倒排索引，获得与每个所述用户搜索日志的第一term相关的实体。然后，根据所述实体的term重要性权值覆盖率，对所述实体进行排序，以及选择所述term重要性权值覆盖率最高的指定数量的所述实体，例如，最高的50个，以作为所述候选实体。其中，所述实体的term重要性权值覆盖率可以为所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值。
需要说明的是，根据预先设置的实体库，建立实体的倒排索引，这一操作，可以在102之后执行，或者还可以进一步前移到服务引擎初始化的流程中即在101之前执行，本实施例对此不进行特别的限定。具体地，具体可以对实体库中所包括的全部实体的名称进行切词处理(包括停用词处理)，以获得每个实体的第二term；然后，根据每个实体的第二term，建立实体的倒排索引，即第二term→实体的倒排索引。
可选地，在本实施例的一个可能的实现方式中，在104中，具体可以执行下列三项操作中的至少一项操作：
操作一、利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，作为输入，运行梯度提升决策树(Gradient BoostDecision Tree，GBDT)模型，以获得每个所述候选实体的预测标签(label)；若所述候选实体的预测label大于或等于预先设置的label阈值，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，过滤掉所述候选实体。
具体地，所述Session段的特征可以包括但不限于下列中的至少一个：
所述Session段所包含的所有第一term的长度之和。
具体地，所述候选实体的特征可以包括但不限于下列中的至少一个：
所述候选实体的名称长度之和；
所述候选实体的名称中所包含的所有第二term的term重要性权值之和，即term重要性权值和；以及
所述候选实体的名称中所包含的所有第二term的IDF权值之和，即IDF权值和；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
具体地，所述Session段与所述候选实体的关联特征可以包括但不限于下列中的至少一个：
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和，即长度覆盖；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和与所述候选实体的名称长度之和的比值，即长度覆盖率；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和，即term重要性权值覆盖；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值，即term重要性权值覆盖率；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大term重要性权值，即最大term重要性权值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的逆文档频率(Inverse Document Frequency，IDF)权值之和，即IDF权值覆盖；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和与所述候选实体的名称中所包含的所有第二term的IDF权值之和的比值，即IDF权值覆盖率；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大IDF权值，即最大IDF权值；以及
所述Session段所包含的所有第一term中完整匹配所述候选实体的名称的次数；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
操作二、根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数中的至少一项，获得所述候选实体的排序分数；若所述候选实体的排序分数小于预先设置的第一分数阈值，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，若所述候选实体的排序分数大于或等于所述预测label，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值。
操作三、根据所述候选实体的名称，确定存在名称包含关系的候选实体，保留包含其他候选实体的名称的候选实体，以作为兴趣实体。也就说是说，过滤掉候选实体的名称被其他候选实体的名称包含的候选实体。
可以理解的是，所述term重要性权值，用于衡量第二term在候选实体的名称中的重要程度，详细描述可以参见现有技术中的相关内容，此处不再赘述；所述IDF权值，用于衡量第二term在文档中的重要程度，即每个候选实体的名称当作一个文档，详细描述可以参见现有技术中的相关内容，此处不再赘述。
这样，通过采用本实施例提供的技术方案，能够有效扩大兴趣实体的召回，从而提高了兴趣实体的召回率。
为使得本发明实施例提供的方法更加清楚，下面将以表1所示的一个Session段和表2所示的实体库作为举例。
表1 Session段
| Query | Title |
| 美食祈祷和恋爱 | |
| 美食祈祷和恋爱 | 美食祈祷和恋爱的相关电影在线观看 |
表2 实体库
如表1所示，在这个Session段中，包含了一个电影实体《美食祈祷和恋爱》。
采用现有技术中提供的技术方案即直接匹配完整的兴趣实体的名称，则无法准确地获得电影实体《美食、祈祷和恋爱》，使得正确的兴趣实体无法被召回，却能够错误地获得电影实体《恋爱》、电影实体《祈祷》和电视剧实体《祈祷和恋爱》，使得错误的兴趣实体被召回。
采用本发明提供的技术方案，可以执行如下操作：
步骤一、初始化处理。
具体地，具体可以根据表2所示的实体库，建立每个实体的倒排索引。即对实体库中所包括的全部实体的名称进行切词处理(包括停用词处理)，以获得每个实体的第二term。
例如，电影实体《美食、祈祷和恋爱》，切词处理之后的结果为“美食”、“祈祷”、“恋爱”；
或者，再例如，电影实体《恋爱》，切词处理之后的结果为“恋爱”；
或者，再例如，电影实体《祈祷》，切词处理之后的结果为“祈祷”；
或者，再例如，电影实体《祈祷和恋爱》，切词处理之后的结果为“祈祷”、“和”、“恋爱”；
或者，再例如，电影实体《正在恋爱中》，切词处理之后的结果为“正在”、“恋爱”、“中”。
然后，根据每个实体的第二term，建立实体的倒排索引，即第二term→实体的倒排索引，如表3所示。
表3 倒排索引
步骤二、对Session段中所包括的用户搜索日志的query和title进行切词处理(包括停用词处理)，以获得每个所述用户搜索日志的第一term。
例如，切词处理之后的结果为“美食”、“祈祷”、“和”、“恋爱”、“美食”、“祈祷”、“和”、“恋爱”、“相关”、“电影”、“在线”、“观看”。
步骤三、根据实体库中所包括的每个实体的倒排索引，匹配出与每个所述用户搜索日志的第一term相关的实体；根据所述实体的term重要性权值覆盖率，对所述实体进行排序，如表4所示，以及选择所述term重要性权值覆盖率最高的指定数量的所述实体，例如，最高的n个，以作为所述候选实体。
具体地，假设第二term的term重要性权值覆盖率分别如下：
“祈祷”：0.35；
“恋爱”：0.21；
“美食”：0.38；
“和”：0.11；
“正在”：0.16；
“中”：0.13；
“、”：0.01。
表4 实体与term重要性权值覆盖率的对应关系
| 实体的名称 | term重要性权值覆盖率 |
| 祈祷和恋爱 | (0.35+0.11+0.21)/(0.35+0.11+0.21)＝1.0 |
| 祈祷 | 0.35/0.35＝1.0 |
| 恋爱 | 0.21/0.21＝1.0 |
| 美食、祈祷和恋爱 | (0.38+0.35+0.11+0.21)/(0.38+0.01+0.35+0.11+0.21)＝0.99 |
| 正在恋爱中 | 0.21/(0.16+0.21+0.13)＝0.42 |
例如，可以选择term重要性权值覆盖率最高的5个所述实体，以作为所述候选实体，即电影实体《祈祷和恋爱》、电影实体《祈祷》、电影实体《恋爱》：、电影实体《美食、祈祷和恋爱》、电视剧实体《正在恋爱中》。
步骤四、提取候选实体的特征，即Session段的特征、候选实体的特征、以及Session段与候选实体的关联特征，作为输入，运行GBDT模型，以获得每个所述候选实体的预测label，如表5所示。
表5 候选实体与预测label的对应关系
| 实体的名称 | 预测label | 是否过滤掉 |
| 祈祷和恋爱 | 0.86 | 否 |
| 祈祷 | 0.24 | 是 |
| 恋爱 | 0.21 | 是 |
| 美食、祈祷和恋爱 | 0.92 | 否 |
| 正在恋爱中 | 0.02 | 是 |
若所述候选实体的预测label大于或等于预先设置的label阈值，例如0.4，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，例如0.4，过滤掉所述候选实体。
步骤五、根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数，获得所述候选实体的排序分数，如表6所示。
表6 候选实体与排序分数的对应关系
| 实体的名称 | 排序分数 | 是否过滤掉 |
| 祈祷和恋爱 | 0.85 | 是 |
| 美食、祈祷和恋爱 | 1.03 | 否 |
若所述候选实体的排序分数小于预先设置的第一分数阈值，例如，0.5，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，例如，0.8，若所述候选实体的排序分数大于或等于所述预测label，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值。
这样，就可以获得一个候选实体即电影实体《美食、祈祷和恋爱》，以作为兴趣实体。如果此时获得候选实体为两个，即电影实体《美食、祈祷和恋爱》和电影实体《祈祷和恋爱》，那么由于《祈祷和恋爱》被完整包含在《美食、祈祷和恋爱》中，因此，电影实体《祈祷和恋爱》也同样是要被过滤掉的。
本实施例中，通过对待匹配的Session段中所包括的每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term，进而根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，使得能够利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，由于采用相关匹配方法即匹配出与每个所述用户搜索日志的第一term相关的候选实体，而不再采用完整匹配方法即直接匹配出完整的兴趣实体的名称，能够有效扩大兴趣实体的召回，从而提高了兴趣实体的召回率。
另外，采用本发明提供的技术方案，由于利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，可以避免现有技术中由于采用完整匹配方法即直接匹配出完整的兴趣实体的名称而导致的匹配出错误的兴趣实体的问题，例如，根据“高清手机电影下载”，直接匹配出《手机》这部电影，能够有效提高兴趣实体获得的准确率，从而提高了兴趣实体获得的可靠性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图2为本发明另一实施例提供的基于用户搜索日志的兴趣实体获得装置的结构示意图，如图2所示。本实施例的基于用户搜索日志的兴趣实体获得装置可以包括获得单元21、切词单元22、匹配单元23和过滤单元24。其中，获得单元21，用于获得待匹配的Session段，所述Session段中包括客户端的至少一个用户搜索日志；切词单元22，用于对每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term；匹配单元23，用于根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体；过滤单元24，用于利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体。
所谓兴趣实体，即一个抽象概念的实例化，由名称(以及别名)和描述该实体的属性标签(Tag)组成。例如，一个明星实体的名称可以是“周杰伦”，一个电影实体的名称可以是《泰坦尼克号》，一个手机实体的名称可以是“苹果iPhone 4s”；再例如，对于《泰坦尼克号》这个电影实体，可以有“电影”、“美国”、“爱情”、“灾难”、“1997”这样的Tag。
需要说明的是，本实施例提供的装置可以是服务引擎，例如，搜索引擎或推荐引擎等，可以位于本地的客户端中，以进行离线服务，或者还可以位于网络侧的服务器中，以进行在线服务，本实施例对此不进行限定。
可以理解的是，所述客户端可以是安装在终端上的应用程序，或者还可以是浏览器的一个网页，只要能够实现兴趣实体的获得，以提供相应服务的客观存在形式都可以，本实施例对此不进行限定。
这样，通过切词单元对获得单元所获得的待匹配的Session段中所包括的每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term，进而由匹配单元根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，使得过滤单元能够利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，由于采用相关匹配方法即匹配出与每个所述用户搜索日志的第一term相关的候选实体，而不再采用完整匹配方法即直接匹配出完整的兴趣实体的名称，能够有效扩大兴趣实体的召回，从而提高了兴趣实体的召回率。
另外，采用本发明提供的技术方案，由于利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，可以避免现有技术中由于采用完整匹配方法即直接匹配出完整的兴趣实体的名称而导致的匹配出错误的兴趣实体的问题，例如，根据“高清手机电影下载”，直接匹配出《手机》这部电影，能够有效提高兴趣实体获得的准确率，从而提高了兴趣实体获得的可靠性。
可选地，在本实施例的一个可能的实现方式中，所述匹配单元23，具体可以用于根据预先设置的实体库，建立实体的倒排索引；根据所述倒排索引，获得与每个所述用户搜索日志的第一term相关的实体；根据所述实体的term重要性权值覆盖率，对所述实体进行排序；以及选择所述term重要性权值覆盖率最高的指定数量的所述实体，例如，最高的50个，以作为所述候选实体。其中，所述实体的term重要性权值覆盖率可以为所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值。
需要说明的是，根据预先设置的实体库，建立实体的倒排索引，这一操作，可以在切词单元执行对应的操作之后执行，或者还可以进一步前移到服务引擎初始化的流程中即在获得单元执行对应的操作之前执行，本实施例对此不进行特别的限定。具体地，具体可以对实体库中所包括的全部实体的名称进行切词处理(包括停用词处理)，以获得每个实体的第二term；然后，根据每个实体的第二term，建立实体的倒排索引，即第二term→实体的倒排索引。
可选地，在本实施例的一个可能的实现方式中，所述过滤单元24，具体可以用于执行下列中的至少一项：
利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，作为输入，运行GBDT模型，以获得每个所述候选实体的预测label；若所述候选实体的预测label大于或等于预先设置的label阈值，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，过滤掉所述候选实体；
根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数中的至少一项，获得所述候选实体的排序分数；若所述候选实体的排序分数小于预先设置的第一分数阈值，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，若所述候选实体的排序分数大于或等于所述预测label，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值；以及
根据所述候选实体的名称，确定存在名称包含关系的候选实体，保留包含其他候选实体的名称的候选实体，以作为兴趣实体。
具体地，所述Session段的特征可以包括但不限于下列中的至少一个：
所述Session段所包含的所有第一term的长度之和。
具体地，所述候选实体的特征可以包括但不限于下列中的至少一个：
所述候选实体的名称长度之和；
所述候选实体的名称中所包含的所有第二term的term重要性权值之和，即term重要性权值和；以及
所述候选实体的名称中所包含的所有第二term的IDF权值之和，即IDF权值和；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
具体地，所述Session段与所述候选实体的关联特征可以包括但不限于下列中的至少一个：
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和，即长度覆盖；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和与所述候选实体的名称长度之和的比值，即长度覆盖率；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和，即term重要性权值覆盖；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值，即term重要性权值覆盖率；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大term重要性权值，即最大term重要性权值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的逆文档频率(Inverse Document Frequency，IDF)权值之和，即IDF权值覆盖；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和与所述候选实体的名称中所包含的所有第二term的IDF权值之和的比值，即IDF权值覆盖率；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大IDF权值，即最大IDF权值；以及
所述Session段所包含的所有第一term中完整匹配所述候选实体的名称的次数；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
可以理解的是，所述term重要性权值，用于衡量第二term在候选实体的名称中的重要程度，详细描述可以参见现有技术中的相关内容，此处不再赘述；所述IDF权值，用于衡量第二term在文档中的重要程度，即每个候选实体的名称当作一个文档，详细描述可以参见现有技术中的相关内容，此处不再赘述。
这样，通过采用本实施例提供的技术方案，能够有效扩大兴趣实体的召回，从而提高了兴趣实体的召回率。
为使得本发明实施例提供的方法更加清楚，下面将以表1所示的一个Session段和表2所示的实体库作为举例。
表1 Session段
| Query | Title |
| 美食祈祷和恋爱 | |
| 美食祈祷和恋爱 | 美食祈祷和恋爱的相关电影在线观看 |
表2 实体库
如表1所示，在这个Session段中，包含了一个电影实体《美食祈祷和恋爱》。
采用现有技术中提供的技术方案即直接匹配完整的兴趣实体的名称，则无法准确地获得电影实体《美食、祈祷和恋爱》，使得正确的兴趣实体无法被召回，却能够错误地获得电影实体《恋爱》、电影实体《祈祷》和电视剧实体《祈祷和恋爱》，使得错误的兴趣实体被召回。
采用本发明提供的技术方案，可以执行如下操作：
步骤一、匹配单元进行初始化处理。
具体地，匹配单元具体可以根据表2所示的实体库，建立每个实体的倒排索引。即对实体库中所包括的全部实体的名称进行切词处理(包括停用词处理)，以获得每个实体的第二term。
例如，电影实体《美食、祈祷和恋爱》，切词处理之后的结果为“美食”、“祈祷”、“恋爱”；
或者，再例如，电影实体《恋爱》，切词处理之后的结果为“恋爱”；
或者，再例如，电影实体《祈祷》，切词处理之后的结果为“祈祷”；
或者，再例如，电影实体《祈祷和恋爱》，切词处理之后的结果为“祈祷”、“和”、“恋爱”；
或者，再例如，电影实体《正在恋爱中》，切词处理之后的结果为“正在”、“恋爱”、“中”。
然后，匹配单元根据每个实体的第二term，建立实体的倒排索引，即第二term→实体的倒排索引，如表3所示。
表3 倒排索引
步骤二、切词单元对Session段中所包括的用户搜索日志的query和title进行切词处理(包括停用词处理)，以获得每个所述用户搜索日志的第一term。
例如，切词处理之后的结果为“美食”、“祈祷”、“和”、“恋爱”、“美食”、“祈祷”、“和”、“恋爱”、“相关”、“电影”、“在线”、“观看”。
步骤三、匹配单元根据实体库中所包括的每个实体的倒排索引，匹配出与每个所述用户搜索日志的第一term相关的实体；根据所述实体的term重要性权值覆盖率，对所述实体进行排序，如表4所示，以及选择所述term重要性权值覆盖率最高的指定数量的所述实体，例如，最高的n个，以作为所述候选实体。
具体地，假设第二term的term重要性权值覆盖率分别如下：
“祈祷”：0.35；
“恋爱”：0.21；
“美食”：0.38；
“和”：0.11；
“正在”：0.16；
“中”：0.13；
“、”：0.01。
表4 实体与term重要性权值覆盖率的对应关系
例如，匹配单元可以选择term重要性权值覆盖率最高的5个所述实体，以作为所述候选实体，即电影实体《祈祷和恋爱》、电影实体《祈祷》、电影实体《恋爱》：、电影实体《美食、祈祷和恋爱》、电视剧实体《正在恋爱中》。
步骤四、过滤单元提取候选实体的特征，即Session段的特征、候选实体的特征、以及Session段与候选实体的关联特征，作为输入，运行GBDT模型，
以获得每个所述候选实体的预测label，如表5所示。
表5 候选实体与预测label的对应关系
| 实体的名称 | 预测label | 是否过滤掉 |
| 祈祷和恋爱 | 0.86 | 否 |
| 祈祷 | 0.24 | 是 |
| 恋爱 | 0.21 | 是 |
| 美食、祈祷和恋爱 | 0.92 | 否 |
| 正在恋爱中 | 0.02 | 是 |
若所述候选实体的预测label大于或等于预先设置的label阈值，例如0.4，过滤单元则可以保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，例如0.4，过滤单元则可以过滤掉所述候选实体。
步骤五、过滤单元根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数，获得所述候选实体的排序分数，如表6所示。
表6 候选实体与排序分数的对应关系
| 实体的名称 | 排序分数 | 是否过滤掉 |
| 祈祷和恋爱 | 0.85 | 是 |
| 美食、祈祷和恋爱 | 1.03 | 否 |
若所述候选实体的排序分数小于预先设置的第一分数阈值，例如，0.5，过滤单元则可以过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，例如，0.8，若所述候选实体的排序分数大于或等于所述预测label，过滤单元则可以保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤单元则可以过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，过滤单元则可以保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值。
这样，过滤单元就可以获得一个候选实体即电影实体《美食、祈祷和恋爱》，以作为兴趣实体。如果此时过滤单元获得候选实体为两个，即电影实体《美食、祈祷和恋爱》和电影实体《祈祷和恋爱》，那么由于《祈祷和恋爱》被完整包含在《美食、祈祷和恋爱》中，因此，电影实体《祈祷和恋爱》也同样是要被过滤掉的。
本实施例中，通过切词单元对获得单元所获得的待匹配的Session段中所包括的每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term，进而由匹配单元根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，使得过滤单元能够利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，由于采用相关匹配方法即匹配出与每个所述用户搜索日志的第一term相关的候选实体，而不再采用完整匹配方法即直接匹配出完整的兴趣实体的名称，能够有效扩大兴趣实体的召回，从而提高了兴趣实体的召回率。
另外，采用本发明提供的技术方案，由于利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，可以避免现有技术中由于采用完整匹配方法即直接匹配出完整的兴趣实体的名称而导致的匹配出错误的兴趣实体的问题，例如，根据“高清手机电影下载”，直接匹配出《手机》这部电影，能够有效提高兴趣实体获得的准确率，从而提高了兴趣实体获得的可靠性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于用户搜索日志的兴趣实体获得方法，其特征在于，包括：
获得待匹配的Session段，所述Session段中包括客户端的至少一个用户搜索日志；
对每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term；
根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体；
利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体；其中，
所述利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体，包括下列中的至少一项：
利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，作为输入，运行GBDT模型，以获得每个所述候选实体的预测label；若所述候选实体的预测label大于或等于预先设置的label阈值，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，过滤掉所述候选实体；以及
根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数中的至少一项，获得所述候选实体的排序分数；若所述候选实体的排序分数小于预先设置的第一分数阈值，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，若所述候选实体的排序分数大于或等于所述预测label，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值。
2.根据权利要求1所述的方法，其特征在于，所述根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体，包括：
根据预先设置的实体库，建立实体的倒排索引；
根据所述倒排索引，获得与每个所述用户搜索日志的第一term相关的实体；
根据所述实体的term重要性权值覆盖率，对所述实体进行排序；
选择所述term重要性权值覆盖率最高的指定数量的所述实体，以作为所述候选实体。
3.根据权利要求1～2任一权利要求所述的方法，其特征在于，所述Session段的特征包括下列中的至少一个：
所述Session段所包含的所有第一term的长度之和。
4.根据权利要求1～2任一权利要求所述的方法，其特征在于，所述候选实体的特征包括下列中的至少一个：
所述候选实体的名称长度之和；
所述候选实体的名称中所包含的所有第二term的term重要性权值之和；以及
所述候选实体的名称中所包含的所有第二term的IDF权值之和；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
5.根据权利要求1～2任一权利要求所述的方法，其特征在于，所述Session段与所述候选实体的关联特征包括下列中的至少一个：
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和与所述候选实体的名称长度之和的比值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大term重要性权值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和与所述候选实体的名称中所包含的所有第二term的IDF权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大IDF权值；以及
所述Session段所包含的所有第一term中完整匹配所述候选实体的名称的次数；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
6.一种基于用户搜索日志的兴趣实体获得装置，其特征在于，包括：
获得单元，用于获得待匹配的Session段，所述Session段中包括客户端的至少一个用户搜索日志；
切词单元，用于对每个所述用户搜索日志的query和title进行切词处理，以获得每个所述用户搜索日志的第一term；
匹配单元，用于根据预先设置的实体库，匹配出与每个所述用户搜索日志的第一term相关的候选实体；
过滤单元，用于利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，对所述候选实体进行过滤，以获得兴趣实体；其中，
所述过滤单元，具体用于执行下列中的至少一项：
利用所述Session段的特征、所述候选实体的特征、以及所述Session段与所述候选实体的关联特征中的至少一项，作为输入，运行GBDT模型，以获得每个所述候选实体的预测label；若所述候选实体的预测label大于或等于预先设置的label阈值，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的预测label小于预先设置的label阈值，过滤掉所述候选实体；以及
根据所述候选实体的预测label、所述候选实体的名称长度、所述候选实体完整匹配的次数、所述候选实体的预设属性是否匹配到所述Session段、以及所述候选实体的所有属性匹配到所述Session段中的个数中的至少一项，获得所述候选实体的排序分数；若所述候选实体的排序分数小于预先设置的第一分数阈值，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第一分数阈值，且小于预先设置的第二分数阈值，若所述候选实体的排序分数大于或等于所述预测label，保留所述候选实体，以作为所述兴趣实体，若所述候选实体的排序分数小于所述预测label，过滤掉所述候选实体；若所述候选实体的排序分数大于或等于预先设置的第二阈值分数，保留所述候选实体，以作为所述兴趣实体；其中，所述第二分数阈值大于所述第一分数阈值。
7.根据权利要求6所述的装置，其特征在于，所述匹配单元，具体用于
根据预先设置的实体库，建立实体的倒排索引；
根据所述倒排索引，获得与每个所述用户搜索日志的第一term相关的实体；
根据所述实体的term重要性权值覆盖率，对所述实体进行排序；
选择所述term重要性权值覆盖率最高的指定数量的所述实体，以作为所述候选实体。
8.根据权利要求6～7任一权利要求所述的装置，其特征在于，所述Session段的特征包括下列中的至少一个：
所述Session段所包含的所有第一term的长度之和。
9.根据权利要求6～7任一权利要求所述的装置，其特征在于，所述候选实体的特征包括下列中的至少一个：
所述候选实体的名称长度之和；
所述候选实体的名称中所包含的所有第二term的term重要性权值之和；以及
所述候选实体的名称中所包含的所有第二term的IDF权值之和；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
10.根据权利要求6～7任一权利要求所述的装置，其特征在于，所述Session段与所述候选实体的关联特征包括下列中的至少一个：
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的长度之和与所述候选实体的名称长度之和的比值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的term重要性权值之和与所述候选实体的名称中所包含的所有第二term的term重要性权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大term重要性权值；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和；
所述候选实体的名称在所述Session段所包含的所有第一term中出现的所有第二term的IDF权值之和与所述候选实体的名称中所包含的所有第二term的IDF权值之和的比值；
所述Session段所包含的所有第一term中出现的所述候选实体的名称中所包含的第二term的最大IDF权值；以及
所述Session段所包含的所有第一term中完整匹配所述候选实体的名称的次数；其中，
所述第二term为对所述候选实体的名称进行切词处理获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310298364.8A CN103399879B (zh) | 2013-07-16 | 2013-07-16 | 基于用户搜索日志的兴趣实体获得方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310298364.8A CN103399879B (zh) | 2013-07-16 | 2013-07-16 | 基于用户搜索日志的兴趣实体获得方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103399879A CN103399879A (zh) | 2013-11-20 |
| CN103399879B true CN103399879B (zh) | 2017-06-06 |
Family
ID=49563509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310298364.8A Active CN103399879B (zh) | 2013-07-16 | 2013-07-16 | 基于用户搜索日志的兴趣实体获得方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103399879B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9754210B2 (en) * | 2014-04-01 | 2017-09-05 | Microsoft Technology Licensing, Llc | User interests facilitated by a knowledge base |
| CN105843850B (zh) * | 2016-03-15 | 2020-07-24 | 北京百度网讯科技有限公司 | 搜索优化方法和装置 |
| CN108334632B (zh) * | 2018-02-26 | 2021-03-23 | 深圳市腾讯计算机系统有限公司 | 实体推荐方法、装置、计算机设备和计算机可读存储介质 |
| CN111597311B (zh) * | 2020-01-14 | 2023-04-25 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609444A (zh) * | 2010-11-08 | 2012-07-25 | 微软公司 | 呈现与实体相关联的动作和提供商 |
| CN102708100A (zh) * | 2011-03-28 | 2012-10-03 | 北京百度网讯科技有限公司 | 挖掘相关实体词的关系关键词的方法和装置及其应用 |
| CN102737039A (zh) * | 2011-04-07 | 2012-10-17 | 北京百度网讯科技有限公司 | 索引建立方法、搜索方法和搜索结果排序方法及对应装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080222105A1 (en) * | 2007-03-09 | 2008-09-11 | Joseph Matheny | Entity recommendation system using restricted information tagged to selected entities |
-
2013
- 2013-07-16 CN CN201310298364.8A patent/CN103399879B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609444A (zh) * | 2010-11-08 | 2012-07-25 | 微软公司 | 呈现与实体相关联的动作和提供商 |
| CN102708100A (zh) * | 2011-03-28 | 2012-10-03 | 北京百度网讯科技有限公司 | 挖掘相关实体词的关系关键词的方法和装置及其应用 |
| CN102737039A (zh) * | 2011-04-07 | 2012-10-17 | 北京百度网讯科技有限公司 | 索引建立方法、搜索方法和搜索结果排序方法及对应装置 |
Non-Patent Citations (1)
| Title |
|---|
| 中文网页搜索日志中的特殊命名实体挖掘;张磊等;《哈尔滨工业大学学报》;20110531;第43卷(第5期);119-122 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103399879A (zh) | 2013-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105808685B (zh) | 推广信息的推送方法及装置 | |
| US9087108B2 (en) | Determination of category information using multiple stages | |
| CN104123332B (zh) | 搜索结果的显示方法及装置 | |
| CN103729359B (zh) | 一种推荐搜索词的方法及系统 | |
| US9864803B2 (en) | Method and system for multimodal clue based personalized app function recommendation | |
| CN106339383B (zh) | 一种搜索排序方法及系统 | |
| CN103577432B (zh) | 一种商品信息搜索方法和系统 | |
| CN104111941B (zh) | 信息展示的方法及设备 | |
| CN104077415B (zh) | 搜索方法及装置 | |
| US20140012840A1 (en) | Generating search results | |
| CN103365904B (zh) | 一种广告信息搜索方法和系统 | |
| CN103514181B (zh) | 一种搜索方法和装置 | |
| CN105095433A (zh) | 实体推荐方法及装置 | |
| CN109241403A (zh) | 项目推荐方法、装置、机器设备和计算机可读存储介质 | |
| CN104636371A (zh) | 信息推荐方法及设备 | |
| EP3117339A1 (en) | Systems and methods for keyword suggestion | |
| EP2786275A1 (en) | Method and apparatus for information searching | |
| CN111639255B (zh) | 搜索关键词的推荐方法、装置、存储介质及电子设备 | |
| CN103399879B (zh) | 基于用户搜索日志的兴趣实体获得方法及装置 | |
| CN103324631A (zh) | 提供数据搜索的方法及装置 | |
| CN107153697A (zh) | 一种商品交易网站中的商品搜索方法和装置 | |
| US10387934B1 (en) | Method medium and system for category prediction for a changed shopping mission | |
| CN112784046B (zh) | 文本聚簇的方法、装置、设备及存储介质 | |
| CN111881255B (zh) | 同义文本获取方法、装置、电子设备及存储介质 | |
| CN104156492A (zh) | 搜索内容的提示方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |