CN109977293A - 一种搜索结果相关性的计算方法及装置 - Google Patents

一种搜索结果相关性的计算方法及装置 Download PDF

Info

Publication number
CN109977293A
CN109977293A CN201910250751.1A CN201910250751A CN109977293A CN 109977293 A CN109977293 A CN 109977293A CN 201910250751 A CN201910250751 A CN 201910250751A CN 109977293 A CN109977293 A CN 109977293A
Authority
CN
China
Prior art keywords
search
result
click
clicked
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910250751.1A
Other languages
English (en)
Other versions
CN109977293B (zh
Inventor
师争明
孙键
陈炜鹏
许静芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN201910250751.1A priority Critical patent/CN109977293B/zh
Publication of CN109977293A publication Critical patent/CN109977293A/zh
Application granted granted Critical
Publication of CN109977293B publication Critical patent/CN109977293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开一种搜索结果相关性的计算方法,该方法获取第一搜索词对应的多个第一搜索点击结果,并且确定与第一搜索词相似的相似搜索词后,分别以多个第一搜索点击结果作为目标搜索点击结果,基于目标搜索点击结果的第一点击情况和第二点击情况,计算目标搜索点击结果的综合点击情况。相似搜索词与第一搜索词语义相似,以相似搜索词执行搜索操作后同样可能点击目标搜索点击结果,因此,与第一点击情况相比,综合点击情况更加充分,其可信程度得到进一步加强,准确度更高,进而使得计算得到的第一搜索词与多个第一搜索点击结果之间的相关性更加准确,从而保证向用户返回满意的搜索点击结果,以及返回合理的搜索点击结果排序,提高用户体验。

Description

一种搜索结果相关性的计算方法及装置
技术领域
本申请涉及互联网技术领域,特别是涉及一种搜索结果相关性的计算方法及装置。
背景技术
随着互联网的不断发展,网络中的信息也呈现喷井式增长,用户通常利用搜索引擎进行搜索的方式从大量信息中获取用户关心的信息。而搜索过程中,用户需要针对搜索意图提交搜索词,并根据搜索词与各个搜索结果项的相关性向用户返回与搜索词相关的搜索结果项。针对搜索词,搜索结果项相关性的大小直接决定着是否向用户返回该搜索结果项,以及该搜索结果项的排序。因此,确定搜索结果项相关性在针对搜索词进行搜索的过程中是非常重要的。
一般情况下,可以利用预测模型对搜索结果项的相关性进行预测,而目前利用预测模型预测搜索词与搜索结果项的相关性时,通过用户点击日志收集用户针对该搜索词执行搜索后点击过的搜索结果项,即搜索点击结果。确定搜索该搜索词时各个搜索点击结果的点击情况,将这些点击情况分别输入到预测模型,得到该搜索词与各个搜索点击结果之间的相关性。
但是,在搜索词过于生僻(例如用户输入的长尾查询)的情况下,用户点击日志中该搜索词对应的点击数据很少,使得确定出的搜索点击结果的点击情况不够准确,进而导致计算得到的相关性准确度不高,从而难以根据搜索点击结果与搜索词之间的相关性向用户返回满意的搜索结果以及合理结果排序,影响用户体验。
发明内容
为了解决上述技术问题,本申请提供了一种搜索结果相关性的计算方法及装置,使得计算得到的搜索词与搜索结果之间的相关性更加准确,从而保证向用户返回满意的搜索结果以及合理的结果排序,提高用户体验。
本申请实施例公开了如下技术方案:
第一方面,本申请实施例提供一种搜索结果相关性的计算方法,所述方法包括:
获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
可选的,所述方法还包括:
获取所述相似搜索词对应的第二搜索点击结果;所述第二搜索点击结果是以所述相似搜索词执行搜索操作下点击的搜索结果项,所述第二搜索点击结果与所述多个第一搜索点击结果不同;
针对每个所述第二搜索点击结果,获取所述第二搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第二搜索点击结果的综合点击情况;
基于计算得到的多个所述第二搜索点击结果的综合点击情况,确定所述第一搜索词与所述第二搜索点击结果之间的相关性。
可选的,所述获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况,包括:
将所述第一搜索词的每个相似搜索词对应的第二点击情况与所述相似搜索词的相似度相乘后求和,并将求和得到的结果与所述第一点击情况进行综合,获得所述第一搜索点击结果的综合点击情况;所述相似搜索词的相似度为所述第一搜索词与所述相似搜索词之间的相似度。
可选的,所述获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况,包括:
F(Q,D)=α×f(Q,D)+(1-α)f'(Q,D)
其中,
其中,F(Q,D)为第一搜索点击结果的综合点击情况,Q为第一搜索词,D为第一搜索点击结果,α为融合超参数;
f(Q,D)为第一搜索点击结果的第一点击情况,f'(Q,D)为第一搜索点击结果的第二点击情况;
m为第一搜索词的相似搜索词的个数,f(Bi,D)为第i个相似搜索词对应的第二点击情况,Bi为第i个相似搜索词,P(Bi|Q)为第i个相似搜索词与第一搜索词之间的相似度。
可选的,所述确定与所述第一搜索词属于同一搜索意图的相似搜索词,包括:
利用二分图确定点击日志数据中所述第一搜索词以及其余各个搜索词的特征向量,基于所述特征向量之间的相似度确定所述第一搜索词的相似搜索词;和/或,
将点击日志数据中与所述第一搜索词点击到同一搜索结果项的搜索词,确定为所述第一搜索词的相似搜索词;和/或,
对所述第一搜索词进行分词处理;针对分词得到的若干个关键词进行同义词替换,得到所述第一搜索词的相似搜索词。
可选的,所述基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性,包括:
将所述多个第一搜索点击结果的综合点击情况输入预测模型,输出得到所述第一搜索词与每个所述第一搜索点击结果之间的相关性。
可选的,所述方法还包括:
获取历史搜索词对应的多个搜索点击结果,确定与所述历史搜索词属于同一搜索意图的相似搜索词;
针对历史搜索词对应的每个搜索点击结果,获取每个搜索点击结果的第一点击情况和第二点击情况,并计算得到每个搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述历史搜索词执行搜索操作下所述搜索点击结果的点击情况;所述第二点击情况为以所述历史搜索词的相似搜索词执行搜索操作下所述搜索点击结果的点击情况;
基于大量历史搜索词对应的多个搜索点击结果的综合点击情况,训练所述预测模型。
第二方面,本申请实施例提供一种搜索结果相关性的计算装置,所述装置包括第一获取单元、第一计算单元和第一确定单元:
所述第一获取单元,用于获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
所述第一计算单元,用于针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
所述第一确定单元,用于基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
可选的,所述装置还包括第二获取单元、第二计算单元和第二确定单元:
所述第二获取单元,用于获取所述相似搜索词对应的第二搜索点击结果;所述第二搜索点击结果是以所述相似搜索词执行搜索操作下点击的搜索结果项,所述第二搜索点击结果与所述多个第一搜索点击结果不同;
所述第二计算单元,用于针对每个所述第二搜索点击结果,获取所述第二搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第二搜索点击结果的综合点击情况;
所述第二确定单元,用于基于计算得到的多个所述第二搜索点击结果的综合点击情况,确定所述第一搜索词与所述第二搜索点击结果之间的相关性。
可选的,所述第一计算单元,具体用于:
将所述第一搜索词的每个相似搜索词对应的第二点击情况与所述相似搜索词的相似度相乘后求和,并将求和得到的结果与所述第一点击情况进行综合,获得所述第一搜索点击结果的综合点击情况;所述相似搜索词的相似度为所述第一搜索词与所述相似搜索词之间的相似度。
可选的,所述第一计算单元,具体用于:
F(Q,D)=α×f(Q,D)+(1-α)f'(Q,D)
其中,
其中,F(Q,D)为第一搜索点击结果的综合点击情况,Q为第一搜索词,D为第一搜索点击结果,α为融合超参数;
f(Q,D)为第一搜索点击结果的第一点击情况,f'(Q,D)为第一搜索点击结果的第二点击情况;
m为第一搜索词的相似搜索词的个数,f(Bi,D)为第i个相似搜索词对应的第二点击情况,Bi为第i个相似搜索词,P(Bi|Q)为第i个相似搜索词与第一搜索词之间的相似度。
可选的,所述第一获取单元,具体用于:
利用二分图确定点击日志数据中所述第一搜索词以及其余各个搜索词的特征向量,基于所述特征向量之间的相似度确定所述第一搜索词的相似搜索词;和/或,
将点击日志数据中与所述第一搜索词点击到同一搜索结果项的搜索词,确定为所述第一搜索词的相似搜索词;和/或,
对所述第一搜索词进行分词处理;针对分词得到的若干个关键词进行同义词替换,得到所述第一搜索词的相似搜索词。
可选的,所述第一确定单元,具体用于:
将所述多个第一搜索点击结果的综合点击情况输入预测模型,输出得到所述第一搜索词与每个所述第一搜索点击结果之间的相关性。
可选的,所述装置还包括第三获取单元、第三计算单元和训练单元:
所述第三获取单元,用于获取历史搜索词对应的多个搜索点击结果,确定与所述历史搜索词属于同一搜索意图的相似搜索词;
所述第三计算单元,用于针对历史搜索词对应的每个搜索点击结果,获取每个搜索点击结果的第一点击情况和第二点击情况,并计算得到每个搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述历史搜索词执行搜索操作下所述搜索点击结果的点击情况;所述第二点击情况为以所述历史搜索词的相似搜索词执行搜索操作下所述搜索点击结果的点击情况;
所述训练单元,用于基于大量历史搜索词对应的多个搜索点击结果的综合点击情况,训练所述预测模型。
第三方面,本申请实施例提供一种设备,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
第四方面,本申请实施例提供一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如第一方面中一个或多个所述的方法。
由上述技术方案可以看出,获取第一搜索词对应的多个第一搜索点击结果,并且确定与第一搜索词相似的相似搜索词后,分别以多个第一搜索点击结果作为目标搜索点击结果,基于目标搜索点击结果的第一点击情况和第二点击情况,计算目标搜索点击结果的综合点击情况,得到多个第一搜索点击结果分别对应的综合点击情况;第一点击情况为以所述第一搜索词执行搜索操作下所述目标搜索点击结果的点击情况;所述第二点击情况为以所述相似搜索词执行搜索操作下所述目标搜索点击结果的点击情况。
由于不同用户的表达方式可能有所不同,相似搜索词与第一搜索词语义相似,以相似搜索词执行搜索操作后和以第一搜索词执行搜索操作后,都可能点击目标搜索点击结果,从而对第一搜索词与目标搜索点击结果的相关性产生影响。因此,在计算第一搜索词与多个搜索点击结果之间的相关性时,除了考虑第一点击情况,还需要将第二点击情况融合进来,获得多个第一搜索点击结果的综合触发情况。与第一点击情况相比,综合点击情况更加充分,其可信程度得到进一步加强,准确度更高,进而使得计算得到的第一搜索词与多个第一搜索点击结果之间的相关性更加准确,从而保证向用户返回满意的搜索点击结果,以及返回合理的搜索点击结果排序,提高用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种搜索结果相关性的计算方法的应用场景示例图;
图2为本申请实施例提供的一种搜索结果相关性的计算方法的流程示意图;
图3为本申请实施例提供的一种搜索结果相关性的计算方法的流程示意图;
图4为本申请实施例提供的一种模型训练方法的流程示意图;
图5为本申请实施例提供的一种搜索方法的应用场景示例图;
图6为本申请实施例提供的一种搜索方法的流程示意图;
图7为本申请实施例提供的一种搜索结果相关性的计算装置的结构图;
图8为本申请实施例提供的一种设备的结构图;
图9为本申请实施例提供的一种服务器的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,确定某个搜索词与各个搜索结果项之间的相关性方法中,首先,通过用户点击日志收集用户针对该搜索词执行搜索后点击过的搜索结果项。然后,确定各个搜索结果项的点击情况,该点击情况仅是以该搜索词执行搜索操作下对该搜索结果项的点击情况,搜索结果项的点击情况决定了搜索结果项与搜索词的相关性。接着,将这些点击情况分别输入到预测模型,得到该搜索词与各个搜索结果项之间的相关性。
其中,所述点击情况可以是以下各种中一种或多种组合:点击率、跳过率、用户在搜索结果项对应页面的停留时间、搜索结果项对应末次点击次数在点击总数中所占的比例、用户对搜索结果项的满意度,等。
其中,跳过率可以是指,搜索结果项在搜索结果页中被跳过的次数在点击总数中所占的比例;所述搜索结果项在搜索结果页中被跳过可以是指:搜索结果页中,位于该搜索结果项前一项和后一项的搜索结果均被点击且该搜索结果项未被用户点击;所述点击总数可以是指所述搜索结果项在搜索操作下被点击的次数。
其中,末次点击次数可以是指,搜索结果项在一次搜索操作下作为最终被点击的搜索结果项的次数。
本申请实施例中,以搜索词为“国庆节是哪天”、点击情况仅包括点击率为例进行说明。通过用户点击日志可以确定用户针对该搜索词执行搜索后点击过的搜索结果项为搜索结果项D1和搜索结果项D2。若根据用户点击日志确定以“国庆节是哪天”执行搜索操作得到搜索结果项D1时,对该搜索结果项D1的第一点击率为0.1,以及搜索结果项D2的第一点击率为0.2。将搜索结果项D1的第一点击率输入到预测模型,得到“国庆节是哪天”与搜索结果项D1之间的相关性,将搜索结果项D2的第一点击率输入到预测模型,得到“国庆节是哪天”与搜索结果项D2之间的相关性。其中,“国庆节是哪天”与搜索结果项D1之间的相关性小于“国庆节是哪天”与搜索结果项D2之间的相关性。
而实际情况中,由于不同用户对于同一搜索意图的表达方式可能不同,导致一个搜索词可能存在一些具有同一搜索意图的相似搜索词,该搜索词与相似搜索词的搜索意图相同。例如,对于搜索意图“国庆节的日期”,用户在搜索引擎中输入的搜索词可能包括“国庆节是哪天”、“国庆是几月几号”、“国庆节的具体日期”等等,也就是说,搜索词“国庆是几月几号”和搜索词“国庆节的具体日期”都可以是“国庆节是哪天”的相似搜索词。
以“国庆是几月几号”、“国庆节的具体日期”等相似搜索词执行搜索操作后用户也可能点击过搜索结果项D1和/或搜索结果项D2,那么,以相似搜索词执行搜索操作下对搜索结果项D1或搜索结果项D2的点击情况,可能会对各搜索结果项与搜索词“国庆节是哪天”的相关性造成影响。
继续以上述例子进行介绍,若以相似搜索词“国庆是几月几号”执行搜索操作后用户点击了搜索结果项D1和搜索结果项D2,根据用户点击日志确定出搜索结果项D1的第二点击率为0.6,以及确定出搜索结果项D2的第二点击率为0.1。如果仅考虑搜索结果项D1和搜索结果项D2的第一点击率,“国庆节是哪天”与搜索结果项D1之间的相关性小于“国庆节是哪天”与搜索结果项D2之间的相关性。如果同时考虑到搜索结果项D1和搜索结果项D2的第二点击率对其实际点击率的影响,由于搜索结果项D1的第二点击率远大于搜索结果项D2的第二点击率,因此,最终得到的搜索结果项D1实际点击率可能大于搜索结果项D2实际点击率,进而使得“国庆节是哪天”与搜索结果项D1之间的相关性大于“国庆节是哪天”与搜索结果项D2之间的相关性。
可见,传统方法由于仅考虑以该搜索词自身执行搜索操作时的搜索结果项的点击情况,忽略了与该搜索词属于同一搜索意图的相似搜索词执行搜索操作时搜索结果项对应的点击情况,使得搜索词与搜索结果项之间相关性的计算不够准确。
为此,本申请实施例提供一种相关性的计算方法,获取与某一搜索词(例如第一搜索词)属于同一搜索意图的相似搜索词对应的点击情况,对该搜索词本身对应的点击情况进行补充,得到综合触发情况,使得综合触发情况更加充分,其可信程度得到进一步加强,准确度更高,进而使得计算得到的第一搜索词与多个搜索点击结果之间的相关性更加准确。
为了便于理解本申请的技术方案,本申请实施例提供的方法可以应用到数据处理设备中,该数据处理设备可以是服务器,接下来以数据处理设备是服务器为例进行介绍。
参见图1,服务器101可以获取用户点击日志数据,用户点击日志数据中记录了历史输入过的搜索词、用户针对该搜索词执行搜索操作后对各搜索结果项的点击次数、用户在某个搜索结果项所在页面的停留时间、搜索结果项对应的跳过次数、搜索结果项对应末次点击次数在点击总数中所占的比例、用户对搜索结果项的满意度等。其中,用户点击日志数据可以存储在分布式文件系统(Hadoop Distributed File System,简称HDFS)中。
这样,针对用户点击日志数据中的每个搜索词,例如第一搜索词,服务器101可以获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词。
第一搜索词为搜索引擎中用户输入的内容,第一搜索词可以是词语、短语、句子等。第一搜索点击结果为用户针对第一搜索词执行搜索操作后点击过的搜索结果项。相似搜索词是与第一搜索词语义上相似的搜索词,相似搜索词与第一搜索词是属于同一搜索意图的不同表达方式。
例如,对于搜索意图“国庆节的日期”,由于表达方式的不同,在执行搜索时输入的搜索词可以是“国庆节是哪天”、“国庆是几月几号”、“国庆节的具体日期”等等,这些搜索词语义相似,若第一搜索词为“国庆节是哪天”,那么,“国庆是几月几号”、“国庆节的具体日期”可以作为第一搜索词“国庆节是哪天”的相似搜索词。
服务器101分别以多个第一搜索点击结果作为目标搜索点击结果,基于目标搜索点击结果的第一点击情况和第二点击情况,计算目标搜索点击结果的综合点击情况,得到多个第一搜索点击结果分别对应的综合点击情况。其中,第一点击情况为以第一搜索词执行搜索操作时对该目标搜索点击结果的点击情况;第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作时对该目标搜索点击结果的点击情况,所述相似搜索词与所述第一搜索词属于同一搜索意图。
可以理解的是,由于相似搜索词可能包括多个,因此,得到的第二点击情况可能包括多个。
由于综合点击情况考虑到每个相似搜索词对应的第二点击情况,与第一点击情况相比,综合点击情况更加充分,准确度更高。故,基于多个搜索点击结果的综合点击情况,可以更加准确的确定出第一搜索词与多个搜索点击结果之间的相关性。
下面结合附图对本申请实施例提供的搜索结果相关性的计算方法进行介绍,参见图2,所述方法包括:
S201、获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项。
服务器可以获取各个终端设备上产生的用户点击日志数据,用户点击日志数据中的每个搜索词都可以作为第一搜索词。
假设,第一搜索词为“赵雷踢馆我是歌手是哪一期?”,用户针对第一搜索词执行搜索操作后点击过的搜索结果项包括搜索结果项A和搜索结果项B,那么,搜索结果项A和搜索结果项B可以作为第一搜索词对应的多个第一搜索点击结果。
相似搜索词是与第一搜索词属于同一搜索意图的搜索词,例如可以是语义上相同或相似,根据用户点击日志数据可以确定出第一搜索词对应的相似搜索词。
本申请实施例中,第一种确定相似搜索词的方式可以是:利用二分图确定相似搜索词。
利用二分图确定相似搜索词的方式为:利用二分图确定用户点击日志中所述第一搜索词以及其余各个搜索词的特征向量;根据所述特征向量,分别计算所述第一搜索词与其余各个搜索词之间的相似度;根据所述相似度确定所述相似搜索词。
在本实施例中,根据第一搜索词与各个搜索词之间相似度的大小确定相似搜索词时,若搜索词与第一搜索词之间的相似度达到第一阈值,则可以认为该搜索词为相似搜索词。
例如,第一阈值为0.9,第一搜索词为“赵雷踢馆我是歌手是哪一期?”,若确定出搜索词“赵雷参加歌手是哪一期”与第一搜索词之间的相似度为0.99,搜索词“赵雷踢馆是哪一期”与第一搜索词之间的相似度为0.98,搜索词“2017歌手赵雷踢馆是哪一期”与第一搜索词之间的相似度为0.96,搜索词“成都赵雷在哪一期”与第一搜索词之间的相似度为0.91,搜索词“我是歌手”与第一搜索词之间的相似度为0.5。由于0.99、0.98、0.96、0.91大于0.9,0.5小于0.9,因此,确定出的相似搜索词可以为“赵雷参加歌手是哪一期”、“赵雷踢馆是哪一期”、“2017歌手赵雷踢馆是哪一期”和“成都赵雷在哪一期”。
本申请实施例中,第二种确定相似搜索词的方式可以是:将点击日志数据中点击到同一搜索结果项的搜索词作为相似搜索词。
例如,针对第一搜索词对应的第一搜索点击结果包括搜索结果项A,针对搜索词A或搜索词B执行搜索操作时,用户点击过搜索结果项A,则搜索词A和搜索词B可以作为第一搜索词的相似搜索词。
本申请实施例中,第三种确定相似搜索词的方式可以是:对第一搜索词进行分词处理;针对分词得到的若干个关键词进行同义词替换,得到所述第一搜索词的相似搜索词。
具体的,对第一搜索词进行分词处理,得到若干个关键词;针对分词后得到的全部或部分关键词,获取各关键词对应的同义词,进行同义词替换,得到新的搜索词作为相似搜索词。例如,第一搜索词为“国庆是哪天”,对其进行分词处理后得到关键词为“国庆”、“是”、“哪天”;可以获取关键词“国庆”的同义词为“国庆节”、“哪天”的同义词是“几月几日”“哪一天”等,执行同义词替换后,可以得到新的搜索词“国庆节是几月几日”、或“国庆假是哪一天”等,作为相似搜索词。
S202、针对每个第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况。
其中,所述第一点击情况为以所述第一搜索词执行搜索操作下该第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下该第一搜索点击结果的点击情况。
在本实施例中,第一点击情况、第二点击情况以及后续提到的综合点击情况可以从一个维度或多个维度体现,可以计算某个维度所对应的第一点击情况、第二点击情况以及综合点击情况,也可以计算多个维度分别对应的第一点击情况、第二点击情况以及综合点击情况。
其中,第一点击情况、第二点击情况以及综合点击情况可以是点击率、跳过率、用户在第一搜索点击结果对应页面的停留时间、第一搜索点击结果对应末次点击次数在点击总数中所占的比例、用户对第一搜索点击结果的满意度中一种或多种组合。
其中,跳过率可以是指,搜索结果项在搜索结果页中被跳过的次数在点击总数中所占的比例;所述搜索结果项在搜索结果页中被跳过可以是指:搜索结果页中,位于该搜索结果项前一项和后一项的搜索结果均被点击且该搜索结果项未被用户点击;所述点击总数可以是指所述搜索结果项在搜索操作下被点击的次数。
其中,末次点击次数可以是指,搜索结果项在一次搜索操作下作为最终被点击的搜索结果项的次数。
以第一点击情况、第二点击情况以及综合点击情况是点击率,目标搜索点击结果为搜索结果项A为例,确定出第一点击情况为0.565,确定出相似搜索词的第二点击情况如表1所示:
表1
搜索结果项A
赵雷参加歌手是哪一期 0.695
赵雷踢馆是哪一期 0
2017歌手赵雷踢馆是哪一期 0.66
成都赵雷在哪一期 0.75
本申请实施例中,针对每个第一搜索点击结果,执行步骤S202,获取每个第一搜索点击结果的第一点击情况和第二点击情况;并基于每个第一搜索点击结果的第一点击情况和第二点击情况,计算得到每个第一搜索点击结果对应的综合点击情况。
可以理解的是,不同的相似搜索词与第一搜索词之间的相似度可能有所不同,相似度越高,可以认为第二点击情况的可信程度越高,在计算综合点击情况时,其所占比例可以越大。因此,在计算综合点击情况时,可以将相似度作为第二点击情况的权重系数,即S202中所述计算得到每个第一搜索点击结果的综合点击情况的实现方式可以是:将每个相似搜索词对应的第二点击情况与该相似搜索词的相似度相乘后求和,并将求和得到的结果与所述第一点击情况进行综合,获得所述第一搜索点击结果的综合点击情况;所述相似度为所述第一搜索词与相似搜索词之间的相似度。
具体的,可以利用如下公式计算得到每个第一搜索点击结果的综合点击情况:
F(Q,D)=α×f(Q,D)+(1-α)f'(Q,D) (1)
其中,F(Q,D)为第一搜索点击结果的综合点击情况,Q为第一搜索词,D为第一搜索点击结果,α为融合超参数;
f(Q,D)为第一搜索点击结果的第一点击情况,f'(Q,D)为第一搜索点击结果的第二点击情况;
m为第一搜索词的相似搜索词的个数,f(Bi,D)为第i个相似搜索词对应的第二点击情况,Bi为第i个相似搜索词,P(Bi|Q)为第i个相似搜索词与第一搜索词之间的相似度。
其中,所述第一搜索点击结果的第一点击情况与第二点击情况以一定比例进行综合,α可以表示第一点击情况在综合点击情况中所占比例。α可以是根据第一点击情况的可信程度进行确定的,第一点击情况的可信程度越高,α的值越大,从而可以保证第一点击情况在综合点击情况中的占比,避免相似搜索词对应点击情况比例过高给相关性计算的结果带来干扰。在本实施例中,根据实际经验,α取0.7时得到的综合点击情况可以较为准确的反映目标搜索点击结果的点击情况。
对前述内容举例说明如下:以前述得到的第一搜索点击结果为搜索结果项A为例,对利用公式(1)计算综合点击情况进行介绍。第一点击情况为0.565,每个相似搜索词对应的第二点击情况参见表1所示,各个相似搜索词与第一搜索词之间的相似度分别为0.99、0.98、0.96、0.91,α取0.7,综合点击情况如下所示:
采用同样的方法,计算每个第一搜索点击结果的综合点击情况,此处不再赘述。
S203、基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
在本实施例中,可以采用预测模型预测第一搜索词与每个第一搜索点击结果之间的相关性,即将每个第一搜索点击结果的综合点击情况输入到预测模型,从而输出第一搜索词与每个第一搜索点击结果之间的相关性。其中,预测模型的训练方法将在后续进行介绍。
由上述技术方案可以看出,获取第一搜索词对应的多个第一搜索点击结果,并且确定与第一搜索词属于同一搜索意图的相似搜索词后,分别针对每个第一搜索点击结果的第一点击情况和第二点击情况,计算得到每个搜索点击结果的综合点击情况;第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况。
由于不同用户的表达方式可能有所不同,相似搜索词与第一搜索词语义相同或相似,同属于同一搜索意图,以相似搜索词执行搜索操作后和以第一搜索词执行搜索操作后,用户都可能基于同一搜索意图而点击相同的第一搜索点击结果。因此,在计算第一搜索词与第一搜索点击结果之间的相关性时,除了考虑第一点击情况,还可以将基于相似搜索词的第二点击情况融合进来,获得第一搜索点击结果的综合触发情况。
与单纯考虑第一点击情况相比,基于综合点击情况得到的相关性计算结果更加充分全面,其可信程度得到进一步加强,准确度更高,从而保证向用户返回满意的搜索结果,以及更加合理的搜索结果排序,提高用户体验。
尤其是当第一搜索词为参考周期内搜索结果点击次数较少的冷门搜索词时,通过相似搜索词的第二点击情况对第一点击情况的补充,得到综合点击情况,并基于此计算得到的第一搜索词与每个搜索点击结果之间的相关性更加准确。
可以理解的是,在通过S201得到的相似搜索词较多时,可以保留相似度最高的多个搜索词作为相似搜索词,这样,在保证相似搜索词数目的情况下,选择了更加可信的第二点击情况计算综合点击情况,进一步提高了综合点击情况的准确度。
可以理解的是,不同相似搜索词在参考周期内对应搜索结果被点击的次数可能有所不同,当第一搜索词的某个相似搜索词在参考周期内对应搜索结果被点击的次数达到预设阈值时,可以认为该相似搜索词为热门搜索词。以热门搜索词执行搜索操作得到搜索点击结果时,对该搜索点击结果的点击情况更具有代表性,可信程度更高。因此,在本实施例中,为了提高第二点击情况的可信程度,S201得到的相似搜索词可以是参考周期内搜索点击结果被点击次数达到预设阈值的相似搜索词。
需要说明的是,相似搜索词对应的搜索点击结果中可能包括第一搜索词对应的第一搜索点击结果,也有可能包括第二搜索点击结果,所述第二搜索点击结果是以相似搜索词执行搜索操作下点击的搜索结果项,第二搜索点击结果是与第一搜索点击结果不同的搜索点击结果,尤其是当第一搜索词为冷门搜索词时,对应的第二搜索点击结果可能比较多。由于相似搜索词与第一搜索词属于同一搜索意图,那么,用户基于同一搜索意图触发的第二搜索点击结果与第一搜索词之间也会具有一定的相关性,第二搜索点击结果可能也是用户搜索第一搜索词时希望得到的搜索点击结果。为此,还可以对第二搜索点击结果与第一搜索词之间的相关性进行计算,以便后续用户针对第一搜索词执行搜索操作后,可以向用户返回第二搜索点击结果。
接下来,将对第一搜索词与第二搜索点击结果之间相关性的计算方法进行介绍。参见图3所示,图3为本申请实施例提供的搜索结果相关性计算方法的流程图,所述方法在图2所示方法之外,还包括:
S301、获取所述相似搜索词对应的第二搜索点击结果,所述第二搜索点击结果是以所述相似搜索词执行搜索操作下点击的搜索结果项,所述第二搜索点击结果与所述第一搜索点击结果不同。
在一种可能的实现方式中,针对相似搜索词执行搜索操作后点击的搜索结果项可能包括很多,有一些搜索结果项被点击的次数可能很少。相应的,可以认为被点击次数很少的搜索结果项与第一搜索词的相关程度较低。因此,为了减少计算量,在本实施例中,第二搜索点击结果可以为以相似搜索词执行搜索下点击次数超过阈值的搜索点击结果。
S302、针对每个所述第二搜索点击结果,获取所述第二搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第二搜索点击结果的综合点击情况。
其中,所述第一点击情况为以所述第一搜索词执行搜索操作下该第二搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下该第二搜索点击结果的点击情况。
需要说明的是,由于所述第二搜索点击结果与所述第一搜索点击结果不同,所以以所述第一搜索词执行搜索操作下该第二搜索点击结果的点击情况为0,即为该第二搜索点击结果的第一点击情况为0。
S303、基于计算得到的多个所述第二搜索点击结果的综合点击情况,确定所述第一搜索词与每个所述第二搜索点击结果之间的相关性。
S302-S303与S202-S203分别对应,其具体实现方式,此处不再赘述。
需要说明的是,图3对应实施例可以在图2对应实施例之后执行,也可以在图2对应实施例之前执行,还可以与图2对应实施例同时执行,本申请实施例对此不做限定。
在存在第二搜索点击结果的情况下,可以将第二搜索点击结果补充到第一搜索词对应的搜索结果中,使得第一搜索点击结果和第二搜索点击结果可以共同作为第一搜索词对应的搜索结果,从而对冷门的第一搜索词对应的搜索结果进行合理扩充,丰富搜索结果的展现。例如,第一搜索词对应的多个第一搜索点击结果包括搜索结果项A和搜索结果项B,相似搜索词为“赵雷参加歌手是哪一期”、“赵雷踢馆是哪一期”、“2017歌手赵雷踢馆是哪一期”和“成都赵雷在哪一期”。其中,“赵雷参加歌手是哪一期”对应的搜索点击结果包括搜索结果项A和搜索结果项C,“赵雷踢馆是哪一期”的搜索点击结果包括搜索结果项D,“2017歌手赵雷踢馆是哪一期”对应的搜索点击结果包括搜索结果项A,“成都赵雷在哪一期”对应的搜索点击结果包括搜索结果项A和搜索结果项E。可见,搜索结果项C、搜索结果项D和搜索结果项E是相似搜索词引入的新搜索结果,即第二搜索点击结果。
针对每个第二搜索点击结果,假设搜索结果项C,确定第一点击情况和第二点击情况。若第一点击情况和第二点击情况为点击率,由于搜索结果项C不存在于第一搜索词对应的第一搜索点击结果中,即用户搜索第一搜索词时并没有得到搜索结果项C,用户针对第一搜索词执行搜索操作后更不会点击搜索结果项C,因此,以第一搜索词执行搜索操作下搜索结果项C的点击率为0,第一点击情况为0。第二点击情况可以参见表2所示:
表2
相似搜索词 搜索结果项C
赵雷参加歌手是哪一期 0.96
赵雷踢馆是哪一期 0
2017歌手赵雷踢馆是哪一期 0.56
成都赵雷在哪一期 0
进而采用上述公式(1)确定综合点击情况,其中,各个相似搜索词与第一搜索词之间的相似度分别为0.99、0.98、0.96、0.91,α取0.7,综合点击情况如下所示:
采用同样的方法,计算每个第二搜索点击结果的综合点击情况,此处不再赘述。进而确定每个第二搜索点击结果与第一搜索词之间的相关性。
在第一点击情况、第二点击情况为点击率时,对于第二搜索点击结果,由于第二搜索点击结果未出现在第一搜索词对应的搜索结果中,则第二搜索点击结果的第一点击情况为0。如果采用现有技术中仅依靠第一点击情况确定搜索点击结果与第一搜索词之间的相关性,则会得到第二搜索点击结果与第一搜索词之间的相关性为0,即第二搜索点击结果与第一搜索词不相关。但实际上,由于第一搜索词与相似搜索词属于同一搜索意图,相似搜索词对应的第二搜索点击结果很可能与第一搜索词相关,可见,现有针对不属于第一搜索点击结果的其他搜索点击结果,其相关性均为0,使得针对冷门搜索词,其搜索结果覆盖面不够。
类似的,对于第一点击情况、第二点击情况为跳过率、用户在某个搜索点击结果所在页面的停留时间、某个搜索点击结果对应末次点击次数在被点击总数中所占的比例、用户对搜索点击结果的满意度时,现有技术存在同样的问题。
而本实施例提供的技术方案,可以利用与第一搜索词属于同一搜索意图的相似搜索词,对冷门的第一搜索词对应的搜索结果进行合理扩充。从而在后续用户针对第一搜索词进行搜索时,可以为第一搜索词补充一些搜索结果,丰富搜索结果的展现,提高用户体验。可以理解的是,若第一点击情况、第二点击情况是点击率、跳过率、某个搜索点击结果对应末次点击次数在被点击总数中所占的比例、用户对搜索点击结果的满意度等,此时,第一点击情况、第二点击情况为比例形式,需要通过频次形式的数值进行非线性变化得到。例如,点击率是通过点击次数进行非线性变化得到的,其中,点击次数为频次形式的数值。
因此,在一些情况下,可以无需对频次形式的数值进行非线性变化,即第一点击情况、第二点击情况以及综合点击情况可以是以频次形式表示,例如点击次数、跳过次数等。这样,直接对频次形式的第一点击情况和第二点击情况进行综合,由于频次形式的第一点击情况、第二点击情况是根据用户点击日志数据直接获得的,无需经过非线性变化,避免了非线性变化对综合点击情况产生的偏差,提高综合点击情况的准确度。
若所述第一点击情况、所述第二点击情况和所述综合点击情况是以频次的形式表示的,则S203的实现方式可以是对多个第一搜索点击结果的综合点击情况分别进行非线性变化,根据非线性变化结果确定第一搜索词与所述多个第一搜索点击结果之间的相关性。
需要说明的是,由于S203的一种是方式为利用综合点击情况和预测模型,确定第一搜索词与多个第一搜索点击结果之间的相关性,而预测模型是预先训练得到的。在本实施例中,预测模型可以是采用现有技术得到的预测模型,也可以是改进的预测模型。
接下来,将对预测模型的训练方法进行介绍,利用该方法可以训练得到改进的训练模型,该训练模型的准确度更高,进而得到的第一搜索词与搜索点击结果之间相关性更加准确。
参见图4,图4为本申请实施例提供的模型训练方法的流程图,所述方法包括:
S401、获取历史搜索词对应的多个搜索点击结果,并且确定与所述历史搜索词属于同一搜索意图的相似搜索词。
S402、针对历史搜索词对应的每个搜索点击结果,获取每个搜索点击结果的第一点击情况和第二点击情况,并计算得到每个搜索点击结果的综合点击情况。
其中,所述第一点击情况为以所述历史搜索词执行搜索操作下该搜索点击结果的点击情况;所述第二点击情况为以所述历史搜索词的相似搜索词执行搜索操作下该搜索点击结果的点击情况。
S403、基于大量历史搜索词对应的多个搜索点击结果的综合点击情况,训练预测模型。
具体的,以用户点击日志数据作为样本数据源,从用户点击日志数据中获取大量历史搜索词对应的多个搜索点击结果对应的第一点击情况和第二点击情况,并计算得到每个历史搜索词对应的多个搜索点击结果的综合点击情况作为训练样本,训练所述预测模型。
需要说明的是,服务器在线下通过前述实施例所提供的方法计算各个第一搜索词与搜索点击结果之间的相关性,并保存第一搜索词与搜索点击结果之间的相关性,以便用户输入待查询搜索词希望获得搜索点击结果时,服务器可以线上确定出与待查询搜索词匹配的第一搜索词,从而根据第一搜索词与搜索点击结果之间的相关性,为用户返回搜索点击结果。
接下来,将对本申请实施例提供的一种搜索方法进行介绍。参见图5,图5示出了一种搜索方法的应用场景示例图,该应用场景包括终端设备501和服务器502,终端设备501例如可以是智能终端、计算机、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑等。
用户可以在终端设备501输入查询词,服务器502可以接收用户输入的查询词,并获取与所述查询词匹配的第一搜索词,以及第一搜索词对应的多个搜索点击结果。服务器502根据第一搜索词与多个搜索点击结果之间的相关性,向终端设备501返回查询词对应的搜索点击结果,并在终端设备501上展示。
接下来,将结合附图对本实施例提供的一种搜索方法进行介绍。参见图6,该方法包括:
S601、接收用户输入的查询词。
用户可以在终端设备的搜索引擎中输入查询词,以通过搜索引擎对查询词进行搜索,获取用户希望得到的搜索结果。
S602、获取与所述查询词匹配的第一搜索词。
服务器中记录了用户曾经搜索过的搜索词,以及每个搜索词与其对应的各个搜索点击结果之间的相关性,其中,与查询词匹配的搜索词可以作为第一搜索词。
在本实施例中,第一搜索词与查询词匹配可以是指第一搜索词与查询词之间的相似度满足预设条件。第一搜索词可以包括与查询词完全相同的搜索词(相似度100%),也可以包括查询词的相似搜索词。
S603、获取第一搜索词对应的多个搜索点击结果。
S604、根据所述第一搜索词与所述多个搜索点击结果之间的相关性,返回所述查询词对应的搜索点击结果。
第一搜索词与所述多个搜索点击结果之间的相关性是根据图2对应实施例所述方法确定的。
例如,查询词为“赵雷踢馆我是歌手是哪一期?”,若服务器获取到与查询词匹配的第一搜索词包括“赵雷踢馆我是歌手是哪一期?”和“赵雷参加歌手是哪一期”,服务器中存储了“赵雷踢馆我是歌手是哪一期?”和多个搜索点击结果之间的相关性,“赵雷参加歌手是哪一期”和多个搜索点击结果之间的相关性。这样,服务器便可以根据第一搜索词与多个搜索点击结果之间的相关性,返回查询词对应的搜索点击结果。在一些情况下,第一搜索词对应的多个搜索点击结果可以是已经按照相关性大小排序,并保存在键值(Key-Value,简称KV)存储系统中的,其中,K可以用于保存第一搜索词,V可以用于保存按照相关性大小排序的多个搜索点击结果。这样,当确定出第一搜索词后,便可以根据第一搜索词从KV存储系统中获取第一搜索词对应的多个搜索点击结果,该多个搜索点击结果按照相关性大小排序,从而返回第一搜索词对应的多个搜索点击结果,通过返回第一搜索词对应的多个搜索点击结果实现根据第一搜索词与多个搜索点击结果之间的相关性,返回查询词对应的搜索点击结果。
可以理解的是,用户输入查询词希望获得搜索点击结果,获得的搜索点击结果应该是与查询词相关的内容,这样的搜索点击结果才能更加符合用户的需求。而查询词与搜索点击结果之间的相关性越高,说明该搜索点击结果是符合用户需求的可能性越大,由于第一搜索词中包括查询词和/或查询词的相似搜索词,第一搜索词与搜索点击结果之间的相关性越高,说明该搜索点击结果是符合用户需求的可能性越大。故,服务器在向终端设备返回搜索点击结果时,相关性高的搜索点击结果更加符合用户的需求。
为此,在一种实现方式中,S604的实现方式可以是服务器返回相关性满足预设条件的搜索点击结果。这样,当用户针对查询词执行搜索行为时,可以保证可以搜索到符合用户需求的搜索点击结果,提高用户体验。
可以理解的是,用户针对查询词执行搜索行为时,往往可能获得大量的搜索点击结果,这些搜索点击结果与第一搜索次之间的相关性存在不同,有些搜索点击结果与第一搜索次之间的相关性很大,更加符合用户需求,有些搜索点击结果与第一搜索次之间的相关性相对小一些。那么,如何对这些搜索点击结果进行排序,以向用户展示这些搜索点击结果,将直接影响着用户选择搜索点击结果的效率,影响用户体验。
由于搜索点击结果与第一搜索词之间相关性的大小可以反映搜索点击结果与查询词之间的相关程度,进而反映搜索点击结果与用户需求的符合程度。搜索点击结果与第一搜索词之间的相关性越大,搜索点击结果越符合用户需求。为此,在一种实现方式中,S604的实现方式可以是按照相关性从大到小的顺序,对返回的所述搜索结果进行排序。这样,可以保证符合用户需求的搜索结果优先展示给用户,使用户可以尽快获得所需的搜索结果,提高用户体验。
由上述技术方案可以看出,由于在用户查询词搜索词时,第一搜索词与所述多个搜索点击结果之间的相关性是根据图2对应实施例所述方法确定的,而图2对应实施例中,通过第二点击情况对第一点击情况的补充,将大大提高综合点击情况的准确度,使得计算得到的第一搜索词与多个搜索点击结果之间的相关性更加准确。为此,图6对应实施例中确定出的第一搜索词与所述多个搜索点击结果之间的相关性也能够更加准确,极大的改善向用户返回的搜索点击结果,以及搜索点击结果排序,提高用户体验。
基于前述实施例提供的方法,本申请实施例提供一种搜索结果相关性的计算装置,参见图7所示,图7示出了一种搜索结果相关性的计算装置的结构图,所述装置包括第一获取单元701、第一计算单元702和第一确定单元703:
所述第一获取单元701,用于获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
所述第一计算单元702,用于针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
所述第一确定单元703,用于基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
可选的,所述装置还包括第二获取单元、第二计算单元和第二确定单元:
所述第二获取单元,用于获取所述相似搜索词对应的第二搜索点击结果;所述第二搜索点击结果是以所述相似搜索词执行搜索操作下点击的搜索结果项,所述第二搜索点击结果与所述多个第一搜索点击结果不同;
所述第二计算单元,用于针对每个所述第二搜索点击结果,获取所述第二搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第二搜索点击结果的综合点击情况;
所述第二确定单元,用于基于计算得到的多个所述第二搜索点击结果的综合点击情况,确定所述第一搜索词与所述第二搜索点击结果之间的相关性。
可选的,所述第一计算单元,具体用于:
将所述第一搜索词的每个相似搜索词对应的第二点击情况与所述相似搜索词的相似度相乘后求和,并将求和得到的结果与所述第一点击情况进行综合,获得所述第一搜索点击结果的综合点击情况;所述相似搜索词的相似度为所述第一搜索词与所述相似搜索词之间的相似度。
可选的,所述第一计算单元,具体用于:
F(Q,D)=α×f(Q,D)+(1-α)f'(Q,D)
其中,
其中,F(Q,D)为第一搜索点击结果的综合点击情况,Q为第一搜索词,D为第一搜索点击结果,α为融合超参数;
f(Q,D)为第一搜索点击结果的第一点击情况,f'(Q,D)为第一搜索点击结果的第二点击情况;
m为第一搜索词的相似搜索词的个数,f(Bi,D)为第i个相似搜索词对应的第二点击情况,Bi为第i个相似搜索词,P(Bi|Q)为第i个相似搜索词与第一搜索词之间的相似度。
可选的,所述第一获取单元,具体用于:
利用二分图确定点击日志数据中所述第一搜索词以及其余各个搜索词的特征向量,基于所述特征向量之间的相似度确定所述第一搜索词的相似搜索词;和/或,
将点击日志数据中与所述第一搜索词点击到同一搜索结果项的搜索词,确定为所述第一搜索词的相似搜索词;和/或,
对所述第一搜索词进行分词处理;针对分词得到的若干个关键词进行同义词替换,得到所述第一搜索词的相似搜索词。
可选的,所述第一确定单元,具体用于:
将所述多个第一搜索点击结果的综合点击情况输入预测模型,输出得到所述第一搜索词与每个所述第一搜索点击结果之间的相关性。
可选的,所述装置还包括第三获取单元、第三计算单元和训练单元:
所述第三获取单元,用于获取历史搜索词对应的多个搜索点击结果,确定与所述历史搜索词属于同一搜索意图的相似搜索词;
所述第三计算单元,用于针对历史搜索词对应的每个搜索点击结果,获取每个搜索点击结果的第一点击情况和第二点击情况,并计算得到每个搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述历史搜索词执行搜索操作下所述搜索点击结果的点击情况;所述第二点击情况为以所述历史搜索词的相似搜索词执行搜索操作下所述搜索点击结果的点击情况;
所述训练单元,用于基于大量历史搜索词对应的多个搜索点击结果的综合点击情况,训练所述预测模型。
由上述技术方案可以看出,获取第一搜索词对应的多个第一搜索点击结果,并且确定与第一搜索词相似的相似搜索词后,分别以多个第一搜索点击结果作为目标搜索点击结果,基于目标搜索点击结果的第一点击情况和第二点击情况,计算目标搜索点击结果的综合点击情况,得到多个第一搜索点击结果分别对应的综合点击情况;第一点击情况为以所述第一搜索词执行搜索操作下所述目标搜索点击结果的点击情况;所述第二点击情况为以所述相似搜索词执行搜索操作下所述目标搜索点击结果的点击情况。
由于不同用户的表达方式可能有所不同,相似搜索词与第一搜索词语义相似,以相似搜索词执行搜索操作后和以第一搜索词执行搜索操作后,都可能点击目标搜索点击结果,从而对第一搜索词与目标搜索点击结果的相关性产生影响。因此,在计算第一搜索词与多个搜索点击结果之间的相关性时,除了考虑第一点击情况,还需要将第二点击情况融合进来,获得多个第一搜索点击结果的综合触发情况。与第一点击情况相比,综合点击情况更加充分,其可信程度得到进一步加强,准确度更高,进而使得计算得到的第一搜索词与多个第一搜索点击结果之间的相关性更加准确,从而保证向用户返回满意的搜索点击结果,以及返回合理的搜索点击结果排序,提高用户体验。
图8是根据一示例性实施例示出的一种设备800的框图。例如,设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理部件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为设备800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为设备800的显示器和小键盘,传感器组件814还可以检测设备800或设备800一个组件的位置改变,用户与设备800接触的存在或不存在,设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
图9是本发明实施例中服务器的结构示意图。该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)922(例如,一个或一个以上处理器)和存储器932,一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中,存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器922可以设置为与存储介质930通信,在服务器900上执行存储介质930中的一系列指令操作。
服务器900还可以包括一个或一个以上电源926,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口958,一个或一个以上键盘956,和/或,一个或一个以上操作系统941,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
在示例性实施例中,服务器900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储介质930,上述指令可由服务器900的CPU 922执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种搜索结果相关性的计算方法,所述方法包括:
获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read-only memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种搜索结果相关性的计算方法,其特征在于,所述方法包括:
获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述相似搜索词对应的第二搜索点击结果;所述第二搜索点击结果是以所述相似搜索词执行搜索操作下点击的搜索结果项,所述第二搜索点击结果与所述多个第一搜索点击结果不同;
针对每个所述第二搜索点击结果,获取所述第二搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第二搜索点击结果的综合点击情况;
基于计算得到的多个所述第二搜索点击结果的综合点击情况,确定所述第一搜索词与所述第二搜索点击结果之间的相关性。
3.根据权利要求1所述的方法,其特征在于,所述获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况,包括:
将所述第一搜索词的每个相似搜索词对应的第二点击情况与所述相似搜索词的相似度相乘后求和,并将求和得到的结果与所述第一点击情况进行综合,获得所述第一搜索点击结果的综合点击情况;所述相似搜索词的相似度为所述第一搜索词与所述相似搜索词之间的相似度。
4.根据权利要求2或3所述的方法,其特征在于,所述获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况,包括:
F(Q,D)=α×f(Q,D)+(1-α)f'(Q,D)
其中,
其中,F(Q,D)为第一搜索点击结果的综合点击情况,Q为第一搜索词,D为第一搜索点击结果,α为融合超参数;
f(Q,D)为第一搜索点击结果的第一点击情况,f'(Q,D)为第一搜索点击结果的第二点击情况;
m为第一搜索词的相似搜索词的个数,f(Bi,D)为第i个相似搜索词对应的第二点击情况,Bi为第i个相似搜索词,P(Bi|Q)为第i个相似搜索词与第一搜索词之间的相似度。
5.根据权利要求1所述的方法,其特征在于,所述确定与所述第一搜索词属于同一搜索意图的相似搜索词,包括:
利用二分图确定点击日志数据中所述第一搜索词以及其余各个搜索词的特征向量,基于所述特征向量之间的相似度确定所述第一搜索词的相似搜索词;和/或,
将点击日志数据中与所述第一搜索词点击到同一搜索结果项的搜索词,确定为所述第一搜索词的相似搜索词;和/或,
对所述第一搜索词进行分词处理;针对分词得到的若干个关键词进行同义词替换,得到所述第一搜索词的相似搜索词。
6.根据权利要求1所述的方法,其特征在于,所述基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性,包括:
将所述多个第一搜索点击结果的综合点击情况输入预测模型,输出得到所述第一搜索词与每个所述第一搜索点击结果之间的相关性。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取历史搜索词对应的多个搜索点击结果,确定与所述历史搜索词属于同一搜索意图的相似搜索词;
针对历史搜索词对应的每个搜索点击结果,获取每个搜索点击结果的第一点击情况和第二点击情况,并计算得到每个搜索点击结果的综合点击情况;
其中,所述第一点击情况为以所述历史搜索词执行搜索操作下所述搜索点击结果的点击情况;所述第二点击情况为以所述历史搜索词的相似搜索词执行搜索操作下所述搜索点击结果的点击情况;
基于大量历史搜索词对应的多个搜索点击结果的综合点击情况,训练所述预测模型。
8.一种搜索结果相关性的计算装置,其特征在于,所述装置包括第一获取单元、第一计算单元和第一确定单元:
所述第一获取单元,用于获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
所述第一计算单元,用于针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
所述第一确定单元,用于基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
9.一种设备,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取第一搜索词对应的多个第一搜索点击结果,并且确定与所述第一搜索词属于同一搜索意图的相似搜索词;所述第一搜索点击结果为以所述第一搜索词执行搜索操作下点击的搜索结果项;
针对每个所述第一搜索点击结果,获取所述第一搜索点击结果的第一点击情况和第二点击情况,并计算得到每个第一搜索点击结果的综合点击情况;其中,所述第一点击情况为以所述第一搜索词执行搜索操作下所述第一搜索点击结果的点击情况;所述第二点击情况为以所述第一搜索词的相似搜索词执行搜索操作下所述第一搜索点击结果的点击情况;
基于计算得到的多个所述第一搜索点击结果的综合点击情况,确定所述第一搜索词与每个第一搜索点击结果之间的相关性。
10.一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如权利要求1至7中一个或多个所述的方法。
CN201910250751.1A 2019-03-29 2019-03-29 一种搜索结果相关性的计算方法及装置 Active CN109977293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910250751.1A CN109977293B (zh) 2019-03-29 2019-03-29 一种搜索结果相关性的计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910250751.1A CN109977293B (zh) 2019-03-29 2019-03-29 一种搜索结果相关性的计算方法及装置

Publications (2)

Publication Number Publication Date
CN109977293A true CN109977293A (zh) 2019-07-05
CN109977293B CN109977293B (zh) 2021-04-20

Family

ID=67081804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910250751.1A Active CN109977293B (zh) 2019-03-29 2019-03-29 一种搜索结果相关性的计算方法及装置

Country Status (1)

Country Link
CN (1) CN109977293B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100480A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 搜索方法、装置、设备及存储介质
CN114547421A (zh) * 2021-12-24 2022-05-27 北京达佳互联信息技术有限公司 一种搜索处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629279A (zh) * 2012-03-23 2012-08-08 天津大学 一种用于图像或视频搜索重排序的方法
CN103678668A (zh) * 2013-12-24 2014-03-26 乐视网信息技术(北京)股份有限公司 相关搜索结果的提示方法、服务器及系统
CN104615621A (zh) * 2014-06-25 2015-05-13 腾讯科技(深圳)有限公司 搜索中的相关性处理方法和系统
CN105912630A (zh) * 2016-04-07 2016-08-31 北京搜狗科技发展有限公司 一种信息扩展方法及装置
CN108874827A (zh) * 2017-05-12 2018-11-23 北京搜狗科技发展有限公司 一种搜索方法及相关装置
US20190026370A1 (en) * 2017-07-20 2019-01-24 Eveline Helen Brownstein System and Method for Categorizing Web Search Results

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629279A (zh) * 2012-03-23 2012-08-08 天津大学 一种用于图像或视频搜索重排序的方法
CN103678668A (zh) * 2013-12-24 2014-03-26 乐视网信息技术(北京)股份有限公司 相关搜索结果的提示方法、服务器及系统
CN104615621A (zh) * 2014-06-25 2015-05-13 腾讯科技(深圳)有限公司 搜索中的相关性处理方法和系统
CN105912630A (zh) * 2016-04-07 2016-08-31 北京搜狗科技发展有限公司 一种信息扩展方法及装置
CN108874827A (zh) * 2017-05-12 2018-11-23 北京搜狗科技发展有限公司 一种搜索方法及相关装置
US20190026370A1 (en) * 2017-07-20 2019-01-24 Eveline Helen Brownstein System and Method for Categorizing Web Search Results

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100480A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 搜索方法、装置、设备及存储介质
CN114547421A (zh) * 2021-12-24 2022-05-27 北京达佳互联信息技术有限公司 一种搜索处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109977293B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
US8990182B2 (en) Methods and apparatus for searching the Internet
CN106202394B (zh) 文本资讯的推荐方法及系统
US8666963B2 (en) Method and apparatus for processing spoken search queries
CN109800325A (zh) 视频推荐方法、装置和计算机可读存储介质
US20120060113A1 (en) Methods and apparatus for displaying content
US20120059658A1 (en) Methods and apparatus for performing an internet search
CN109933714B (zh) 一种词条权重的计算方法、搜索方法及相关装置
CN108073606A (zh) 一种新闻推荐方法和装置、一种用于新闻推荐的装置
CN108121736A (zh) 一种主题词确定模型的建立方法、装置及电子设备
CN108345610A (zh) 一种获取数据资源的方法和装置、用于获取数据资源的装置
CN109918565B (zh) 一种搜索数据的处理方法、装置及电子设备
CN112784142A (zh) 一种信息推荐方法及装置
CN109977293A (zh) 一种搜索结果相关性的计算方法及装置
CN110110207A (zh) 一种信息推荐方法、装置及电子设备
CN112307281A (zh) 一种实体推荐方法及装置
CN106156299B (zh) 文本信息的主题内容识别方法及装置
CN110110046B (zh) 同名实体推荐方法及装置
CN107436896A (zh) 一种输入推荐方法、装置及电子设备
CN107301188B (zh) 一种获取用户兴趣的方法及电子设备
CN110020206B (zh) 一种搜索结果排序方法及装置
CN111324805B (zh) 查询意图确定方法及装置、搜索方法及搜索引擎
CN111368161A (zh) 一种搜索意图的识别方法、意图识别模型训练方法和装置
CN109948030A (zh) 网页搜索结果质量检测方法及装置
CN110221704A (zh) 一种输入方法、装置和用于输入的装置
CN110147472B (zh) 作弊站点的检测方法、装置以及用于作弊站点的检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant