CN105956204A - 会话Session满意度评估的方法及装置 - Google Patents
会话Session满意度评估的方法及装置 Download PDFInfo
- Publication number
- CN105956204A CN105956204A CN201610509721.4A CN201610509721A CN105956204A CN 105956204 A CN105956204 A CN 105956204A CN 201610509721 A CN201610509721 A CN 201610509721A CN 105956204 A CN105956204 A CN 105956204A
- Authority
- CN
- China
- Prior art keywords
- session
- click
- result
- factor
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
- H04L43/55—Testing of service level quality, e.g. simulating service usage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种会话Session满意度评估的方法及装置。包括:确定第一Session,其中Session是某一用户在一定时间内围绕同一主题而进行的搜索会话;从搜索引擎查询日志中获取第一Session的用户搜寻成本参数和/或结果展现/点击质量参数;根据用户搜寻成本参数和/或结果展现/点击质量参数对第一Session的满意度进行评估。根据本申请的Session满意度评估的方法和装置能够实现Session满意度的自动评估,从而避免人工标注方式耗费大量人力和时间的问题。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种会话Session满意度评估的方法及装置。
背景技术
随着知识经济与信息化建设的高速发展,网络信息数据规模急剧膨胀,海量信息资源在丰富人们信息来源的同时,也给人们获取信息造成了困扰,而搜索引擎凭借日趋精准化、人性化的信息检索服务成为用户访问网络查找和获取资源信息的主要工具之一。
使用搜索引擎进行查询的过程可以看作:用户向系统输入以关键词表示的查询需求,系统输出与查询需求相关的网页(或文件)列表。搜索引擎通过被称为网络蜘蛛的网页获取装置收集互联网页面和文件并建立索引,进而通过查询装置处理用户查询,并反馈结果列表,达到满足用户查询需求的效果。
为了改进系统性能,记录运行情况等原因,搜索引擎会记录用户与搜索引擎进行交互的行为日志,这种日志一般被称为搜索引擎查询日志。查询日志通常记录的内容包括:用户使用搜索引擎的时间、用户提交的检索词、用户点击了哪些结果、这些结果在搜索引擎里的排序等。通过在搜索引擎后台的具体实现,还可以记录更加细粒度的用户交互信息,例如用户鼠标移动的位置、用户鼠标点击结果的位置、滚动条滑动的时间位置等信息。由于搜索引擎查询日志是在不影响用户正常使用的情况下完成记录的,因此具有客观、真实保存用户与搜索引擎交互情况的作用。
传统的Session满意度评估需要使用大量的人工进行标注才能完成,但是这种人工标注需要耗费大量的人工和时间资源,难以大规模展开。特别是,由于搜索引擎具有海量的用户数量,查询日志的规模也十分巨大。因此通过人工标注的方式进行Session满意度评估是不可能完成的任务。
发明内容
鉴于上述的分析,本发明旨在提供一种Session满意度评估的方法及装置,用以解决现有Session满意度评估过程耗费大量人力和时间的问题。
在本申请的一个方面中,提出了一种Session满意度评估的方法,包括:确定第一Session,其中Session是某一用户在一定时间内围绕同一主题而进行的搜索会话;从搜索引擎查询日志中获取第一Session的用户搜寻成本参数和/或结果展现/点击质量参数;根据用户搜寻成本参数和/或结果展现/点击质量参数对第一Session的满意度进行评估。
进一步地,确定第一Session包括:从搜索引擎查询日志中获取前后连续的两个结果展示因子,即第一结果展示因子和第二结果展示因子;当第一结果展示因子和第二结果展示因子满足关联条件,则确定第一结果展示因子和第二结果展示因子对应的搜索过程为第一Session。
其中,关联条件包括:第一结果展示因子和第二结果展示因子对应的结果展示时间差在第一阈值范围内;并且第一结果展示因子和第二结果展示因子对应的检索词具有相关性。
其中,上述相关性具体包括:第一结果展示因子和第二结果展示因子分别所对应检索词具有相互包含关系;或者第一结果展示因子和第二结果展示因子分别所对应检索词不具有相互包含关系,但第一结果展示因子和第二结果展示因子分别所对应的检索词中相同词汇的比例大于第二阈值;或者第一结果展示因子和第二结果展示因子分别所对应的检索词中相同词汇的比例大于第三阈值。
其中,用户搜寻成本参数包括:查询次数、有点击的查询次数、有点击的查询占比、最后一次查询是否有点击、最大连续无点击的查询次数、最大连续无点击的查询占比、检索词(query)改写行为、是否有翻页行为、最大翻页的页码、翻页的次数占比。
其中,结果展现/点击质量参数包括:平均点击位置、最高点击位置、最低点击位置、点击引擎来源、平均停留时间、长点击LongClick次数、长点击LongClick比例、短点击ShortClick次数、短点击ShortClick比例、是否有强展现的结果。
其中,根据用户搜寻成本参数和/或结果展现/点击质量参数对第一Session的满意度进行评估包括:根据用户搜寻成本参数和/或结果展现/点击质量参数所对应的用户行为数据,对第一Session的满意度进行评估。
在本申请的另一方面中,提出了一种Session满意度评估的装置,包括:确定单元,用于确定第一Session,其中Session是某一用户在一定时间内围绕同一主题而进行的搜索会话;获取单元,用于从搜索引擎查询日志中获取第一Session的用户搜寻成本参数和/或结果展现/点击质量参数;评估单元,用于根据由获取单元获得的用户搜寻成本参数和/或结果展现/点击质量参数对第一Session的满意度进行评估。
具体地,确定单元用于:从搜索引擎查询日志中获取前后连续的两个结果展示因子,即第一结果展示因子和第二结果展示因子;当第一结果展示因子和第二结果展示因子满足关联条件,则确定第一结果展示因子和第二结果展示因子对应的搜索过程为第一Session。
其中,获取单元获取的用户搜寻成本参数包括:查询次数、有点击的查询次数、有点击的查询占比、最后一次查询是否有点击、最大连续无点击的查询次数、最大连续无点击的查询占比、检索词改写行为、是否有翻页行为、最大翻页的页码、翻页的次数占比。
其中,获取单元获取的结果展现/点击质量参数包括:平均点击位置、最高点击位置、最低点击位置、点击引擎来源、平均停留时间、长点击LongClick次数、长点击LongClick比例、短点击ShortClick次数、短点击ShortClick比例、是否有强展现的结果。
其中,评估单元具体用于:根据用户搜寻成本参数和/或结果展现/点击质量参数所对应的用户行为数据,对第一Session的满意度进行评估。
综上所述,通过根据本申请的Session满意度评估的方法,能够实现Session满意度的自动评估,从而避免人工标注方式耗费大量人力和时间的问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为根据本申请的Session满意度评估的方法的流程图。
图2为根据本申请的Session切分的方法示意图。
图3为根据本申请的Session满意度评估的装置的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理。
一般而言,用户会基于明确的意图主动发起搜索请求,例如去某个网站、看电视剧、了解新名词、查找问题的解决方法等等。在用户提交搜索请求后,搜索引擎将返回搜索结果,即搜索引擎结果页面(serp,searchengine results page)。默认用户首先查看第一页结果,具体而言,用户多是从上到下,从左到右依次浏览查看搜索结果。越是靠前的搜索结果,用户越可能点击。用户也会依据搜索结果的摘要快速衡量搜索结果的质量,若摘要符合搜索预期,则用户可能点击该搜索结果。若用户在第一页搜索结果中获取到所需信息,则用户在本次Session中获得令人满意的体验。否则,用户可能会更换检索词,或者翻页,或者点击相关搜索(rs,related search)结果或右侧推荐结果。在用户更换检索词开始新的搜索后,启动新一轮的查看搜索结果、衡量摘要、点击的过程。几轮搜索过程之后,用户要么找到所求,要么失望而归而放弃搜索。此时,用户没有获得最佳的Session体验。这里Session是指某一用户在一定时间内围绕同一主题而进行的搜索会话。
由此可见,通过分析Session中用户的搜索行为以及查看搜索结果的质量,可以推断该用户在本次Session中是否满意。而用于分析Session满意度所需的用户搜索行为以及搜索结果质量等数据均可以基于搜索引擎查询日志获取。
至此,本申请提出了一种Session满意度评估的方法及装置,能够通过对搜索引擎查询日志中的数据进行分析来自动进行Session满意度评估,以避免由人工标注产生的大量人工及时间的耗费。
下面将具体结合附图分别描述依据本申请的Session满意度评估的方法及装置。
图1示出了根据本申请的Session满意度评估的方法。其中:
Step1,确定第一Session,这里Session是指某一用户在一定时间内围绕同一主题而进行的搜索会话。
应该理解,为了确保用户Session满意度评估的准备性,必须确保Session满意度评估操作是针对某一用户的某一Session而进行的。而在搜索引擎查询日志中按时间顺序记录着全部用户的全部搜索会话。因此,依据本申请的seesion满意度评估方法是针对某一个用户在一定时间内围绕同一主题的搜索会话而提出的。
为此,在进行Session满意度评估之前,需要进行有效的Session切分,从而区分开不同的用户的搜索会话、同一用户针对不同主题进行的搜索会话、以及同一用户在不同时间段内对同一主题进行的搜索会话。
可以理解,对不同的用户进行区别以及对时间段进行划分是很容易实现的。但是,如何判断某一个用户在一定时间内围绕同一主题的搜索会话则需要依据一定的规则,即Session切分规则。
在本申请中,为了进行Session切分,首先从搜索引擎查询日志中获取前后连续的两个结果展示因子,即第一结果展示因子和第二结果展示因子;当第一结果展示因子和第二结果展示因子满足关联条件时,则确定第一结果展示因子和第二结果展示因子对应的搜索过程为同一Session。
这里,所述结果展示因子是用于表示在用户提交搜索请求后搜索引擎进行搜索结果推送的特性,例如提供serp的时间点、serp中显示的用户检索词信息等。
上述关联条件包括:第一结果展示因子和第二结果展示因子对应的结果展示时间差在第一阈值范围内,且第一结果展示因子和第二结果展示因子对应的检索词具有相关性。其中,第一阈值范围可以是10分钟、15分钟、30分钟、1小时等等。可以理解,第一阈值范围的取值可以根据用户群体的搜索习惯、频率等特性进行确定。
具体而言,第一结果展示因子和第二结果展示因子对应的检索词具有相关性包括以下情况:
第一结果展示因子和第二结果展示因子分别所对应的检索词具有相互包含关系;或者第一结果展示因子和第二结果展示因子分别所对应的检索词不具有相互包含关系,但是第一结果展示因子和第二结果展示因子分别所对应的检索词中相同词汇的比例大于第二阈值;或者第一结果展示因子和第二结果展示因子分别所对应的检索词中相同词汇的比例大于第三阈值。其中,第二阈值和第三阈值是预设的固定值,或者可以根据不同的经验或标准进行选择。
通过以上方式,可以将将搜索引擎查询日志切分为各个Session,以便针对单个Session进行满意度评估。
Step2,从搜索引擎查询日志中获取该第一Session的用户搜寻成本参数和/或结果展现/点击质量参数。
为了实现针对第一Session满意度进行评估的目的,对搜索引擎查询日志中的数据进行分析以获得用户搜寻成本参数和/或结果展现/点击质量参数。其中,用户搜寻成本参数包括:查询次数、有点击的查询次数、有点击的查询占比、最后一次查询是否有点击、最大连续无点击的查询次数、最大连续无点击的查询占比、检索词改写行为、是否有翻页行为、最大翻页的页码、翻页的次数占比等;结果展现/点击质量参数包括:平均点击位置、最高点击位置、最低点击位置、点击引擎来源、平均停留时间、长点击LongClick次数、长点击LongClick比例、短点击ShortClick次数、短点击ShortClick比例、是否有强展现的结果。
其中,在搜索引擎查询日志中可以确定该Session中用户与搜索引擎之间的交互。例如,用户在该Session中进行过几次搜索,检索词是什么,在搜索引擎提供了serp之后用户是否进行了点击(click)操作,且点击了几次,这些有点击的次数与搜索引擎提供的serp相比的比例如何,用户是否在进行多次连续搜索后进行了点击操作,在用户进行点击操作前最多进行过几次搜索操作及这些搜索操作在包括搜索、翻页、点击等全部操作中的占比,用户对检索词进行了哪些改写操作(比如替换、增加、删除等),用户是否有翻页行为、最多翻看了几页及翻页次数在包括搜索、翻页、点击等全部操作中的占比,等等。此外,通过对搜索引擎后台数据的进一步分析,还可以了解用户在serp上进行点击时的平均点击位置、最高点击位置、最顶点击位置,以及用户在点击搜索结果后平均停留的时间,提供被点击的搜索结果的搜索引擎来源(例如,一级引擎、二级引擎、onebox等),或者长点击LongClick次数/比例,短点击ShortClick次数/比例,或者是否提供优质onebox列表等强展示结果。例如,可以将点击停留时间大于30秒的视作长点击,而将点击停留时间小于10秒的视作短点击。
Step3,根据用户搜寻成本参数和/或结果展现/点击质量参数对第一Session的满意度进行评估。
具体地,可以根据用户搜寻成本参数和/或结果展现/点击质量参数所对应的用户行为数据,对第一Session的满意度进行评估。
例如,用户在该Session中进行了一次搜索,然后点击该搜索结果之后不再进行任何操作,则判断该用户获得了满意的搜索体验。或者,用户在该Session中进行了一次搜索,在查看搜索结果摘要时即获得检索结果,于是不再进行任何操作,则判断该用户获得了满意的搜索体验。或者,用户在该Session中进行了一次搜索和多次点击后不再进行任何操作,则判断该用户获得了满意的搜索体验。或者,用户在该Session中进行了多次搜索多次点击,则判断该用户的搜索体验一般。或者,用户在该Session中进行了多次搜索而没有进行点击,则判断该用户没有找到满意的结果,搜索体验糟糕。
可选地,还可以进一步依据用户在serp中的点击位置来判断其Session满意度。例如,如果点击位置处于serp的第一页上部,则确定该Session令人满意;如果如果点击位置处于serp的其他位置,则确定该Session不太令人满意。还可以进一步依据用户点击间隔时长来判断,如果用户点击后停留时间较长,说明该Session比较令人满意,如果两次点击间隔很短,即用户点击后停留时间很短,则说明搜索引擎提供的搜索结果不太令人满意,用户需要通过多次筛选才能找到所需的搜索结果。
由上可知,通过根据本实施例的Session满意度评估的方法,能够实现Session满意度的自动评估,从而避免人工标注方式耗费大量人力和时间的问题。
此外,通过根据本申请的Session满意度评估的方法还能够实现对搜索质量的监控,以及监控用户行为,并为搜索结果提供更多特征借鉴。
在本申请的一个具体实施例中,首先按照一天的时间间隔对用户的搜索行为进行切割,通过该用户一天内的搜索和点击的行为得出搜索引擎为该用户连续提供的serp,最后确定该用户的行为是否可以合并为一个Session,参见图2。
如图2所示,首先判断前后两次提供的serp的时间差是否小于30分钟,如果是,则进一步查看该前后两次提供的serp对应的检索词之间的关系。如果该前后两次提供的serp对应的检索词存在包含关系,则判断同属一个Session。或者,如果该前后两次提供的serp对应的检索词不存在包含关系,但是其相同词汇的比例大于0.2,则判断同属一个Session。或者,该前后两次提供的serp对应的检索词的相同词汇的比例大于0.5,则判断同属一个Session。由此实现Session切分。
接着,针对其中的一个Session进行满意度评估。例如,从搜索引擎查询日志中获取该第一Session的用户搜寻成本参数和/或结果展现/点击质量参数,并进一步基于该些参数对该第一Session的满意度进行评估。
为了对明确评估标准,可以将评估结果划分为3个等级,例如评估等级2、评估等级1、评估等级0。如果用户的搜索体验良好甚至完美,则确定为评估等级2;如果用户的搜索体验一般,或者只有部分满足,或者搜索过程曲折费时,则确定为评估等级1;如果用户没有找到满意的搜索结果,搜索体验糟糕,则确定为评级等级0。
例如,对于某一Session而言,从搜索引擎查询日志中可以了解到:用户分别采用“58同城招聘”、“58同城招聘”、“58同城招聘网”和“58同城招聘”作为检索词进行搜索,搜索引擎分别在10点10分22秒、10点10分30秒、10点10分35秒、10点10分42秒向用户提供的四个serp,在此过程中,用户均没有进行点击操作,因此判断该Session中,用户一直没有获得所需的搜索结果,搜索体验很差,则确定Session满意度为评估等级0。
例如,对于另一Session而言,从搜索引擎查询日志中可以了解到:用户分别采用“海昏侯墓墓主确认”作为检索词进行搜索,搜索引擎在23点51分32秒向用户提供了一个serp,且用户于23点51分43秒进行了点击操作,之后该Session没有其他操作,则判断该Session中,用户的搜索体验良好,则确定Session满意度为评估等级2。
例如,对于另一Session而言,从搜索引擎查询日志中可以了解到:用户分别采用“分集剧情:血战到底”作为检索词进行搜索,搜索引擎在12点56分26秒向用户提供了一个serp,随后用户点击相关搜索rs“血战到底剧情介绍”,搜索引擎在12点56分51秒向用户提供了一个serp,随后用户点击相关搜索rs“血战到底剧情”,搜索引擎在12点57分14秒向用户提供了一个serp,最后用户于12点57分50秒进行了点击操作,又于12点58分03秒进行了点击操作,之后该Session没有其他操作,则判断该Session中,用户的搜索体验一般,其搜索需要只得到部分满足,则确定Session满意度为评估等级1。
由此可见,通过对搜索引擎查询日志中户搜寻成本参数和/或结果展现/点击质量参数的分析,能够实现Session满意度的自动评估,从而避免人工标注方式耗费大量人力和时间的问题。
此外,通过根据本申请的Session满意度评估的方法还能够实现对搜索质量的监控,以及监控用户行为(例如长Session的比例、Session停留时间的分布、Session满意度的分布、翻页率等),并为搜索结果提供更多特征借鉴(例如,相似检索词的结果聚合等)。
图3示出了根据本申请实施例的Session满意度评估的装置的结构示意图。
在图3中,装置30包括确定单元31、获取单元32和评估单元33。
进一步而言,确定单元31用于确定第一Session,其中Session是某一用户在一定时间内围绕同一主题而进行的搜索会话。获取单元32用于从搜索引擎查询日志中获取第一Session的用户搜寻成本参数和/或结果展现/点击质量参数。评估单元33用于根据由获取单元32获得的用户搜寻成本参数和/或结果展现/点击质量参数对第一Session的满意度进行评估。
具体而言,确定单元31用于从搜索引擎查询日志中获取前后连续的两个结果展示因子,即第一结果展示因子和第二结果展示因子;当第一结果展示因子和第二结果展示因子满足关联条件,则确定第一结果展示因子和第二结果展示因子对应的搜索过程为第一Session。
这里所述的关联条件包括:第一结果展示因子和第二结果展示因子对应的结果展示时间差在第一阈值范围内;并且第一结果展示因子和第二结果展示因子对应的检索词具有相关性。
可以理解,相关性包括:第一结果展示因子和第二结果展示因子分别所对应检索词具有相互包含关系;或者第一结果展示因子和第二结果展示因子分别所对应检索词不具有相互包含关系,但第一结果展示因子和第二结果展示因子分别所对应的检索词中相同词汇的比例大于第二阈值;或者第一结果展示因子和第二结果展示因子分别所对应的检索词中相同词汇的比例大于第三阈值。
此外,获取单元32获取的用户搜寻成本参数包括:查询次数、有点击的查询次数、有点击的查询占比、最后一次查询是否有点击、最大连续无点击的查询次数、最大连续无点击的查询占比、检索词改写行为、是否有翻页行为、最大翻页的页码、翻页的次数占比。获取单元32获取的结果展现/点击质量参数包括:平均点击位置、最高点击位置、最低点击位置、点击引擎来源、平均停留时间、长点击LongClick次数、长点击LongClick比例、短点击ShortClick次数、短点击ShortClick比例、是否有强展现的结果。
评估单元33具体地用于根据用户搜寻成本参数和/或结果展现/点击质量参数所对应的用户行为数据,对第一Session的满意度进行评估。
由上可知,通过根据本实施例的Session满意度评估的装置,能够实现Session满意度的自动评估,从而避免人工标注方式耗费大量人力和时间的问题。
此外,通过根据本申请的Session满意度评估的装置还能够实现对搜索质量的监控,以及监控用户行为,并为搜索结果提供更多特征借鉴。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种会话Session满意度评估的方法,其特征在于,包括:
确定第一Session,其中所述Session是某一用户在一定时间内围绕同一主题而进行的搜索会话;
从搜索引擎查询日志中获取所述第一Session的用户搜寻成本参数和/或结果展现/点击质量参数;
根据所述用户搜寻成本参数和/或所述结果展现/点击质量参数对所述第一Session的满意度进行评估。
2.根据权利要求1所述的方法,其特征在于,所述确定第一Session包括:
从所述搜索引擎查询日志中获取前后连续的两个结果展示因子,即第一结果展示因子和第二结果展示因子;
当所述第一结果展示因子和所述第二结果展示因子满足关联条件,则确定所述第一结果展示因子和所述第二结果展示因子对应的搜索过程为第一Session。
3.根据权利要求2所述的方法,其特征在于,所述关联条件包括:
所述第一结果展示因子和所述第二结果展示因子对应的结果展示时间差在第一阈值范围内;并且
所述第一结果展示因子和所述第二结果展示因子对应的检索词具有相关性。
4.根据权利要求3所述的方法,其特征在于,所述第一结果展示因子和所述第二结果展示因子对应的检索词具有相关性,具体包括:
所述第一结果展示因子和所述第二结果展示因子分别所对应检索词具有相互包含关系;或者
所述第一结果展示因子和所述第二结果展示因子分别所对应检索词不具有相互包含关系,但所述第一结果展示因子和所述第二结果展示因子分别所对应的检索词中相同词汇的比例大于第二阈值;或者
所述第一结果展示因子和所述第二结果展示因子分别所对应的检索词中相同词汇的比例大于第三阈值。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述用户搜寻成本参数包括:查询次数、有点击的查询次数、有点击的查询占比、最后一次查询是否有点击、最大连续无点击的查询次数、最大连续无点击的查询占比、检索词改写行为、是否有翻页行为、最大翻页的页码、翻页的次数占比。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述结果展现/点击质量参数包括:平均点击位置、最高点击位置、最低点击位置、点击引擎来源、平均停留时间、长点击LongClick次数、长点击LongClick比例、短点击ShortClick次数、短点击ShortClick比例、是否有强展现的结果。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述根据所述用户搜寻成本参数和/或所述结果展现/点击质量参数对所述第一Session的满意度进行评估包括:
根据所述用户搜寻成本参数和/或所述结果展现/点击质量参数所对应的用户行为数据,对所述第一Session的满意度进行评估。
8.一种会话Session满意度评估的装置,其特征在于,包括:
确定单元,用于确定第一Session,其中所述Session是某一用户在一定时间内围绕同一主题而进行的搜索会话;
获取单元,用于从搜索引擎查询日志中获取所述第一Session的用户搜寻成本参数和/或结果展现/点击质量参数;
评估单元,用于根据由所述获取单元获得的所述用户搜寻成本参数和/或所述结果展现/点击质量参数对所述第一Session的满意度进行评估。
9.根据权利要求8所述的装置,其特征在于,所述获取单元获取的用户搜寻成本参数包括:查询次数、有点击的查询次数、有点击的查询占比、最后一次查询是否有点击、最大连续无点击的查询次数、最大连续无点击的查询占比、检索词改写行为、是否有翻页行为、最大翻页的页码、翻页的次数占比;所述获取单元获取的结果展现/点击质量参数包括:平均点击位置、最高点击位置、最低点击位置、点击引擎来源、平均停留时间、长点击LongClick次数、长点击LongClick比例、短点击ShortClick次数、短点击ShortClick比例、是否有强展现的结果。
10.根据权利要求8或9所述的装置,其特征在于,所述评估单元具体用于:
根据所述用户搜寻成本参数和/或所述结果展现/点击质量参数所对应的用户行为数据,对所述第一Session的满意度进行评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610509721.4A CN105956204B (zh) | 2016-07-01 | 2016-07-01 | 会话Session满意度评估的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610509721.4A CN105956204B (zh) | 2016-07-01 | 2016-07-01 | 会话Session满意度评估的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105956204A true CN105956204A (zh) | 2016-09-21 |
CN105956204B CN105956204B (zh) | 2019-08-02 |
Family
ID=56903099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610509721.4A Active CN105956204B (zh) | 2016-07-01 | 2016-07-01 | 会话Session满意度评估的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105956204B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649775A (zh) * | 2016-12-27 | 2017-05-10 | 北京奇虎科技有限公司 | 评估搜索行为满意度的方法、装置及服务器 |
CN111597470A (zh) * | 2020-05-19 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 一种搜索结果展示位置的确定方法及确定装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609433A (zh) * | 2011-12-16 | 2012-07-25 | 北京大学 | 基于用户日志进行查询推荐的方法及系统 |
CN103164537A (zh) * | 2013-04-09 | 2013-06-19 | 浙江鸿程计算机系统有限公司 | 一种面向用户信息需求的搜索引擎日志数据挖掘的方法 |
CN103399883A (zh) * | 2013-07-19 | 2013-11-20 | 百度在线网络技术(北京)有限公司 | 根据用户兴趣点/关注点进行个性化推荐的方法和系统 |
CN104462213A (zh) * | 2014-12-05 | 2015-03-25 | 成都逸动无限网络科技有限公司 | 一种基于大数据的用户行为分析方法及系统 |
CN105573887A (zh) * | 2015-12-14 | 2016-05-11 | 合一网络技术(北京)有限公司 | 搜索引擎的质量评估方法和装置 |
-
2016
- 2016-07-01 CN CN201610509721.4A patent/CN105956204B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609433A (zh) * | 2011-12-16 | 2012-07-25 | 北京大学 | 基于用户日志进行查询推荐的方法及系统 |
CN103164537A (zh) * | 2013-04-09 | 2013-06-19 | 浙江鸿程计算机系统有限公司 | 一种面向用户信息需求的搜索引擎日志数据挖掘的方法 |
CN103399883A (zh) * | 2013-07-19 | 2013-11-20 | 百度在线网络技术(北京)有限公司 | 根据用户兴趣点/关注点进行个性化推荐的方法和系统 |
CN104462213A (zh) * | 2014-12-05 | 2015-03-25 | 成都逸动无限网络科技有限公司 | 一种基于大数据的用户行为分析方法及系统 |
CN105573887A (zh) * | 2015-12-14 | 2016-05-11 | 合一网络技术(北京)有限公司 | 搜索引擎的质量评估方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649775A (zh) * | 2016-12-27 | 2017-05-10 | 北京奇虎科技有限公司 | 评估搜索行为满意度的方法、装置及服务器 |
CN111597470A (zh) * | 2020-05-19 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 一种搜索结果展示位置的确定方法及确定装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105956204B (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5078910B2 (ja) | 観察したユーザの行動からの広告品質の推定 | |
CN105183897B (zh) | 一种视频搜索排序的方法和系统 | |
Ieong et al. | Domain bias in web search | |
JP4747200B2 (ja) | 広告品質の予測 | |
CN105159930B (zh) | 搜索关键词的推送方法和装置 | |
CN101826114B (zh) | 一种基于多马尔可夫链的内容推荐方法 | |
JP6073345B2 (ja) | 検索結果をランク付けする方法および装置ならびに検索方法および装置 | |
CN103389974B (zh) | 进行信息搜索的方法及服务器 | |
CN105045901A (zh) | 搜索关键词的推送方法和装置 | |
US8694511B1 (en) | Modifying search result ranking based on populations | |
US9355095B2 (en) | Click noise characterization model | |
CN104462293A (zh) | 搜索处理方法、生成搜索结果排序模型的方法和装置 | |
CN105760443B (zh) | 项目推荐系统、项目推荐装置以及项目推荐方法 | |
CN102737120A (zh) | 一种个性化网络学习资源推荐方法 | |
CN106021374A (zh) | 查询结果的底层召回方法和装置 | |
CN103793476A (zh) | 基于网络社区的协同过滤推荐方法 | |
CN103309894B (zh) | 基于用户属性的搜索实现方法及系统 | |
CN105765573A (zh) | 网站通信量优化方面的改进 | |
CN103390044B (zh) | 一种连锁类兴趣点数据识别方法及装置 | |
US9218422B2 (en) | Personalized deeplinks for search results | |
WO2007023076A1 (en) | Computer-based method of measuring the usability of a web site | |
CN103020289B (zh) | 一种基于日志挖掘的搜索引擎用户个性化需求提供方法 | |
CN104050197B (zh) | 一种信息检索系统评测方法和装置 | |
JP6678666B2 (ja) | ランキング関数のオフライン評価 | |
CN112446717B (zh) | 广告投放方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220728 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
TR01 | Transfer of patent right |