CN104217030A - 一种根据服务器搜索日志数据进行用户分类的方法和装置 - Google Patents

一种根据服务器搜索日志数据进行用户分类的方法和装置 Download PDF

Info

Publication number
CN104217030A
CN104217030A CN201410508398.XA CN201410508398A CN104217030A CN 104217030 A CN104217030 A CN 104217030A CN 201410508398 A CN201410508398 A CN 201410508398A CN 104217030 A CN104217030 A CN 104217030A
Authority
CN
China
Prior art keywords
user
query word
search
accession page
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410508398.XA
Other languages
English (en)
Other versions
CN104217030B (zh
Inventor
孙鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201410508398.XA priority Critical patent/CN104217030B/zh
Publication of CN104217030A publication Critical patent/CN104217030A/zh
Application granted granted Critical
Publication of CN104217030B publication Critical patent/CN104217030B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Abstract

本发明公开了一种根据服务器的搜索日志数据进行用户分类的方法和装置。所述方法包括步骤:从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且被用户访问过的b个访问页面;分别对每个查询词和相应于每个查询词的所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词;根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重;根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量;计算所述N个用户的用户行为向量的相似度;以及根据所计算的相似度,对所述N个用户进行分类。

Description

一种根据服务器搜索日志数据进行用户分类的方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种根据服务器的搜索日志数据进行用户分类的方法和装置。
背景技术
随着计算机技术的发展和普及,通过搜索服务器来获取各种信息的需求也日益增加。目前,主要通过输入查询词来触发相关网页,并由服务器将包括相关网页页面的显示在搜索结果中提供给用户,以允许用户获取相关信息。然而,服务器向用户提供包括相关网页页面的搜索结果时,并不能预先确定用户的兴趣或使用习惯,无法预测搜索结果里面到底有多少是用户想要的信息,相关度怎样,从而无法有针对性地向用户提供搜索结果。而用户可能需要逐个访问搜索结果中显示的多个网页,然后再进行筛选,才能获得其所需要的信息,效率不高,因而实际结果情况并不满足用户需求。此外,目前的主流搜索引擎服务器都有点击反馈机制,最终使得这些并不满足用户需求的网页排位总是很高,实际与用户需求有偏差,导致信息搜索效率不高。
发明内容
鉴于上述问题,提出了本发明,以便提供一种克服上述问题或者至少部分地解决上述问题的根据服务器的搜索日志数据进行用户分类的方法和装置。
依据本发明的第一方面,提供了一种根据服务器的搜索日志数据进行用户分类的方法,包括:步骤S101:从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且被用户访问过的b个访问页面;步骤S103:分别对每个查询词和相应于每个查询词的所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词;步骤S105:根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重;步骤S107:根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量;步骤S109:计算所述N个用户的用户行为向量的相似度;以及步骤S111:根据所计算的相似度,对所述N个用户进行分类。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面的步骤S101还包括:从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;以及分别获取每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面的步骤S101还包括:从服务器的搜索日志数据中获取每个用户的IP地址、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面的步骤S101包括:从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列;将每个用户会话标识与相应于所述a个查询词的访问页面相关联;将相应于所述a个查询词的访问页面中相应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列;以及获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中分别对每个查询词和所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词的步骤S103包括:获取所述b个访问页面的b个标题;以及分别对每个查询词和所述b个标题进行分词处理,以获得相应于每个查询词的c个关键词。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重步骤S105还包括:根据用户访问所述b个访问页面的次数、显示所述b个访问页面中的每个页面的搜索结果页在搜索结果中所在的页码和/或所述b个访问页面在所述搜索结果页中的位置,以及所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量的步骤S107还包括:根据每个用户的用户行为向量,建立所述N个用户的用户行为矩阵;且计算所述N个用户的用户行为向量的相似度的步骤S109还包括:计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中所述用户行为矩阵为稀疏矩阵。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中计算所述N个用户的用户行为向量的相似度的步骤S109包括:通过计算所述N个用户中每两个用户的用户行为向量的余弦距离,计算所述每两个用户的用户行为向量之间的相似度。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法中,其中根据所计算的相似度,对所述N个用户进行分类的步骤S111包括:通过自底向上的层次聚类方法,将所计算的相似度大于预先确定的相似度阈值的两个用户行为向量合并,获得(N-1)个用户行为向量和(N-1)个用户行为类簇;且所述方法还包括:对合并后的用户行为向量,重复步骤S109和步骤S111,直到执行步骤S109和步骤S111的次数i等于预先确定的合并次数阈值,或者第i次执行步骤S109和步骤S111时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。
根据本发明的第二方面,提供了一种根据服务器的搜索日志数据进行用户分类的装置,包括:查询词及访问页面获取模块,适于从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且被用户访问过的b个访问页面;分词处理模块,适于分别对每个查询词和相应于每个查询词的所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词;权重计算模块,适于根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重;用户行为向量建立模块,适于根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量;相似度计算模块,适于计算所述N个用户的用户行为向量的相似度;以及分类模块,适于根据所计算的相似度,对所述N个用户进行分类。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述查询词及访问页面获取模块还适于从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;以及分别获取每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述查询词及访问页面获取模块还适于从服务器的搜索日志数据中获取每个用户的IP地址、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述查询词及访问页面获取模块还适于从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列;将每个用户会话标识与相应于所述a个查询词的访问页面相关联;将相应于所述a个查询词的访问页面中相应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列;以及获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述分词处理模块适于获取所述b个访问页面的b个标题;以及分别对每个查询词和所述b个标题进行分词处理,以获得相应于每个查询词的c个关键词。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述权重计算模块还适于根据用户访问所述b个访问页面的次数、显示所述b个访问页面中的每个页面的搜索结果页在搜索结果中所在的页码和/或所述b个访问页面在所述搜索结果页中的位置,以及所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述向量建立模块还适于根据每个用户的用户行为向量,建立所述N个用户的用户行为矩阵;且所述相似度计算模块还适于计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述用户行为矩阵为稀疏矩阵。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述相似度计算模块适于通过计算所述N个用户中每两个用户的用户行为向量的余弦距离,计算所述每两个用户的用户行为向量之间的相似度。
可选地,在根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置中,其中所述分类模块适于通过自底向上的层次聚类方法,将所计算的相似度大于预先确定的相似度阈值的两个用户行为向量合并,获得(N-1)个用户行为向量和(N-1)个用户行为类簇;且所述相似度计算模块还适于对合并后的用户行为向量,计算用户的用户行为向量的相似度,且所述分类模块还适于根据所计算的相似度对所述用户进行再次合并,直到所述相似度计算模块和所述分类模块分别执行相似度计算和分类操作的次数i等于预先确定的合并次数阈值,或者所述相似度计算模块和所述分类模块分别第i次执行相似度计算和分类操作时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。
本发明提供了上述根据服务器的搜索日志数据进行用户分类的方法和装置。根据本发明的实施例,根据服务器的搜索日志数据进行用户分类方法和装置,对服务器的搜索日志数据进行处理,并根据该数据自身的一个或多个参数,对用户进行分类,可以更有效地分析、记录、统计、发掘用户的兴趣点以及兴趣点的分布,进而对服务器的搜索日志数据进行系统性管理、提高了服务器的搜索效率、有助于为用户提供个性化服务,提高了进行各种针对性的广告推送或其他服务的效率。此外,根据本发明的示例性实施例,先是通过服务器的搜索日志数据中的用户会话标识将会话存活期内的用户访问记录与相应的用户会话标识关联起来,然后再可选地采用会话持续时间阈值划分,减少了对同一会话里记录的错误划分,使数据处理的准确性更高,从而解决了仅基于时间划分用户会话导致较大误差的技术问题。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法的流程图;以及
图2是根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的第一方面,提供了一种根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法100。
图1示出了根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的方法100的流程图。
在本发明的实施例中,服务器可以是一个或多个服务器计算机,可设置为提供某种服务器功能,例如数据库管理和搜索引擎。服务器可以包括至少一个处理器,其与存储器以及多个其它模块协同操作。所述处理器可以包括多个核心,以用于多线程或并行处理。所述存储器可以包括一个或多个存储设备,存储器或者其中的存储设备包括非易失性计算机可读记录/存储介质。
在本发明的实施例中,用户可使用用户端,例如桌面计算机、笔记本计算机、服务器、工作站、平板电脑、智能手机等运行操作系统的各种终端设备,通过通信网络与服务器进行信息交换,例如发送/接收标识信息、发送/接收数据文件,如图片等。所述服务器可以通过有线方式(例如,USB电缆)与用户端,也可以通过无线方式(例如,蓝牙或无线局域网)与用户端通信。
以上服务器和用户端的实施例仅为示例,本发明的范围并不局限于此,而是可以应用于各种服务器和用户端。
如图1所示,根据服务器的搜索日志数据进行用户分类的方法100始于步骤S101:从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且被用户访问过的b个访问页面。可选地,N、a和b是大于0的正整数,a可以等于b,也可以不等于b。
在本发明的实施例中,服务器的搜索日志数据可以包括用户的IP地址,用户的cookie标识、用户会话标识、用户搜索时使用的查询词、根据每个查询词搜索到的并且用户访问过的访问页面的URL、用户访问每个访问页面的时间、用户代理等信息。
在本发明的实施例中,可选地,服务器的搜索日志数据可对应于用户和/或服务器的以下行为:用户在用户端的查询界面中输入搜索时使用的查询词,服务器根据所述查询词搜索到搜索结果并向用户展现该搜索结果。可选地,该服务器的搜索日志数据可包括用户进行搜索的时间、日期、用户的IP地址、用户搜索时使用的查询词等,如表1所示。例如,用户在2014年3月18日的17:29:50,使用查询词“天天向上”进行搜索,该用户的IP地址为220.181.19.177;另一用户在2014年3月18日的18:30:50,使用查询词“天下足球”进行搜索,该用户的IP地址为121.13.53.89。对应于上述两个用户的搜索行为,可获得如表1所示的服务器的搜索日志数据。
表1服务器的搜索日志数据
在本发明的实施例中,可选地,服务器的搜索日志数据还可对应于用户和/或服务器的以下行为:用户在用户端的查询界面中输入搜索时使用的查询词,服务器根据所述查询词搜索到搜索结果并向用户展现该搜索结果,如果用户对服务器根据该查询词搜索到的搜索结果比较满意,则访问相应的搜索结果的页面。可选地,该服务器的日志数据可包括用户的IP地址、用户搜索时使用的a个查询词、根据每个查询词搜索到的并且用户访问过的b个访问页面、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置,如表2所示。例如,用户使用查询词“天天向上”进行搜索,该用户的IP地址为220.181.19.177,服务器根据用户的查询词向用户提供展现搜索结果,用户在搜索结果页上点击他所感兴趣的搜索结果,即,点击展现在搜索结果的第1页的第2位置的页面,从而访问该页面,该访问页面的URL为http://www.iqiyi.com/v_19rrhtxdv8.html;另一用户使用查询词“天下足球”进行搜索,该用户的IP地址为121.13.53.89,服务器根据用户的查询词向用户提供展现搜索结果,用户在搜索结果页上点击他所感兴趣的搜索结果,即,点击展现在搜索结果的第1页的第2位置的页面,从而访问该页面,该访问页面的URL为http://cctv.cntv.cn/lm/tianxiazuqiu/。对应于上述两个用户的搜索行为,可获得如表2所示的服务器的搜索日志数据。
以上用户、查询词和访问页面的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用多个查询词,且针对每个查询词,每个用户可以访问多个搜索结果页面。
表2服务器的搜索日志数据
在本发明的实施例中,以表2所示的服务器的搜索日志数据为例,方法100的步骤S101可以是:从服务器的搜索日志数据中获取2个用户中每个用户搜索时使用的查询词,即分别为“天天向上”和“天下足球”,以及根据每个查询词搜索到的并且被用户访问过的1个访问页面,即,根据查询词“天天向上”搜索到的并且被用户访问过的1个访问页面http://www.iqiyi.com/v_19rrhtxdv8.html,以及根据查询词“天下足球”搜索到的并且被用户访问过的1个访问页面http://cctv.cntv.cn/lm/tianxiazuqiu。以上用户、查询词和访问页面的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用多个查询词,且针对每个查询词,每个用户可以访问多个搜索结果页面。
在本发明的一个示例性实施例中,步骤S101还可包括:从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;以及分别获取每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面。
在本发明的实施例中,服务器的搜索日志数据中的用户的cookie标识可用于分辨用户,用户的cookie标识是站点根据用户的浏览器写入其本地的一个唯一标识,当用户再次向服务器请求访问页面时,该标识被附加在请求中返回给服务器,故此可以用于客户身份识别。由此,服务器的搜索日志数据可如表3所示。根据如表3所示的服务器的搜索日志数据,可获取用户的cookie标识,以识别用户,可选地,为每个用户分配一个用户ID,可根据用户的ID,分别获取N个用户中每个用户搜索时使用的a个查询词以及根据每个查询词搜索到的并且用户访问过的b个访问页面。例如,可根据服务器搜索日志数据中获取每个用户的cookie标识,并根据该cookie标识识别每个用户,可选地,为使用该服务器进行搜索的两个用户分别分配用户ID“1”和“2”。对于用户ID为“1”和“2”的用户,分别从服务器的搜索日志数据中获取每个用户搜索时使用的查询词、根据该查询词搜索到的并且用户访问过的访问页面、访问该页面的日期和时间等。
以上用户、查询词和访问页面的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用多个查询词,且针对每个查询词,每个用户可以访问多个搜索结果页面。
表3具有用户识别结果的服务器的搜索日志数据
在本发明的一个示例性实施例中,步骤S101还可包括:从服务器的搜索日志数据中获取每个用户的IP地址、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置。可选地,可首先从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;再针对每个用户,分别获取用户的上述数据。可选地,也可以不通过cookie标识识别用户,而是从服务器的搜索日志数据中获取其他标识,例如用户的IP地址,来分别获取用户的上述数据。
如表2所示,可选地,从表2所示的服务器的搜索日志数据中,对于用户ID为“1”的用户,除了可以获取用户使用的查询词“天天向上”以及根据该查询词搜索到的并且被用户访问过的1个访问页面,还可以获取该用户的IP地址“220.181.19.177”、用户访问该访问页面的日期“20140318”和时间“17:29:50”、该访问页面的URL“http://www.iqiyi.com/v_19rrhtxdv8.html”、显示该访问页面的搜索结果页在搜索结果中所在的页码“1”、该访问页面在所述搜索结果页中的位置“2”等数据。
在本发明的一个示例性实施例中,步骤S101可包括:步骤S111:从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列,其中f为大于等于1的正整数;步骤S121:将每个用户会话标识与相应于所述a个查询词的访问页面相关联;步骤S131:将对应于所述a个查询词的访问页面中相应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列;以及步骤S141:获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。
根据本发明的实施例,用户会话可以是指用户对服务器的一次有效访问,是用户在预定时间间隔内访问的一组访问页面的序列。一次用户会话就是单个用户在搜索结果页上浏览的点击流。但由于搜索日志中存储大量的访问信息,时间跨度也比较大,用户可能在此期间多次访问站点,通过会话识别可以将用户多次访问的页面划分成多次用户会话。
表4是根据本发明的实施例的从服务器的搜索日志数据中所获取的用户会话表。
在步骤S111中,参考表4,可从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列,其中f为大于等于1的正整数,f可以等于也可以不等于a或b。可选地,可将每个用户在预定时间间隔,例如30分钟,访问服务器的点击流分为多个用户会话,且可从服务器的搜索日志数据中获取每个用户的用于标识用户会话的用户会话标识,如表4中所示的2个用户会话标识“1”和“2”。可选地,每个用户会话中,用户可以使用多个查询词进行搜索并访问对应于所述多个查询词的搜索结果中的页面。可选地,在用户使用每个查询词进行搜索时,可在多个用户会话中访问对应于所述多个查询词的搜索结果中的页面。应理解,表4中仅示出了每个用户的用于表示用户会话的1个用户会话标识,而本发明不限于此,每个用户可进行多个用户会话,且可从服务器的搜索日志数据中获取每个用户的多个用户会话标识。
在步骤S121中,将每个用户会话标识与相应于所述a个查询词的访问页面相关联。例如,服务器的搜索日志数据可包括查询词“天天向上”和“天下足球”,以及对应于这两个查询词的访问页面P1,P2,…以及P3,P4,…。其中,在用户1的用户会话标识为“1”的用户会话中,用户1使用查询词“天天向上”搜索到且访问过访问页面P1、P2…,则将用户会话标识“1”与对应于查询词“天天向上”的访问页面P1、P2…相关联,如表4所示。同理,将用户2的用户会话标识“2”与对应于查询词“天下足球”的访问页面P3、P4…相关联。
应理解,表4仅示出了在用户1的用户会话标识为“1”的用户会话中,用户ID为“1”的用户使用一个查询词“天天向上”进行搜索的示例性实施例。可选地,在用户1的一个用户会话中,例如用户会话标识为“1”的用户会话中,用户1可使用多个查询词,例如3个查询词A、B和C进行搜索,并且根据该查询词A、B、C分别搜索到并且被用户访问过m、n、p个访问页面;即,在用户1的用户会话标识为“1”的用户会话中,用户搜索时使用3个查询词A、B、C,对应于这3个查询词的访问页面为(m+n+p)个访问页面,则将用户会话标识“1”与对应3个查询词的(m+n+p)个访问页面相关联。可选地,在用户1的多个用户会话中,例如在用户1的多个用户会话D、E、F中,用户1可仅使用一个查询词进行搜索,并分别访问搜索到的r、s、t个页面,则将用户会话标识D与r个访问页面相关联,将用户会话标识E与s个访问页面相关联,将用户会话标识F与t个访问页面相关联。
在步骤S131中,将对应于所述a个查询词的访问页面中对应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列。例如,参考表4,将对应于查询词“天天向上”中相应于用户会话标识“1”的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列“P1,P2,…”。可选地,在用户使用一个查询词进行搜索,并在多个用户会话D、E、F中分别访问搜索到的r、s、t个页面的情况下,将用户会话标识D与r个访问界面相关联并将r个访问页面按照用户访问每个访问页面的时间进行排序,以形成对应于每个用户会话标识的访问页面的序列,以此类推。
在步骤S141中,获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。参考表4,分别获取预定时间间隔内对应于用户会话标识“1”的访问页面的序列“P1,P2,…”,以及对应于用户会话标识“2”的访问页面的序列“P3,P4,…”。
表4用户会话表
根据上述本发明的示例性实施例,首先将单个用户访问页面的服务器搜索日志数据按用户会话标识进行关联,再按时间排序,形成用户访问页面序列,可选地再依据时间阈值进行划分,每一会话可通过用户ID和访问页面的时间进行标识,将按时间顺序对所有会话序列组织在一起。
而传统的会话识别仅仅是基于时间的划分,通过设置用户访问页面的持续时间或页面的停留时间阈值来识别用户会话;如果相邻的两个页面的时间差超过预定时间阈值,则认为两个页面分属两个不同的会话序列。但该方法可能使原本在同一个会话里的记录被划分到不同的会话中,导致较大的会话识别误差。
根据本发明的示例性实施例,先是通过服务器的搜索日志数据中的用户会话标识将会话存活期内的用户访问记录与相应的用户会话标识关联起来,然后再可选地采用会话持续时间阈值划分,减少了对同一会话里记录的错误划分,使数据处理的准确性更高,从而解决了仅基于时间划分用户会话导致较大误差的技术问题。
再次参考图1,步骤S101之后,进行步骤S103:分别对每个查询词和相应于每个查询词的所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词。在本发明的示例性实施例中,分词处理可以是将字符序列切分成一个或多个单独的词的过程,可以是将连续的字符序列按照一定的规范重新组合成词序列的过程。可选地,可通过基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法或者其他方法,对每个查询词和对应于每个查询词的所述b个访问页面进行分词处理。
根据本发明的示例性实施例,步骤S103可包括:获取所述b个访问页面的b个标题;以及分别对每个查询词和所述b个标题进行分词处理,以获得相应于每个查询词的c个关键词。可选地,也可以对b个访问页面的全部文本或部分文本进行分词处理,以获得相应于每个查询词的c个关键词。
为了便于说明,将访问页面的标题用“T”表示,将用户搜索时使用的查询词用“Q”表示,并且将分词处理后所获得的关键词用“t”表示。对于用户标识为u的用户,以下称“用户u”,该用户搜索时使用查询词Q1、Q2…,根据每个查询词搜索到的并且被用户访问过的访问页面的标题分别为(T1、T2、T3…)、(T4、T5、T6…)…。而每个查询词Q和对应该查询词Q的访问页面的标题T都是由一些关键词t组成,则对每个查询词Q和访问页面的标题T进行分词处理,获得相应于每个查询词的关键词,将这些关键词表征为集合k,则有
t1=<(k(Q)1,k(T)1,k(T)2,k(T)3,…)>
t2=<(k(Q)2,k(T)4,k(T)5,k(T)6,…)>…(1)
而对于用户u,在用户会话内所有查询词Q和对应于每个查询词的访问页面所对应的关键词为:
tu=<((k(Q)1,k(T)1,k(T)2,k(T)3,…),((k(Q)2,k(T)4,k(T)5,k(T)6,…)),…>  (2)
应理解,在仅对访问页面的标题进行处理时,可用T表示访问页面的标题。当对访问页面的其他部分或全部进行分词处理时,T可用来表示使用某一查询词Q进行搜索时根据该查询词搜索到并被用户u访问某一访问页面。以上用户、查询词、访问页面和关键词的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用其他数量的查询词、访问页面和关键词。
再次参考图1,步骤S103之后,进行步骤S105:根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。
当用户u在使用某一查询词Q进行搜索时,根据该查询词搜索到并被用户u访问某一访问页面T,则关键词t在该查询词Q和该访问页面的标题T中出现的次数为:
TFt(Q,T)=sum(t∈k(Q)∪t∈k(T))  (3)
则在用户会话内,对应于用户搜索时使用的所有查询词Q以及根据每个查询词搜索到的并且被用户访问过的访问页面T,关键词t的权重为:
suore u ( t ) = &Sigma; Q , T &Element; t u TF t ( Q , T ) &times; &beta; - - - ( 4 )
其中β为权重因子。
根据本发明的示例性实施例,步骤S105还包括:根据用户访问所述b个访问页面的次数、显示所述b个访问页面中的每个页面的搜索结果页在搜索结果中所在的页码和/或所述b个访问页面在所述搜索结果页中的位置,以及所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。
可选地,用户u在使用某一查询词Q时,访问某一页面T的次数为:
PVu(Q,T)=sum(T(Q,T))  (5)
可选地,用户u在使用某一查询词Q时,将显示其所访问的某一页面T的搜索结果页在搜索结果中所在的页码pg(Q,T)的倒数作为该访问页面T的排名:
PG u ( Q , T ) = 1 pg ( Q , T ) - - - ( 6 )
可选地,用户u在使用某一查询词Q时,将其所访问的某一访问页面T在所述搜索结果页中的位置pos(Q,T)的倒数作为该访问页面T的相似性:
SM u ( Q , T ) = 1 pos ( Q , T ) - - - ( 7 )
则在用户会话内,对应于用户搜索时使用的所有查询词Q以及根据每个查询词搜索到的并且被用户访问过的访问页面T,关键词t的权重为:
其中β为权重因子。
应理解,当用户并未对服务器所提供的搜索结果进行点击时,即无点击行为,可以仅根据关键词t在该查询词Q和该访问页面的标题T中出现的次数TFt(Q,T)来计算关键词t的权重。
参考图1,方法100还包括步骤S107,根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量Vu
Vu={(t1,scoreu(t1)),(t2,scoreu(t2)),(t3,0),...,(tn,scoreu(tn))}    (9)
其中向量Vu是稀疏向量,如果在用户会话内所有查询词Q和对应于每个查询词的访问页面所对应的关键词tu中包含关键词ti,则权重为scoreu(t),否则,权重为0。
表5示出了根据关键词和关键词的权重,为5个用户中的每个用户建立用户行为向量,其中,表5仅示出了用户行为向量中的非零元素,而省略了tu中未包含关键词ti,即权重为0的关键词。如表5所示,对于用户1,其用户行为向量V1由对查询词和相应的访问界面进行分词处理后获得的关键词以及关键词的权重组成,例如,V1={(婚纱摄影,0.7071067811865475),(大连,0.35355339059327373),(件套,0.35355339059327373),…,(欣赏,0.17677669529663687)}。对于用户2,用户行为向量V2={(Lol,0.7179581586177382),(小苍,0.6461623427559643),(美女,0.14359163172354764),…,(写真照,0.07179581586177382)}。对于用户5,用户行为向量V5={(影视综合,0.5773502691896258),(电影,0.5773502691896258),(洛杉矶之战,0.5773502691896258)}。
表5用户行为向量(非0元素)
如图1所示,方法100还包括步骤S109:计算所述N个用户的用户行为向量的相似度。
根据本发明的示例性实施例,步骤S107还包括:根据每个用户的用户行为向量,建立所述N个用户的用户行为矩阵;且步骤S109还包括:计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
如上所示,每个用户的用户行为向量为Vu,根据该用户行为向量,可建立所述N个用户的用户行为矩阵:
V = 0 score 1 ( t 2 ) . . . score 1 ( t n ) score 2 ( t 1 ) 0 . . . score 2 ( t n ) . . . . . . . . . . . . score m ( t 1 ) . . . . . . score m ( t n ) - - - ( 10 )
可选地,所述用户行为矩阵为稀疏矩阵。根据用户行为矩阵,计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
根据本发明的示例性实施例,计算所述N个用户的用户行为向量的相似度的步骤S109包括:通过计算所述N个用户中每两个用户的用户行为向量的余弦距离,计算所述每两个用户的用户行为向量之间的相似度。可选地,矩阵V中每两个用户的用户行为向量的余弦距离为:
cos sim = | v i &cap; v j | | v i | | v j | - - - ( 11 )
可选地,也可以通过计算用户行为向量或用户行为矩阵的其他参数,例如欧氏距离和杰卡德距离,来计算所述每两个用户的用户行为向量之间的相似度。
再次参考图1,方法100还包括步骤S111:根据所计算的相似度,对所述N个用户进行分类。
根据本发明的示例性实施例,步骤S111可包括:通过自底向上的层次聚类方法,将所计算的相似度大于预先确定的相似度阈值的两个用户行为向量合并,获得(N-1)个用户行为向量和(N-1)个用户行为类簇;且所述方法100还包括:对合并后的用户行为向量,重复步骤S109和步骤S111,直到执行步骤S109和步骤S111的次数i等于预先确定的合并次数阈值,或者第i次执行步骤S109和步骤S111时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。可选地,可通过自顶向下的层次聚类方法,或其他聚类方法,如CL层次聚类、AL层次聚类和SL层次聚类方法,对用户进行分类。
可选地,利用自底向上的层次聚类方法,将相似度大于预先确定的相似度阀值的两个用户行为向量进行合并。例如,在N个用户的用户行为矩阵中,若存在相似度大于预先确定的相似度阀值的两个用户行为向量vi=(scorei(t1),0,...,scorei(tk),...,scorei(tn))和vj=(0,scorej(t2),...,scorej(tk),...,0),且可选地其中有共同的关键词元素tk,则将这两个用户行为向量合并为:
v i = ( score i ( t 1 ) , score j ( t 2 ) , . . . , score i ( t k ) + score j ( t k ) 2 , . . . , score i ( t n ) )
从而获得(N-1)个用户行为向量和(N-1)个用户行为类簇。
利用上述方法,重复步骤S109和步骤S111,直到执行步骤S109和步骤S111的次数i等于预先确定的合并次数阈值,或者第i次执行步骤S109和步骤S111时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。
表6示出了将用户行为向量合并后获得的用户行为类簇。参考表6,以用户4和用户5为例。根据用户4的相应于每个查询词的关键词和关键词的权重,为用户4建立用户行为向量V4=<形意拳,0.7071067811865475;真谛,0.7071067811865475>;根据用户5的相应于每个查询词的关键词和关键词的权重,为用户5建立用户行为向量V5=<形意拳,0.9998987592981807;svideo-pic,0.008899169547635904…>;计算用户4和用户5的用户行为向量V4和V5之间的相似度;如果这两个用户行为向量V4和V5的相似度大于预先确定的相似度阀值,且可选地其中有共同的关键词元素“形意拳”,则将这两个用户行为向量合并,其中合并后的关键词“形意拳”的权重为:
(0.7071067811865475+0.9998987592981807)/2=0.8535027702423641
从而获得合并后的一个用户行为向量V123=<真谛,0.7071067811865475;形意拳,0.8535027702423641;svideo-pic,0.008899169547635904;…>和一个用户行为类簇“用户1用户2用户3”。
同理,从服务器的搜索日志中获取的7个用户的数据,根据方法100获得7个用户中每个用户的关键词以及每个关键词的权重,获得如表6所示的用户1-用户7的用户行为向量V1~V7,计算这7个用户行为向量的相似度,对这7个用户进行分类。例如,将用户1、用户2和用户3的用户行为向量合并,获得用户行为向量V123和用户行为类簇“用户1用户2用户3”;将用户4和用户5的用户行为向量合并,获得用户行为向量V45和用户行为类簇“用户4用户5”;将用户6和用户7的用户行为向量合并,获得用户行为向量V67和用户行为类簇“用户6用户7”。如表6所示,共获得合并后的3个用户行为向量和3个用户行为类簇。
可选地,可对表6所示的合并后的3个用户行为向量重复步骤S109和S111,即,计算用户行为向量V123、V45和V67之间的相似度并根据所计算的相似度对用户行为向量V123、V45和V67再进行分类,直到执行步骤S109和步骤S111的次数i等于预先确定的合并次数阈值,或者第i次执行步骤S109和步骤S111时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值。
表6用户行为聚类
总之,本发明的实施方式提供的根据服务器的搜索日志数据进行用户分类的方法100,对服务器的搜索日志数据进行处理,并根据该数据自身的一个或多个参数,对用户进行分类,可以更有效地分析、记录、统计、发掘用户的兴趣点以及兴趣点的分布,进而对服务器的搜索日志数据进行系统性管理、提高了服务器的搜索效率、有助于为用户提供个性化服务,提高了进行各种针对性的广告推送或其他服务的效率。此外,根据本发明的示例性实施例,先是通过服务器的搜索日志数据中的用户会话标识将会话存活期内的用户访问记录与相应的用户会话标识关联起来,然后再可选地采用会话持续时间阈值划分,减少了对同一会话里记录的错误划分,使数据处理的准确性更高,从而解决了仅基于时间划分用户会话导致较大误差的技术问题。
根据本发明的第二方面,提供了一种根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置200。
图2示出了根据本发明的实施例的根据服务器的搜索日志数据进行用户分类的装置200的示意图。
在本发明的实施例中,服务器可以是一个或多个服务器计算机,可设置为提供某种服务器功能,例如数据库管理和搜索引擎。服务器可以包括至少一个处理器,其与存储器以及多个其它模块协同操作。所述处理器可以包括多个核心,以用于多线程或并行处理。所述存储器可以包括一个或多个存储设备,存储器或者其中的存储设备包括非易失性计算机可读记录/存储介质。
在本发明的实施例中,用户可使用用户端,例如桌面计算机、笔记本计算机、服务器、工作站、平板电脑、智能手机等运行操作系统的各种终端设备,通过通信网络与服务器进行信息交换,例如发送/接收标识信息、发送/接收数据文件,如图片等。所述服务器可以通过有线方式(例如,USB电缆)与用户端,也可以通过无线方式(例如,蓝牙或无线局域网)与用户端通信。
以上服务器和用户端的实施例仅为示例,本发明的范围并不局限于此,而是可以应用于各种服务器和用户端。
如图2所示,根据服务器的搜索日志数据进行用户分类的装置200可包括查询词及访问页面获取模块201、分词处理模块203、权重计算模块205、向量建立模块207、相似度计算模块209和分类模块211。
查询词及访问页面获取模块201适于从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且被用户访问过的b个访问页面。可选地,a和b是大于0的正整数,a可以等于b,也可以不等于b。可选地,查询词及访问页面获取模块201适于执行方法100中的步骤S101。
在本发明的实施例中,服务器的搜索日志数据可以包括用户的IP地址,用户的cookie标识、用户会话标识、用户搜索时使用的查询词、根据每个查询词搜索到的并且用户访问过的访问页面的URL、用户访问每个访问页面的时间、用户代理等信息。
在本发明的实施例中,可选地,服务器的搜索日志数据可对应于用户和/或服务器的以下行为:用户在用户端的查询界面中输入搜索时使用的查询词,服务器根据所述查询词搜索到搜索结果并向用户展现该搜索结果。可选地,该服务器的搜索日志数据可包括用户进行搜索的时间、日期、用户的IP地址、用户搜索时使用的查询词等,如表1所示。例如,用户在2014年3月18日的17:29:50,使用查询词“天天向上”进行搜索,该用户的IP地址为220.181.19.177;另一用户在2014年3月18日的18:30:50,使用查询词“天下足球”进行搜索,该用户的IP地址为121.13.53.89。对应于上述两个用户的搜索行为,可获得如表1所示的服务器的搜索日志数据。
在本发明的实施例中,可选地,服务器的搜索日志数据还可对应于用户和/或服务器的以下行为:用户在用户端的查询界面中输入搜索时使用的查询词,服务器根据所述查询词搜索到搜索结果并向用户展现该搜索结果,如果用户对服务器根据该查询词搜索到的搜索结果比较满意,则访问相应的搜索结果的页面。可选地,该服务器的日志数据可包括用户的IP地址、用户搜索时使用的a个查询词、根据每个查询词搜索到的并且用户访问过的b个访问页面、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置,如表2所示。例如,用户使用查询词“天天向上”进行搜索,该用户的IP地址为220.181.19.177,服务器根据用户的查询词向用户提供展现搜索结果,用户在搜索结果页上点击他所感兴趣的搜索结果,即,点击展现在搜索结果的第1页的第2位置的页面,从而访问该页面,该访问页面的URL为http://www.iqiyi.com/v_19rrhtxdv8.html;另一用户使用查询词“天下足球”进行搜索,该用户的IP地址为121.13.53.89,服务器根据用户的查询词向用户提供展现搜索结果,用户在搜索结果页上点击他所感兴趣的搜索结果,即,点击展现在搜索结果的第1页的第2位置的页面,从而访问该页面,该访问页面的URL为http://cctv.cntv.cn/lm/tianxiazuqiu/。对应于上述两个用户的搜索行为,可获得如表2所示的服务器的搜索日志数据。
以上用户、查询词和访问页面的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用多个查询词,且针对每个查询词,每个用户可以访问多个搜索结果页面。
在本发明的实施例中,以表2所示的服务器的搜索日志数据为例,查询词及访问页面获取模块201适于从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的1个查询词“天天向上”或“天下足球”,以及根据每个查询词搜索到的并且被用户访问过的1个访问页面,即,根据查询词“天天向上”搜索到的并且被用户访问过的1个访问页面http://www.iqiyi.com/v_19rrhtxdv8.html,以及根据查询词“天下足球”搜索到的并且被用户访问过的1个访问页面http://cctv.cntv.cn/lm/tianxiazuqiu。以上用户、查询词和访问页面的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用多个查询词,且针对每个查询词,每个用户可以访问多个搜索结果页面。
在本发明的一个示例性实施例中,查询词及访问页面获取模块201还适于:从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;以及分别获取每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面。
在本发明的实施例中,服务器的搜索日志数据中的用户的cookie标识可用于分辨用户,用户的cookie标识是站点根据用户的浏览器写入其本地的一个唯一标识,当用户再次向服务器请求访问页面时,该标识被附加在请求中返回给服务器,故此可以用于客户身份识别。由此,服务器的搜索日志数据可如表3所示。查询词及访问页面获取模块201可适于根据如表3所示的服务器的搜索日志数据,获取每个用户的cookie标识,以识别每个用户,可选地,为每个用户分配一个用户ID,查询词及访问页面获取模块201可根据用户的ID,分别获取N个用户中每个用户搜索时使用的a个查询词以及根据每个查询词搜索到的并且用户访问过的b个访问页面。例如,查询词及访问页面获取模块201可根据服务器搜索日志数据中获取每个用户的cookie标识,并根据该cookie标识识别每个用户,可选地,为使用该服务器进行搜索的两个用户分别分配用户ID“1”和“2”。对于用户ID为“1”和“2”的用户,查询词及访问页面获取模块201适于分别从服务器的搜索日志数据中获取每个用户搜索时使用的查询词、根据该查询词搜索到的并且用户访问过的访问页面、访问该页面的日期和时间等。
以上用户、查询词和访问页面的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用多个查询词,且针对每个查询词,每个用户可以访问多个搜索结果页面。
在本发明的一个示例性实施例中,查询词及访问页面获取模块201还适于:从服务器的搜索日志数据中获取每个用户的IP地址、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置。可选地,查询词及访问页面获取模块201可首先从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;再针对每个用户,分别获取用户的上述数据。可选地,也可以不通过cookie标识识别用户,而是从服务器的搜索日志数据中获取其他标识,例如用户的IP地址,来分别获取用户的上述数据。
如表2所示,可选地,从表2所示的服务器的搜索日志数据中,对于用户ID为“1”的用户,查询词及访问页面获取模块201除了可以获取用户使用的查询词“天天向上”以及根据该查询词搜索到的并且被用户访问过的1个访问页面,还可以获取该用户的IP地址“220.181.19.177”、用户访问该访问页面的日期“20140318”和时间“17:29:50”、该访问页面的URL“http://www.iqiyi.com/v_19rrhtxdv8.html”、显示该访问页面的搜索结果页在搜索结果中所在的页码“1”、该访问页面在所述搜索结果页中的位置“2”等数据。
在本发明的一个示例性实施例中,查询词及访问页面获取模块201还适于:从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列,其中f为大于等于1的正整数;将每个用户会话标识与相应于所述a个查询词的访问页面相关联;将对应于所述a个查询词的访问页面中相应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列;以及获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。
根据本发明的实施例,用户会话可以是指用户对服务器的一次有效访问,是用户在预定时间间隔内访问的一组访问页面的序列。一次用户会话就是单个用户在搜索结果页上浏览的点击流。但由于搜索日志中存储大量的访问信息,时间跨度也比较大,用户可能在此期间多次访问站点,通过会话识别可以将用户多次访问的页面划分成多次用户会话。
表4是根据本发明的实施例的从服务器的搜索日志数据中所获取的用户会话表。
参考表4,查询词及访问页面获取模块201可从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列,其中f为大于等于1的正整数,f可以等于也可以不等于a或b。可选地,查询词及访问页面获取模块201可将每个用户在预定时间间隔,例如30分钟,访问服务器的点击流分为多个用户会话,且可从服务器的搜索日志数据中获取每个用户的用于标识用户会话的用户会话标识,如表4中所示的2个用户会话标识“1”和“2”。可选地,每个用户会话中,用户可以使用多个查询词进行搜索并访问对应于所述多个查询词的搜索结果中的页面。可选地,在用户使用每个查询词进行搜索时,可在多个用户会话中访问对应于所述多个查询词的搜索结果中的页面。应理解,表4中仅示出了每个用户的用于表示用户会话的1个用户会话标识,而本发明不限于此,每个用户可进行多个用户会话,且可从服务器的搜索日志数据中获取每个用户的多个用户会话标识。
查询词及访问页面获取模块201适于将每个用户会话标识与相应于所述a个查询词的访问页面相关联。例如,服务器的搜索日志数据可包括查询词“天天向上”和“天下足球”,以及对应于这两个查询词的访问页面P1,P2,…以及P3,P4,…。其中,在用户1的用户会话标识为“1”的用户会话中,用户1使用查询词“天天向上”搜索到且访问过访问页面P1、P2…,则查询词及访问页面获取模块201适于将用户会话标识“1”与对应于查询词“天天向上”的访问页面P1、P2…相关联,如表4所示。同理,查询词及访问页面获取模块201适于将用户2的用户会话标识“2”与对应于查询词“天下足球”的访问页面P3、P4…相关联。
应理解,表4仅示出了在用户1的用户会话标识为“1”的用户会话中,用户ID为“1”的用户使用一个查询词“天天向上”进行搜索的示例性实施例。可选地,在用户1的一个用户会话中,例如用户会话标识为“1”的用户会话中,用户1可使用多个查询词,例如3个查询词A、B和C进行搜索,并且根据该查询词A、B、C分别搜索到并且被用户访问过m、n、p个访问页面;即,在用户1的用户会话标识为“1”的用户会话中,用户搜索时使用3个查询词A、B、C,对应于这3个查询词的访问页面为(m+n+p)个访问页面,则查询词及访问页面获取模块201适于将用户会话标识“1”与对应3个查询词的(m+n+p)个访问页面相关联。可选地,在用户1的多个用户会话中,例如在用户1的多个用户会话D、E、F中,用户1可仅使用一个查询词进行搜索,并分别访问搜索到的r、s、t个页面,则查询词及访问页面获取模块201适于将用户会话标识D与r个访问页面相关联,将用户会话标识E与s个访问页面相关联,将用户会话标识F与t个访问页面相关联。
查询词及访问页面获取模块201适于将对应于所述a个查询词的访问页面中对应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列。例如,参考表4,查询词及访问页面获取模块201适于将对应于查询词“天天向上”中相应于用户会话标识“1”的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列“P1,P2,…”。可选地,在用户使用一个查询词进行搜索,并在多个用户会话D、E、F中分别访问搜索到的r、s、t个页面的情况下,查询词及访问页面获取模块201适于将用户会话标识D与r个访问界面相关联并将r个访问页面按照用户访问每个访问页面的时间进行排序,以形成对应于每个用户会话标识的访问页面的序列,以此类推。
查询词及访问页面获取模块201适于获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。参考表4,查询词及访问页面获取模块201适于分别获取预定时间间隔内对应于用户会话标识“1”的访问页面的序列“P1,P2,…”,以及对应于用户会话标识“2”的访问页面的序列“P3,P4,…”。
根据上述本发明的示例性实施例,查询词及访问页面获取模块201适于首先将单个用户访问页面的服务器搜索日志数据按用户会话标识进行关联,再按时间排序,形成用户访问页面序列,可选地再依据时间阈值进行划分,每一会话可通过用户ID和访问页面的时间进行标识,将按时间顺序对所有会话序列组织在一起。
而传统的会话识别仅仅是基于时间的划分,通过设置用户访问页面的持续时间或页面的停留时间阈值来识别用户会话;如果相邻的两个页面的时间差超过预定时间阈值,则认为两个页面分属两个不同的会话序列。但这种方式可能使原本在同一个会话里的记录被划分到不同的会话中,导致较大的会话识别误差。
根据本发明的示例性实施例,查询词及访问页面获取模块201适于先是通过服务器的搜索日志数据中的用户会话标识将会话存活期内的用户访问记录与相应的用户会话标识关联起来,然后再可选地采用会话持续时间阈值划分,减少了对同一会话里记录的错误划分,使数据处理的准确性更高,从而解决了仅基于时间划分用户会话导致较大误差的技术问题。
再次参考图2,装置200还包括分词处理模块203,适于分别对每个查询词和相应于每个查询词的所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词。可选地,分词处理模块203适于执行方法100中的步骤S103。
在本发明的示例性实施例中,分词处理模块203可以将字符序列切分成一个或多个单独的词,可以是将连续的字符序列按照一定的规范重新组合成词序列。可选地,分词处理模块203可通过基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法或者其他方法,对每个查询词和对应于每个查询词的所述b个访问页面进行分词处理。
根据本发明的示例性实施例,分词处理模块203适于:获取所述b个访问页面的b个标题;以及分别对每个查询词和所述b个标题进行分词处理,以获得相应于每个查询词的c个关键词。可选地,分词处理模块203也可以对b个访问页面的全部文本或部分文本进行分词处理,以获得相应于每个查询词的c个关键词。
为了便于说明,将访问页面的标题用“T”表示,将用户搜索时使用的查询词用“Q”表示,并且将分词处理后所获得的关键词用“t”表示。对于用户标识为u的用户,以下称“用户u”,该用户搜索时使用查询词Q1、Q2…,根据每个查询词搜索到的并且被用户访问过的访问页面的标题分别为(T1、T2、T3…)、(T4、T5、T6…)…。而每个查询词Q和对应该查询词Q的访问页面的标题T都是由一些关键词t组成,则分词处理模块203对每个查询词Q和访问页面的标题T进行分词处理,获得相应于每个查询词的关键词,将这些关键词表征为集合k,则有
t1=<(k(Q)1,k(T)1,k(T)2,k(T)3,…)>
t2=<(k(Q)2,k(T)4,k(T)5,k(T)6,…)>…(1)
而对于用户u,在用户会话内所有查询词Q和对应于每个查询词的访问页面所对应的关键词为:
tu=<((k(Q)1,k(T)1,k(T)2,k(T)3,…),((k(Q)2,k(T)4,k(T)5,k(T)6,…)),…>  (2)
应理解,在仅对访问页面的标题进行处理时,可用T表示访问页面的标题。当对访问页面的其他部分或全部进行分词处理时,T可用来表示使用某一查询词Q进行搜索时根据该查询词搜索到并被用户u访问某一访问页面。以上用户、查询词、访问页面和关键词的数量的实施例仅为示例,本发明的范围并不局限于此,可选地,每个用户可使用其他数量的查询词、访问页面和关键词。
再次参考图2,装置200还包括权重计算模块205,适于根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。可选地,权重计算模块205适于执行方法100中的步骤S105。
当用户u在使用某一查询词Q进行搜索时,根据该查询词搜索到并被用户u访问某一访问页面T,则关键词t在该查询词Q和该访问页面的标题T中出现的次数为:
TFt(Q,T)=sum(t∈k(Q)∪t∈k(T))  (3)
则在用户会话内,对应于用户搜索时使用的所有查询词Q以及根据每个查询词搜索到的并且被用户访问过的访问页面T,权重计算模块205计算的关键词t的权重为:
suore u ( t ) = &Sigma; Q , T &Element; t u TF t ( Q , T ) &times; &beta; - - - ( 4 )
其中β为权重因子。
根据本发明的示例性实施例,权重计算模块205还适于:根据用户访问所述b个访问页面的次数、显示所述b个访问页面中的每个页面的搜索结果页在搜索结果中所在的页码和/或所述b个访问页面在所述搜索结果页中的位置,以及所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。
可选地,用户u在使用某一查询词Q时,访问某一页面T的次数为:
PVu(Q,T)=sum(T(Q,T))  (5)
可选地,用户u在使用某一查询词Q时,将显示其所访问的某一页面T的搜索结果页在搜索结果中所在的页码pg(Q,T)的倒数作为该访问页面T的排名:
PG u ( Q , T ) = 1 pg ( Q , T ) - - - ( 6 )
可选地,用户u在使用某一查询词Q时,将其所访问的某一访问页面T在所述搜索结果页中的位置pos(Q,T)的倒数作为该访问页面T的相似性:
SM u ( Q , T ) = 1 pos ( Q , T ) - - - ( 7 )
则在用户会话内,对应于用户搜索时使用的所有查询词Q以及根据每个查询词搜索到的并且被用户访问过的访问页面T,权重计算模块205计算的关键词t的权重为:
其中β为权重因子。
应理解,当用户并未对服务器所提供的搜索结果进行点击时,即无点击行为,权重计算模块205可以仅根据关键词t在该查询词Q和该访问页面的标题T中出现的次数TFt(Q,T)来计算关键词t的权重。
参考图2,装置200还包括用户行为向量建立模块207,适于根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量。可选地,用户行为向量建立模块207适于执行方法100中的步骤S107。
用户行为向量建立模块207为每个用户所建立的用户行为向量为:
Vu={(t1,scoreu(t1)),(t2,scoreu(t2)),(t3,0),...,(tn,scoreu(tn))}    (9)
其中向量Vu是稀疏向量,如果在用户会话内所有查询词Q和对应于每个查询词的访问页面所对应的关键词tu中包含关键词ti,则权重为scoreu(t),否则,权重为0。
表5示出了用户行为向量建立模块207根据关键词和关键词的权重,为5个用户中的每个用户所建立的用户行为向量,其中,表5仅示出了用户行为向量中的非零元素,而省略了tu中未包含关键词ti,即权重为0的关键词。如表5所示,对于用户1,用户行为向量建立模块207所建立的用户行为向量V1由对查询词和相应的访问界面进行分词处理后获得的关键词以及关键词的权重组成,例如,V1={(婚纱摄影,0.7071067811865475),(大连,0.35355339059327373),(件套,0.35355339059327373),…,(欣赏,0.17677669529663687)}。对于用户2,用户行为向量建立模块207所建立的用户行为向量为V2={(Lol,0.7179581586177382),(小苍,0.6461623427559643),(美女,0.14359163172354764),…,(写真照,0.07179581586177382)}。对于用户5,用户行为向量建立模块207所建立的用户行为向量为V5={(影视综合,0.5773502691896258),(电影,0.5773502691896258),(洛杉矶之战,0.5773502691896258)}。
如图2所示,装置200还包括相似度计算模块209,适于计算所述N个用户的用户行为向量的相似度。可选地,相似度计算模块209适于执行方法100中的步骤S109。
根据本发明的示例性实施例,用户行为向量建立模块207还适于根据每个用户的用户行为向量,建立所述N个用户的用户行为矩阵;且相似度计算模块209还适于计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
如上所示,每个用户的用户行为向量为Vu,用户行为向量建立模块207适于根据该用户行为向量,可建立所述N个用户的用户行为矩阵:
V = 0 score 1 ( t 2 ) . . . score 1 ( t n ) score 2 ( t 1 ) 0 . . . score 2 ( t n ) . . . . . . . . . . . . score m ( t 1 ) . . . . . . score m ( t n ) - - - ( 10 )
可选地,所述用户行为矩阵为稀疏矩阵。相似度计算模块209适于根据用户行为矩阵,计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
根据本发明的示例性实施例,相似度计算模块209适于通过计算所述N个用户中每两个用户的用户行为向量的余弦距离,计算所述每两个用户的用户行为向量之间的相似度。可选地,矩阵V中每两个用户的用户行为向量的余弦距离为:
cos sim = | v i &cap; v j | | v i | | v j | - - - ( 11 )
可选地,相似度计算模块209也可以通过计算用户行为向量或用户行为矩阵的其他参数,例如欧氏距离和杰卡德距离,来计算所述每两个用户的用户行为向量之间的相似度。
再次参考图2,装置200还包括分类模块211,适于根据所计算的相似度,对所述N个用户进行分类。可选地,分类模块211适于执行方法100中的步骤S211。
根据本发明的示例性实施例,分类模块211适于通过自底向上的层次聚类方法,将所计算的相似度大于预先确定的相似度阈值的两个用户行为向量合并,获得(N-1)个用户行为向量和(N-1)个用户行为类簇;所述相似度计算模块209还适于对合并后的用户行为向量,计算用户的用户行为向量的相似度,且所述分类模块211还适于根据所计算的相似度对所述用户进行再次合并,直到所述相似度计算模块和所述分类模块分别执行相似度计算和分类操作的次数i等于预先确定的合并次数阈值,或者所述相似度计算模块209和所述分类模块211分别第i次执行相似度计算和分类操作时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。
可选地,分类模块211适于利用自底向上的层次聚类方法,将相似度大于预先确定的相似度阀值的两个用户行为向量进行合并。例如,在N个用户的用户行为矩阵中,若存在相似度大于预先确定的相似度阀值的两个用户行为向量vi=(scorei(t1),0,...,scorei(tk),...,scorei(tn))和vj=(0,scorej(t2),...,scorej(tk),...,0),且可选地其中有共同的关键词元素tk,则分类模块211将这两个用户行为向量合并为:
v i = ( score i ( t 1 ) , score j ( t 2 ) , . . . , score i ( t k ) + score j ( t k ) 2 , . . . , score i ( t n ) )
从而获得(N-1)个用户行为向量和(N-1)个用户行为类簇。
利用上述方法,所述相似度计算模块209可对合并后的用户行为向量,计算用户的用户行为向量的相似度,且所述分类模块211可根据所计算的相似度对所述用户进行再次合并,直到所述相似度计算模块209和所述分类模块211分别执行相似度计算和分类操作的次数i等于预先确定的合并次数阈值,或者所述相似度计算模块209和所述分类模块211分别第i次执行相似度计算和分类操作时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。
表6示出了将用户行为向量合并后获得的用户行为类簇。参考表6,以用户4和用户5为例。用户行为向量建立模块207根据用户4的相应于每个查询词的关键词和关键词的权重,为用户4建立用户行为向量V4=<形意拳,0.7071067811865475;真谛,0.7071067811865475>;用户行为向量建立模块207根据用户5的相应于每个查询词的关键词和关键词的权重,为用户5建立用户行为向量V5=<形意拳,0.9998987592981807;svideo-pic,0.008899169547635904…>;相似度计算模块209计算用户4和用户5的用户行为向量V4和V5之间的相似度;如果这两个用户行为向量V4和V5的相似度大于预先确定的相似度阀值,且可选地其中有共同的关键词元素“形意拳”,则分类模块211将这两个用户行为向量合并,其中合并后的关键词“形意拳”的权重为:
(0.7071067811865475+0.9998987592981807)/2=0.8535027702423641
从而获得合并后的一个用户行为向量V123=<真谛,0.7071067811865475;形意拳,0.8535027702423641;svideo-pic,0.008899169547635904;…>和一个用户行为类簇“用户1用户2用户3”。
同理,查询词及访问页面获取模块201从服务器的搜索日志中获取7个用户的数据,分词处理模块203根据获得7个用户中每个用户的关键词以及权重计算模块205获得每个关键词的权重,用户行为向量建立模块207获得如表6所示的用户1-用户7的用户行为向量V1~V7,相似度计算模块209计算这7个用户行为向量的相似度,分类模块211对这7个用户进行分类。例如,分类模块211将用户1、用户2和用户3的用户行为向量合并,获得用户行为向量V123和用户行为类簇“用户1用户2用户3”;分类模块211将用户4和用户5的用户行为向量合并,获得用户行为向量V45和用户行为类簇“用户4用户5”;分类模块211将用户6和用户7的用户行为向量合并,获得用户行为向量V67和用户行为类簇“用户6用户7”。如表6所示,共获得合并后的3个用户行为向量和3个用户行为类簇。
可选地,所述相似度计算模块209还适于对表6所示的合并后的3个用户行为向量,计算用户的用户行为向量的相似度,且所述分类模块211还适于根据所计算的相似度对所述用户进行再次合并,即,相似度计算模块209计算用户行为向量V123、V45和V67之间的相似度并分类模块211根据所计算的相似度对用户行为向量V123、V45和V67再进行分类,直到所述相似度计算模块209和所述分类模块211分别执行相似度计算和分类操作的次数i等于预先确定的合并次数阈值,或者所述相似度计算模块209和所述分类模块211分别第i次执行相似度计算和分类操作时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值。
总之,本发明的实施方式提供的根据服务器的搜索日志数据进行用户分类的装置200,对服务器的搜索日志数据进行处理,并根据该数据自身的一个或多个参数,对用户进行分类,可以更有效地分析、记录、统计、发掘用户的兴趣点以及兴趣点的分布,进而对服务器的搜索日志数据进行系统性管理、提高了服务器的搜索效率、有助于为用户提供个性化服务,提高了进行各种针对性的广告推送或其他服务的效率。此外,根据本发明的示例性实施例,先是通过服务器的搜索日志数据中的用户会话标识将会话存活期内的用户访问记录与相应的用户会话标识关联起来,然后再可选地采用会话持续时间阈值划分,减少了对同一会话里记录的错误划分,使数据处理的准确性更高,从而解决了仅基于时间划分用户会话导致较大误差的技术问题。
本发明的实施例公开了:
A10.如权利要求A7所述的方法,其中根据所计算的相似度,对所述N个用户进行分类的步骤S111包括:通过自底向上的层次聚类方法,将所计算的相似度大于预先确定的相似度阈值的两个用户行为向量合并,获得(N-1)个用户行为向量和(N-1)个用户行为类簇;且
所述方法还包括:对合并后的用户行为向量,重复步骤S109和步骤S111,直到执行步骤S109和步骤S111的次数i等于预先确定的合并次数阈值,或者第i次执行步骤S109和步骤S111时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。
B12.如权利要求B11所述的装置,其中所述查询词及访问页面获取模块还适于从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;以及分别获取每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面。
B13.如权利要求B11或B12所述的装置,其中所述查询词及访问页面获取模块还适于从服务器的搜索日志数据中获取每个用户的IP地址、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置。
B14.如权利要求B13所述的装置,其中所述查询词及访问页面获取模块还适于从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列;将每个用户会话标识与相应于所述a个查询词的访问页面相关联;将相应于所述a个查询词的访问页面中相应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列;以及获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。
B15.如权利要求B11所述的装置,其中所述分词处理模块适于获取所述b个访问页面的b个标题;以及分别对每个查询词和所述b个标题进行分词处理,以获得相应于每个查询词的c个关键词。
B16.如权利要求B13所述的装置,其中所述权重计算模块还适于根据用户访问所述b个访问页面的次数、显示所述b个访问页面中的每个页面的搜索结果页在搜索结果中所在的页码和/或所述b个访问页面在所述搜索结果页中的位置,以及所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。
B17.如权利要求B11所述的装置,其中所述向量建立模块还适于根据每个用户的用户行为向量,建立所述N个用户的用户行为矩阵;且
所述相似度计算模块还适于计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
B18.如权利要求B17所述的装置,其中所述用户行为矩阵为稀疏矩阵。
B19.如权利要求B11或B17所述的装置,其中所述相似度计算模块适于通过计算所述N个用户中每两个用户的用户行为向量的余弦距离,计算所述每两个用户的用户行为向量之间的相似度。
B20.如权利要求B17所述的装置,其中所述分类模块适于通过自底向上的层次聚类方法,将所计算的相似度大于预先确定的相似度阈值的两个用户行为向量合并,获得(N-1)个用户行为向量和(N-1)个用户行为类簇;且
所述相似度计算模块还适于对合并后的用户行为向量,计算用户的用户行为向量的相似度,且所述分类模块还适于根据所计算的相似度对所述用户进行再次合并,直到所述相似度计算模块和所述分类模块分别执行相似度计算和分类操作的次数i等于预先确定的合并次数阈值,或者所述相似度计算模块和所述分类模块分别第i次执行相似度计算和分类操作时合并所述用户行为向量的收敛速度大于预先确定的收敛速度阈值,以获得(N-i)个用户行为向量和(N-i)个用户行为类簇。
在此提供的方法和装置不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的若干模块组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者模块中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个装置实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种根据服务器的搜索日志数据进行用户分类的方法,包括:
步骤S101:从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且被用户访问过的b个访问页面;
步骤S103:分别对每个查询词和相应于每个查询词的所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词;
步骤S105:根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重;
步骤S107:根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量;
步骤S109:计算所述N个用户的用户行为向量的相似度;以及
步骤S111:根据所计算的相似度,对所述N个用户进行分类。
2.如权利要求1所述的方法,其中从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面的步骤S101还包括:
从服务器的搜索日志数据中获取每个用户的cookie标识,以识别每个用户;以及
分别获取每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面。
3.如权利要求1或2所述的方法,其中从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面的步骤S101还包括:
从服务器的搜索日志数据中获取每个用户的IP地址、用户访问每个访问页面的时间、所述b个访问页面的URL、显示所述b个访问页面中的每一个页面的搜索结果页在搜索结果中所在的页码、所述b个访问页面中的每一个页面在所述搜索结果页中的位置。
4.如权利要求3所述的方法,其中从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且用户访问过的b个访问页面的步骤S101包括:
从服务器的搜索日志数据中获取每个用户的用于标识用户会话的f个用户会话标识,所述用户会话是用户在预定时间间隔内访问的一组访问页面的序列;
将每个用户会话标识与相应于所述a个查询词的访问页面相关联;
将相应于所述a个查询词的访问页面中相应于每个用户会话标识的一组访问页面按照用户访问每个访问页面的时间进行排序,以形成相应于每个用户会话标识的访问页面的序列;以及
获取所述预定时间间隔内相应于所述每个用户会话标识的访问页面的序列。
5.如权利要求1所述的方法,其中分别对每个查询词和所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词的步骤S103包括:
获取所述b个访问页面的b个标题;以及
分别对每个查询词和所述b个标题进行分词处理,以获得相应于每个查询词的c个关键词。
6.如权利要求3所述的方法,其中根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重步骤S105还包括:
根据用户访问所述b个访问页面的次数、显示所述b个访问页面中的每个页面的搜索结果页在搜索结果中所在的页码和/或所述b个访问页面在所述搜索结果页中的位置,以及所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重。
7.如权利要求1所述的方法,其中
根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量的步骤S107还包括:
根据每个用户的用户行为向量,建立所述N个用户的用户行为矩阵;且
计算所述N个用户的用户行为向量的相似度的步骤S109还包括:
计算所述用户行为矩阵中每两个用户的用户行为向量之间的相似度。
8.如权利要求7所述的方法,其中所述用户行为矩阵为稀疏矩阵。
9.如权利要求1或7所述的方法,其中计算所述N个用户的用户行为向量的相似度的步骤S109包括:
通过计算所述N个用户中每两个用户的用户行为向量的余弦距离,计算所述每两个用户的用户行为向量之间的相似度。
10.一种根据服务器的搜索日志数据进行用户分类的装置,包括:
查询词及访问页面获取模块,适于从服务器的搜索日志数据中获取N个用户中每个用户搜索时使用的a个查询词、以及根据每个查询词搜索到的并且被用户访问过的b个访问页面;
分词处理模块,适于分别对每个查询词和相应于每个查询词的所述b个访问页面进行分词处理,以获得相应于每个查询词的c个关键词;
权重计算模块,适于根据所述c个关键词在所述每个查询词和所述b个访问页面中出现的次数,计算所述c个关键词的权重;
用户行为向量建立模块,适于根据相应于每个查询词的所述c个关键词和所述c个关键词的权重,为每个用户建立用户行为向量;
相似度计算模块,适于计算所述N个用户的用户行为向量的相似度;以及
分类模块,适于根据所计算的相似度,对所述N个用户进行分类。
CN201410508398.XA 2014-09-28 2014-09-28 一种根据服务器搜索日志数据进行用户分类的方法和装置 Expired - Fee Related CN104217030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410508398.XA CN104217030B (zh) 2014-09-28 2014-09-28 一种根据服务器搜索日志数据进行用户分类的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410508398.XA CN104217030B (zh) 2014-09-28 2014-09-28 一种根据服务器搜索日志数据进行用户分类的方法和装置

Publications (2)

Publication Number Publication Date
CN104217030A true CN104217030A (zh) 2014-12-17
CN104217030B CN104217030B (zh) 2018-12-11

Family

ID=52098519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410508398.XA Expired - Fee Related CN104217030B (zh) 2014-09-28 2014-09-28 一种根据服务器搜索日志数据进行用户分类的方法和装置

Country Status (1)

Country Link
CN (1) CN104217030B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468704A (zh) * 2015-11-18 2016-04-06 中国传媒大学 面向舞美场景设计的快速创意生成方法
CN107341397A (zh) * 2017-06-30 2017-11-10 福建师范大学 基于动态时间阈值的大数据平台会话识别方法
CN108153857A (zh) * 2017-12-22 2018-06-12 北京奇虎科技有限公司 一种用于对网络访问数据进行关联处理的方法和系统
CN108259567A (zh) * 2017-12-22 2018-07-06 北京交通大学 基于服务器应用逻辑的大型数据中心业务子系统发现方法
CN109151088A (zh) * 2018-08-20 2019-01-04 下代互联网重大应用技术(北京)工程研究中心有限公司 基于Http日志的IPv6访问用户地理分布排名的统计方法
CN109583472A (zh) * 2018-10-30 2019-04-05 中国科学院计算技术研究所 一种web日志用户识别方法和系统
CN109885773A (zh) * 2019-02-28 2019-06-14 广州寄锦教育科技有限公司 一种文章个性化推荐方法、系统、介质及设备
CN109948034A (zh) * 2017-09-27 2019-06-28 北京国双科技有限公司 基于过滤会话实现提取页面信息的方法及装置
CN110019575A (zh) * 2017-08-04 2019-07-16 北京京东尚科信息技术有限公司 对地理地址进行标准化的方法和装置
CN110309114A (zh) * 2018-02-28 2019-10-08 腾讯科技(深圳)有限公司 媒体信息的处理方法、装置、存储介质和电子装置
CN110335073A (zh) * 2019-06-27 2019-10-15 杭州联汇科技股份有限公司 一种基于用户行为数据挖掘的实时广告精准推送方法
CN110555165A (zh) * 2019-07-23 2019-12-10 平安科技(深圳)有限公司 信息识别方法、装置、计算机设备和存储介质
CN110708339A (zh) * 2019-11-06 2020-01-17 四川长虹电器股份有限公司 一种基于web日志的关联分析方法
CN110895587A (zh) * 2018-08-23 2020-03-20 百度在线网络技术(北京)有限公司 用于确定目标用户的方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071328A1 (en) * 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search
CN101702653A (zh) * 2009-10-27 2010-05-05 中国科学院声学研究所 一种基于用户行为定向的消息通告系统及方法
CN102339322A (zh) * 2011-11-10 2012-02-01 武汉大学 基于搜索交互信息和用户搜索意图的词义提取方法
CN102411596A (zh) * 2010-09-21 2012-04-11 阿里巴巴集团控股有限公司 一种信息推荐方法及系统
CN102760138A (zh) * 2011-04-26 2012-10-31 北京百度网讯科技有限公司 用户网络行为的分类方法和装置及对应的搜索方法和装置
CN102937951A (zh) * 2011-08-15 2013-02-20 北京百度网讯科技有限公司 建立ip地址分类模型的方法、对用户分类的方法及装置
CN103077220A (zh) * 2012-12-29 2013-05-01 中国科学院深圳先进技术研究院 一种基于用户群关联度的个性化推荐方法及系统
CN103164521A (zh) * 2013-03-11 2013-06-19 亿赞普(北京)科技有限公司 一种基于用户浏览和搜索行为的关键词计算方法及装置
CN103577478A (zh) * 2012-08-06 2014-02-12 腾讯科技(深圳)有限公司 网页推送方法及系统
CN103593413A (zh) * 2013-10-27 2014-02-19 西安电子科技大学 基于Agent的元搜索引擎个性化方法
CN104035927A (zh) * 2013-03-05 2014-09-10 百度在线网络技术(北京)有限公司 一种基于用户行为的搜索方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071328A1 (en) * 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search
CN101702653A (zh) * 2009-10-27 2010-05-05 中国科学院声学研究所 一种基于用户行为定向的消息通告系统及方法
CN102411596A (zh) * 2010-09-21 2012-04-11 阿里巴巴集团控股有限公司 一种信息推荐方法及系统
CN102760138A (zh) * 2011-04-26 2012-10-31 北京百度网讯科技有限公司 用户网络行为的分类方法和装置及对应的搜索方法和装置
CN102937951A (zh) * 2011-08-15 2013-02-20 北京百度网讯科技有限公司 建立ip地址分类模型的方法、对用户分类的方法及装置
CN102339322A (zh) * 2011-11-10 2012-02-01 武汉大学 基于搜索交互信息和用户搜索意图的词义提取方法
CN103577478A (zh) * 2012-08-06 2014-02-12 腾讯科技(深圳)有限公司 网页推送方法及系统
CN103077220A (zh) * 2012-12-29 2013-05-01 中国科学院深圳先进技术研究院 一种基于用户群关联度的个性化推荐方法及系统
CN104035927A (zh) * 2013-03-05 2014-09-10 百度在线网络技术(北京)有限公司 一种基于用户行为的搜索方法及系统
CN103164521A (zh) * 2013-03-11 2013-06-19 亿赞普(北京)科技有限公司 一种基于用户浏览和搜索行为的关键词计算方法及装置
CN103593413A (zh) * 2013-10-27 2014-02-19 西安电子科技大学 基于Agent的元搜索引擎个性化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈泽红: ""基于Web访问日志的用户聚类研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468704A (zh) * 2015-11-18 2016-04-06 中国传媒大学 面向舞美场景设计的快速创意生成方法
CN107341397A (zh) * 2017-06-30 2017-11-10 福建师范大学 基于动态时间阈值的大数据平台会话识别方法
CN110019575A (zh) * 2017-08-04 2019-07-16 北京京东尚科信息技术有限公司 对地理地址进行标准化的方法和装置
CN109948034A (zh) * 2017-09-27 2019-06-28 北京国双科技有限公司 基于过滤会话实现提取页面信息的方法及装置
CN108153857A (zh) * 2017-12-22 2018-06-12 北京奇虎科技有限公司 一种用于对网络访问数据进行关联处理的方法和系统
CN108259567A (zh) * 2017-12-22 2018-07-06 北京交通大学 基于服务器应用逻辑的大型数据中心业务子系统发现方法
CN108259567B (zh) * 2017-12-22 2020-09-29 北京交通大学 基于服务器应用逻辑的大型数据中心业务子系统发现方法
CN110309114A (zh) * 2018-02-28 2019-10-08 腾讯科技(深圳)有限公司 媒体信息的处理方法、装置、存储介质和电子装置
CN110309114B (zh) * 2018-02-28 2021-07-27 腾讯科技(深圳)有限公司 媒体信息的处理方法、装置、存储介质和电子装置
CN109151088A (zh) * 2018-08-20 2019-01-04 下代互联网重大应用技术(北京)工程研究中心有限公司 基于Http日志的IPv6访问用户地理分布排名的统计方法
CN110895587A (zh) * 2018-08-23 2020-03-20 百度在线网络技术(北京)有限公司 用于确定目标用户的方法和装置
CN110895587B (zh) * 2018-08-23 2022-08-26 百度在线网络技术(北京)有限公司 用于确定目标用户的方法和装置
CN109583472A (zh) * 2018-10-30 2019-04-05 中国科学院计算技术研究所 一种web日志用户识别方法和系统
CN109885773A (zh) * 2019-02-28 2019-06-14 广州寄锦教育科技有限公司 一种文章个性化推荐方法、系统、介质及设备
CN109885773B (zh) * 2019-02-28 2020-11-24 广州寄锦教育科技有限公司 一种文章个性化推荐方法、系统、介质及设备
CN110335073A (zh) * 2019-06-27 2019-10-15 杭州联汇科技股份有限公司 一种基于用户行为数据挖掘的实时广告精准推送方法
CN110555165A (zh) * 2019-07-23 2019-12-10 平安科技(深圳)有限公司 信息识别方法、装置、计算机设备和存储介质
CN110555165B (zh) * 2019-07-23 2023-04-07 平安科技(深圳)有限公司 信息识别方法、装置、计算机设备和存储介质
CN110708339A (zh) * 2019-11-06 2020-01-17 四川长虹电器股份有限公司 一种基于web日志的关联分析方法

Also Published As

Publication number Publication date
CN104217030B (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN104217030A (zh) 一种根据服务器搜索日志数据进行用户分类的方法和装置
CN104217031A (zh) 一种根据服务器搜索日志数据进行用户分类的方法和装置
CN105589971B (zh) 训练推荐模型的方法、装置及推荐系统
US9858308B2 (en) Real-time content recommendation system
US9147154B2 (en) Classifying resources using a deep network
US8504411B1 (en) Systems and methods for online user profiling and segmentation
US8612435B2 (en) Activity based users&#39; interests modeling for determining content relevance
US7580926B2 (en) Method and apparatus for representing text using search engine, document collection, and hierarchal taxonomy
US9443008B2 (en) Clustering of search results
CN105912669B (zh) 用于补全搜索词及建立个体兴趣模型的方法及装置
CN101283353B (zh) 通过分析标签找到相关文档的系统和方法
US20080065602A1 (en) Selecting advertisements for search results
CN102687138A (zh) 搜索建议聚类和呈现
CN102037464A (zh) 具有最多点击的下一个对象的搜索结果
CN102521233A (zh) 自适应图像检索数据库
CN105678335B (zh) 预估点击率的方法、装置及计算设备
CN104077707B (zh) 一种推广呈现方式的优化方法和装置
CN108959580A (zh) 一种标签数据的优化方法及系统
CN108781223A (zh) 用于内容项选择的数据的数据分组传输优化
Sajeev et al. Effective web personalization system based on time and semantic relatedness
CN109075987A (zh) 优化数字组件分析系统
CN106383857A (zh) 一种信息处理方法及电子设备
Dong et al. Improving sequential recommendation with attribute-augmented graph neural networks
Budhiraja et al. Coverage pattern based framework to improve search engine advertising
CN104376066A (zh) 一种网络特定内容挖掘方法和装置、及一种电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181211

Termination date: 20210928