CN104376066B - 一种网络特定内容挖掘方法和装置、及一种电子设备 - Google Patents

一种网络特定内容挖掘方法和装置、及一种电子设备 Download PDF

Info

Publication number
CN104376066B
CN104376066B CN201410637595.1A CN201410637595A CN104376066B CN 104376066 B CN104376066 B CN 104376066B CN 201410637595 A CN201410637595 A CN 201410637595A CN 104376066 B CN104376066 B CN 104376066B
Authority
CN
China
Prior art keywords
url
website
network
identification information
appointed website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410637595.1A
Other languages
English (en)
Other versions
CN104376066A (zh
Inventor
罗维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201410637595.1A priority Critical patent/CN104376066B/zh
Publication of CN104376066A publication Critical patent/CN104376066A/zh
Application granted granted Critical
Publication of CN104376066B publication Critical patent/CN104376066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种网络特定内容挖掘方法和装置、及一种电子设备，其中，网络特定内容挖掘方法包括：从多条浏览器日志中分别提取第一URL和跳转自第一URL的第二URL；确定与指定网站的标识信息相匹配的第一URL；从跳转自与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于指定网站的URL；从来源于所述指定网站的URL中查找网络热点URL，将网络热点URL对应的网页内容作为网络特定内容。本发明能够更快速、更准确地挖掘出网络特定内容，并且获得的内容也更加全面。

Description

一种网络特定内容挖掘方法和装置、及一种电子设备
技术领域
本发明涉及互联网技术领域，具体涉及一种网络特定内容挖掘方法和装置、及一种电子设备。
背景技术
随着互联网的快速发展，网络作为一种消息传播媒介，成为人们获取信息、交流信息的重要渠道，其具有传播消息更快速的优点，越来越受到广大网民的青睐。大量的网民涌入一些提供交互服务的网站中发表自己的意见和爆料各类新闻，每天有成千上万的话题从互联网上产生。如何更快速地从相关网站的海量信息中获取网络特定内容，将对了解社会发展形势、掌握舆论动态起到指导性作用。
目前的技术中获取网络上的特定内容的方法主要有以下两种：
第一种方法：网站会提供与特定内容相关的开放API(Application ProgrammingInterface，应用程序编程接口)，可以通过调用网站提供的开放API获取该网站上的特定内容。
但是，网站所提供的与特定内容相关的开放API可能较少，因此通过该种方法所获取到的特定内容的数量有限，不能全面覆盖该网站中的特定内容。例如，某个网站只提供了3种与特定内容相关的API，分别是获取最近1小时、最近1天和最近1周的特定内容，因此，如果用户想要获取其他的特定内容，则这些API均不能支持。
第二种方法：首先通过爬取各个网站获得其中的内容，然后分析各条内容的浏览量、转发量、评论量及其这些数量的变化趋势，最后设计算法从其中提取出特定内容。
但是，该种方法涉及到爬取调度、网页解析、数据更新存储等复杂技术，执行过程复杂，对人力、物力的投入有较高要求。
因此，目前的网络特定内容获取方法无法快速、准确地获取网站中的网络特定内容。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种网络特定内容挖掘方法和相应的一种网络特定内容挖掘装置，及一种电子设备。
依据本发明的一个方面，提供了一种网络特定内容挖掘方法，包括：
从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；
确定与指定网站的标识信息相匹配的第一URL；
从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容作为网络特定内容。
可选地，所述确定与指定网站的标识信息相匹配的第一URL的步骤包括：
将每个第一URL分别与指定网站的标识信息进行匹配；
将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
可选地，所述从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL的步骤包括：
将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
可选地，所述从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL的步骤包括：
将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
可选地，所述从所述来源于所述指定网站的URL中查找网络热点URL的步骤包括：
针对每个来源于所述指定网站的URL分别统计其出现的频率；
将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
可选地，所述方法还包括：
对所述网络热点URL进行聚类，获得至少一个URL聚类。
可选地，所述对所述网络热点URL进行聚类，获得至少一个URL聚类的步骤包括：
针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
计算每两个网络热点URL对应的特征向量的相似度；
将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
可选地，所述方法还包括：
从所述网络热点URL中选取来源于预设类型网站的URL。
可选地，所述从所述网络热点URL中选取来源于预设类型网站的URL的步骤包括：
将所述网络热点URL与所述预设类型网站的标识信息进行匹配；
将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
可选地，所述指定网站包括社交网站；所述社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。
可选地，所述预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。
依据本发明的另一方面，提供了一种网络特定内容挖掘装置，包括：
提取模块，适于从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；
确定模块，适于确定与指定网站的标识信息相匹配的第一URL；
筛选模块，适于从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
查找模块，适于从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容确定为网络特定内容。
可选地，所述确定模块包括：
第一匹配子模块，适于将每个第一URL分别与指定网站的标识信息进行匹配；
第一确定子模块，适于将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
可选地，所述筛选模块包括：
第二确定子模块，适于将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
可选地，所述筛选模块包括：
第二匹配子模块，适于将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
第三确定子模块，适于将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
可选地，所述查找模块包括：
统计子模块，适于针对每个来源于所述指定网站的URL分别统计其出现的频率；
热点确定子模块，适于将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
可选地，所述装置还包括：
聚类模块，适于对所述网络热点URL进行聚类，获得至少一个URL聚类。
可选地，所述聚类模块包括：
构建子模块，适于针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
计算子模块，适于计算每两个网络热点URL对应的特征向量的相似度；
聚类确定子模块，适于将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
可选地，所述装置还包括：
选取模块，适于从所述网络热点URL中选取来源于预设类型网站的URL。
可选地，所述选取模块包括：
热点匹配子模块，适于将每个网络热点URL分别与所述预设类型网站的标识信息进行匹配；
类型确定子模块，适于将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
可选地，所述指定网站包括社交网站；所述社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。
可选地，所述预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。
依据本发明的另一方面，提供了一种电子设备，包括如上任意一项所述的网络特定内容挖掘装置。
根据本发明的网络特定内容挖掘方案，首先从多条浏览器日志中分别提取第一URL和跳转自第一URL的第二URL；然后确定与指定网站的标识信息相匹配的第一URL，并从跳转自与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于指定网站的URL；最后从来源于所述指定网站的URL中查找网络热点URL，将网络热点URL对应的网页内容作为网络特定内容。本发明利用浏览器日志的特点，基于浏览器日志筛选出来源于指定网站的URL，进而从这些URL中进行网络特定内容的查找，无需再通过指定网站提供的开放API获取，也无需再对指定网站进行爬取调度、网页解析、数据更新存储等复杂过程，因此能够更快速、更准确地挖掘出网络特定内容，并且获得的内容也更加全面。
进一步地，本发明还可以对得到的网络热点URL进行聚类、选取其中来源于特定类型网站的URL等操作，从而能够满足用户的各种需求。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例一中的一种网络特定内容挖掘方法的步骤流程图；
图2示出了本发明实施例二中的一种网络特定内容挖掘方法的步骤流程图；
图3示出了本发明实施例三中的一种网络特定内容挖掘装置的结构框图；以及
图4示出了本发明实施例四中的一种网络特定内容挖掘装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一：
参照图1，示出了本发明实施例一中的一种网络特定内容挖掘方法的步骤流程图，在本实施例中，网络特定内容挖掘方法可以包括以下步骤：
步骤100，从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL。
在某些网站的网页中存在很多插入URL(Universal Resource Locator，统一资源定位符)的内容，如果用户对该URL关联的内容感兴趣，则当用户点击这些插入的URL后即可访问该URL所指向的网页。本发明实施例中考虑到这些被插入到网站的网页中并且被点击的URL可能为网络热点URL，因此基于这些被点击的URL进行网络特定内容的挖掘。
浏览器可以提供日志功能，当用户在浏览器中访问某一URL所指向的网页时，即可以生成该访问行为相关的浏览器日志，该浏览器日志中记录有对应的访问信息，例如所访问网页的URL等信息，根据这些访问信息即可得知用户在浏览器上的访问情况。
对于一些装机量大的浏览器，会依据HTTP Referer(来源)记录用户的浏览日志，HTTP Referer是header的一部分(header的意思是标头，是指服务器以HTTP(HyperTextTransfer Protocol，超文本传送协议)传输HTML(HyperText Mark-up Language，超文本标记语言)资料到浏览器前所送出的字串)，当浏览器向网页服务器发送请求的时候，一般会带上Referer，告诉服务器当前是从哪个页面链接过来的，服务器籍此可以获得一些信息用于处理。因此，本发明实施例的浏览器日志中不仅会记录当前所访问网页的URL，还可以记录当前访问网页的URL是从哪个URL跳转过来的。装机量大的浏览器覆盖的网络流量就大，统计出网络热点URL的偏差相对小，所以本发明实施例可以基于装机量大的浏览器日志中所记录的这些URL进行网络特定内容的挖掘。
首先可以获取多条浏览器日志，其中每条浏览器日志中可以包括第一URL和跳转自所述第一URL的第二URL，然后从每条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL。
步骤102，确定与指定网站的标识信息相匹配的第一URL。
在从每条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL后，首先可以针对提取到的多个第一URL，确定其中与指定网站的标识信息相匹配的第一URL，即确定哪些第一URL为在指定网站上所访问的URL。
步骤104，从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL。
在上述步骤102中确定出与指定网站的标识信息相匹配的第一URL后，获取跳转自这些第一URL的第二URL，然后从这些第二URL中筛选来源于所述指定网站的URL。
步骤106，从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容作为网络特定内容。
筛选出来源于所述指定网站的URL后，可以进一步从这些来源于所述指定网站的URL中查找网络热点URL，最后即可将查找到的网络热点URL对应的网页内容作为网络特定内容。
本发明实施例中对上述各个步骤进行了简单介绍，对于上述各个步骤的具体过程将在下面的实施例二中进行详细介绍。
本发明实施例利用浏览器日志的特点，基于浏览器日志筛选出来源于指定网站的URL，进而从这些URL中进行网络特定内容的查找，无需再通过指定网站提供的开放API获取，也无需再对指定网站进行爬取调度、网页解析、数据更新存储等复杂过程，因此能够更快速、更准确地挖掘出网络特定内容，并且获得的内容也更加全面。
实施例二：
参照图2，示出了本发明实施例二中的一种网络特定内容挖掘方法的步骤流程图，在本实施例中，网络特定内容挖掘方法可以包括以下步骤：
步骤200，从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL。
本发明实施例中，浏览器日志中还可以记录该日志的生成时间，因此可以依据浏览器日志的生成时间，根据实际情况获取某一特定时间段内的多条浏览器日志，例如可以获取某几个小时、某一天、某一周、某一月内的多条浏览器日志等，对于具体的时间段本发明实施例并不加以限制。
获取到浏览器日志之后，即可从每条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL。其中，第一URL(refer_URL)即为最初访问的URL，第二URL(current_URL)即为当前在浏览器中访问的URL，即在访问第一URL时，该第一URL对应的网页中插入了上述第二URL，通过点击该第二URL即可从第一URL跳转到第二URL。
步骤202，确定与指定网站的标识信息相匹配的第一URL。
本发明实施例中，可以从某些指定网站的信息中挖掘网络特定内容，即网络热点内容，考虑到相比传统的消息传播媒介，社交网站传播消息的速度更快，因此可以通过监控社交网站，来获取实时网络热点内容。本发明实施例中的指定网站可以包括社交网站，该社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。当然，指定网站还可以包括其他网站，本发明实施例对此并不加以限制。
首先可以根据指定网站的标识信息，针对提取到的多个第一URL，确定其中与指定网站的标识信息相匹配的第一URL，即确定哪些第一URL为在指定网站上所访问的URL。
在本发明的一种优选实施例中，该步骤202可以包括以下子步骤：
子步骤a1，将每个第一URL分别与指定网站的标识信息进行匹配；
子步骤a2，将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
URL中可以包括大量的信息，URL很显著也很重要的一个特征就是通过斜线(/)来分割字符串，每一个分割后的字符串分别表示不同的属性，例如对应的协议名称、域名、站点名、页面名称等等。每个网站也都有特定的标识信息，例如该网站的域名等等。因此本发明实施例中即可以将第一URL与指定网站的标识信息进行匹配，如果第一URL中包括所述指定网站的标识信息，则可以确定此第一URL为在该指定网站上所访问的URL，即确定此第一URL为与该指定网站的标识信息相匹配的第一URL。
以指定网站为微博为例，可以将微博的域名“weibo.com”作为该网站的标识信息，将第一URL与“weibo.com”这一字符串进行匹配，如果第一URL中包括“weibo.com”这一字符串，则可以确定该第一URL为在微博上所访问的URL。当然，还可以将微博的其他信息作为该网站的标识信息，只要根据该标识信息能够唯一确定微博这一网站即可，本发明实施例对此并不加以限制。
步骤204，从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL。
在确定出与指定网站的标识信息相匹配的第一URL后，可以进一步获取跳转自这些与指定网站的标识信息相匹配的第一URL的第二URL，然后对这些第二URL进行筛选，筛选出来源于所述指定网站的URL。
在本发明的一种优选实施例中，该步骤204可以包括以下子步骤：
子步骤b1，将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
该种情况下，可以直接将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL，因此，筛选出的来源于所述指定网站的URL可以为在该指定网站中访问的URL，也可以为在该指定网站之外的其他网站中访问的URL。
在本发明的另一种优选实施例中，该步骤204可以包括以下子步骤：
子步骤c1，将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
子步骤c2，将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
该种情况下，可以进一步对全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL进行筛选，将其中不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。因此，筛选出的来源于所述指定网站的URL为在该指定网站之外的其他网站中访问的URL。
以指定网站为微博为例，在其中的网页中所插入的URL有许多是指向其他网站的，这些URL关联的内容可能是用户更加感兴趣的，因此可以进一步筛选出这些URL。如果将微博的域名“weibo.com”作为该网站的标识信息，则将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与“weibo.com”这一字符串进行匹配，如果第二URL中不包括“weibo.com”这一字符串，则可以确定该第二URL为来源于所述指定网站的URL。
步骤206，从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容作为网络特定内容。
对这些来源于所述指定网站的URL再进一步进行分析，从其中查找网络热点URL，然后即可将这些网络热点URL对应的网页内容作为网络特定内容，即网络热点内容。
网络热点内容即指用户访问频率高的内容，因此在本发明的一种优选实施例中，可以按照来源于所述指定网站的URL出现的频率确定网络热点URL，即将其中出现的频率高的URL确定为网络热点URL。因此，该步骤206可以包括以下子步骤：
子步骤d1，针对每个来源于所述指定网站的URL分别统计其出现的频率；
子步骤d2，将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
对于其中的预设阈值，本领域技术人员根据实际经验进行相关设定即可，本发明实施例对具体的数值并不加以限制。
在查找到网络热点URL后，可以将这些网络热点URL进行展示，在展示时，可以按照其出现的频率从高到低进行展示，还可以按照其他任意方式进行展示。
步骤208，对所述网络热点URL进行聚类，获得至少一个URL聚类。
本发明实施例中，在查找到网络热点URL后，还可以进一步对所述网络热点URL进行聚类，获得至少一个URL聚类，从而将属于同一类型的内容聚集到一起。
在本发明的一种优选实施例中，该步骤208可以包括以下子步骤：
子步骤e1，针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
子步骤e2，计算每两个网络热点URL对应的特征向量的相似度；
子步骤e3，将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
其中，针对每个网络热点URL分别提取对应的特征信息，可以为提取网络热点URL的标题信息、正文信息等，然后采用这些信息构建该网络热点URL对应的特征向量。向量和向量之间存在距离，两个向量之间的距离越近，意味着这两个向量越相似，即相似度越高，属于同一个聚类的可能性就越大。因此，即可将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。本领域技术人员可以根据实际经验设置上述相似度区间的对应数值，本发明实施例对具体的数值并不加以限制。
上述子步骤e2可以选定距离度量函数，比如：欧氏距离(Euclidean distance)、曼哈顿距离(Manhattan distance)、余弦相似度(cosine similarity)、汉明距离(Hammingdistance)、明氏距离(Minkowski distance)等，通过计算两个特征向量的距离对每两个网络热点URL对应的特征向量进行相似度计算。
例如，可以计算每两个特征向量之间的欧氏距离，当所述欧氏距离位于预设的第一距离区间之内时，确定该两个特征向量的相似度位于预设的相似度区间之内；还可以计算每两个特征向量之间的曼哈顿距离，当所述曼哈顿距离位于预设的第二距离区间之内时，确定该两个特征向量的相似度位于预设的相似度区间之内；还可以计算每两个特征向量的夹角的余弦值，当所述夹角的余弦值位于预设的余弦值区间之内时，确定该两个特征向量的相似度位于预设的相似度区间之内。对于其中第一距离区间、第二距离区间和余弦值区间的具体数值，本领域技术人员根据实际经验进行相关设定即可，本发明实施例对其并不加以限制。
欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。两个n维向量a(x11，x12，…，x1n)与b(x21，x22，…，x2n)间的欧氏距离为：也可以用表示成向量运算的形式：
曼哈顿距离也称为城市街区距离。两个n维向量a(x11，x12，…，x1n)与b(x21，x22，…，x2n)间的曼哈顿距离为：
几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。对于两个n维向量a(x11，x12，…，x1n)与b(x21，x22，…，x2n)，可以使用类似于夹角余弦的概念来衡量它们间的相似程度：即夹角余弦取值范围为[-1，1]。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大，当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。对于其余距离度量函数的计算过程，本发明实施例在此不再一一论述。
经过聚类过程，可以将属于同一类型的内容聚集到一起。例如，在聚类前，可能有上万条网络热点URL，但是其中很多URL的话题是相似的，如有些是讨论iphone 6发布会，有些是讨论北京马拉松。经过聚类操作，就可以把讨论iphone 6和北京马拉松的分别聚成一类，后续可以为编辑团队或者运营团队做实时热点、舆情/商情的专题内容提供支持。如对2014年9月10日上午的浏览器日志，按照上述方法，分析出了多条网络热点URL，经过聚类将其中关于iphone 6发布会的一类URL聚集到一起，例如可以包括以下3个网络热点URL：
(1)http://video.sina.com.cn/l/p/1688893.html
(2)http://tech.sina.com.cn/mobile/iphone6/
(3)http://live.sina.com.cn/zt/l/v/tech/iphone6_live
步骤210，从所述网络热点URL中选取来源于预设类型网站的URL。
本发明实施例中，在查找到网络热点URL后，还可以进一步从所述网络热点URL中选取来源于预设类型网站的URL，从而满足用户特殊的数据需求。
在本发明的一种优选实施例中，该步骤210可以包括以下子步骤：
子步骤f1，将所述网络热点URL与所述预设类型网站的标识信息进行匹配；
子步骤f2，将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
其中，预设类型网站的标识信息可以为能够唯一标识该网站类型的任意字符串，并且在该网站访问的URL中均包括该标识信息。预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。例如，可以选取来源于视频网站的URL，只获取感兴趣的视频内容；还可以选取来源于时事网站的URL，即与时事相关的URL(比如来自人民网、新华社等媒体的URL)，这点可用于挖掘时事热点；还可以选取来源于非门户网站且非媒体网站的URL(比如个人博客的URL)，这点可用于挖掘一些热门的爆料消息；还可以选取来源于个性化定制网站的URL，即依据个性化定制的频道或者关键词选出相关的URL，这点可用于个性化信息的推送。当然预设类型网站还可以包括其他类型网站，应用于其他场景，本发明实施例对此并不加以限制。
需要说明的是，步骤208和步骤210并不限定于上述执行顺序，本发明实施例中可以先执行步骤208再执行步骤210，也可以先执行步骤210再执行步骤208，还可以同步执行步骤208和步骤210。
本发明实施例中，不仅能够更快速、更准确地挖掘出更加全面的网络特定内容，还可以进一步对得到的网络热点URL进行聚类、选取其中来源于特定类型网站的URL等操作，从而能够满足用户的各种需求。
需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必需的。
实施例三：
参照图3，示出了本发明实施例三中的一种网络特定内容挖掘装置的结构框图。在本实施例中，网络特定内容挖掘装置可以包括以下模块：
提取模块300，适于从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；
确定模块302，适于确定与指定网站的标识信息相匹配的第一URL；
筛选模块304，适于从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
查找模块306，适于从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容确定为网络特定内容。
本发明实施例中，首先从多条浏览器日志中分别提取第一URL和跳转自第一URL的第二URL；然后确定与指定网站的标识信息相匹配的第一URL，并从跳转自与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于指定网站的URL；最后从来源于所述指定网站的URL中查找网络热点URL，将网络热点URL对应的网页内容作为网络特定内容。本发明实施例利用浏览器日志的特点，基于浏览器日志筛选出来源于指定网站的URL，进而从这些URL中进行网络特定内容的查找，无需再通过指定网站提供的开放API获取，也无需再对指定网站进行爬取调度、网页解析、数据更新存储等复杂过程，因此能够更快速、更准确地挖掘出网络特定内容，并且获得的内容也更加全面。
实施例四：
参照图4，示出了本发明实施例四中的一种网络特定内容挖掘装置的结构框图。在本实施例中，网络特定内容挖掘装置可以包括以下模块：
提取模块400，适于从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；
确定模块402，适于确定与指定网站的标识信息相匹配的第一URL；
筛选模块404，适于从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
查找模块406，适于从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容确定为网络特定内容；
聚类模块408，适于对所述网络热点URL进行聚类，获得至少一个URL聚类；
选取模块410，适于从所述网络热点URL中选取来源于预设类型网站的URL。
优选地，所述确定模块可以包括以下子模块：
第一匹配子模块，适于将每个第一URL分别与指定网站的标识信息进行匹配；
第一确定子模块，适于将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
优选地，所述筛选模块可以包括以下子模块：
第二确定子模块，适于将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
或者，所述筛选模块可以包括以下子模块：
第二匹配子模块，适于将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
第三确定子模块，适于将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
优选地，所述查找模块可以包括以下子模块：
统计子模块，适于针对每个来源于所述指定网站的URL分别统计其出现的频率；
热点确定子模块，适于将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
优选地，所述聚类模块可以包括以下子模块：
构建子模块，适于针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
计算子模块，适于计算每两个网络热点URL对应的特征向量的相似度；
聚类确定子模块，适于将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
优选地，所述第三选取模块包括以下子模块：
热点匹配子模块，适于将每个网络热点URL分别与所述预设类型网站的标识信息进行匹配；
类型确定子模块，适于将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
优选地，所述指定网站包括社交网站；所述社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。所述预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。
本发明实施例中，能够更快速、更准确地挖掘出更加全面的网络特定内容，并且可以进一步对得到的网络热点URL进行聚类、选取其中来源于特定类型网站的URL等操作，从而能够满足用户的各种需求。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
实施例五：
在本实施例中，提供了一种电子设备，该电子设备中设置有上述实施例三中的网络特定内容挖掘装置，或者，该电子设备中设置有上述实施例四中对实施例三的装置进行了多种优化后的一种或多种网络特定内容挖掘装置。该电子设备用于实现前述方法实施例中的网络特定内容挖掘方法，并具有相应的方法实施例的有益效果，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网络特定内容挖掘装置及电子设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种网络特定内容挖掘方法，其中包括：
从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；
确定与指定网站的标识信息相匹配的第一URL；
从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容作为网络特定内容。
A2、如A1所述的方法，其中，所述确定与指定网站的标识信息相匹配的第一URL的步骤包括：
将每个第一URL分别与指定网站的标识信息进行匹配；
将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
A3、如A1所述的方法，其中，所述从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL的步骤包括：
将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
A4、如A1所述的方法，其中，所述从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL的步骤包括：
将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
A5、如A1所述的方法，其中，所述从所述来源于所述指定网站的URL中查找网络热点URL的步骤包括：
针对每个来源于所述指定网站的URL分别统计其出现的频率；
将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
A6、如A1所述的方法，其中，还包括：
对所述网络热点URL进行聚类，获得至少一个URL聚类。
A7、如A6所述的方法，其中，所述对所述网络热点URL进行聚类，获得至少一个URL聚类的步骤包括：
针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
计算每两个网络热点URL对应的特征向量的相似度；
将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
A8、如A1所述的方法，其中，还包括：
从所述网络热点URL中选取来源于预设类型网站的URL。
A9、如A8所述的方法，其中，所述从所述网络热点URL中选取来源于预设类型网站的URL的步骤包括：
将所述网络热点URL与所述预设类型网站的标识信息进行匹配；
将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
A10、如A1所述的方法，其中，所述指定网站包括社交网站；所述社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。
A11、如A1所述的方法，其中，所述预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。
B12、一种网络特定内容挖掘装置，其中包括：
提取模块，适于从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；
确定模块，适于确定与指定网站的标识信息相匹配的第一URL；
筛选模块，适于从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
查找模块，适于从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容确定为网络特定内容。
B13、如B12所述的装置，其中，所述确定模块包括：
第一匹配子模块，适于将每个第一URL分别与指定网站的标识信息进行匹配；
第一确定子模块，适于将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
B14、如B12所述的装置，其中，所述筛选模块包括：
第二确定子模块，适于将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
B15、如B12所述的装置，其中，所述筛选模块包括：
第二匹配子模块，适于将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
第三确定子模块，适于将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
B16、如B12所述的装置，其中，所述查找模块包括：
统计子模块，适于针对每个来源于所述指定网站的URL分别统计其出现的频率；
热点确定子模块，适于将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
B17、如B12所述的装置，其中，还包括：
聚类模块，适于对所述网络热点URL进行聚类，获得至少一个URL聚类。
B18、如B17所述的装置，其中，所述聚类模块包括：
构建子模块，适于针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
计算子模块，适于计算每两个网络热点URL对应的特征向量的相似度；
聚类确定子模块，适于将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
B19、如B12所述的装置，其中，还包括：
选取模块，适于从所述网络热点URL中选取来源于预设类型网站的URL。
B20、如B19所述的装置，其中，所述选取模块包括：
热点匹配子模块，适于将每个网络热点URL分别与所述预设类型网站的标识信息进行匹配；
类型确定子模块，适于将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
B21、如B12所述的装置，其中，所述指定网站包括社交网站；所述社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。
B22、如B12所述的装置，其中，所述预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。
C23、一种电子设备，其中，包括如B12-B22任意一项所述的网络特定内容挖掘装置。

Claims (23)

1.一种网络特定内容挖掘方法，其特征在于，包括：
从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；其中，所述浏览器日志根据生成时间而获得；
确定与指定网站的标识信息相匹配的第一URL；
从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容作为网络特定内容。
2.如权利要求1所述的方法，其特征在于，所述确定与指定网站的标识信息相匹配的第一URL的步骤包括：
将每个第一URL分别与指定网站的标识信息进行匹配；
将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
3.如权利要求1所述的方法，其特征在于，所述从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL的步骤包括：
将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
4.如权利要求1所述的方法，其特征在于，所述从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL的步骤包括：
将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
5.如权利要求1所述的方法，其特征在于，所述从所述来源于所述指定网站的URL中查找网络热点URL的步骤包括：
针对每个来源于所述指定网站的URL分别统计其出现的频率；
将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
6.如权利要求1所述的方法，其特征在于，还包括：
对所述网络热点URL进行聚类，获得至少一个URL聚类。
7.如权利要求6所述的方法，其特征在于，所述对所述网络热点URL进行聚类，获得至少一个URL聚类的步骤包括：
针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
计算每两个网络热点URL对应的特征向量的相似度；
将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
8.如权利要求1所述的方法，其特征在于，还包括：
从所述网络热点URL中选取来源于预设类型网站的URL。
9.如权利要求8所述的方法，其特征在于，所述从所述网络热点URL中选取来源于预设类型网站的URL的步骤包括：
将所述网络热点URL与所述预设类型网站的标识信息进行匹配；
将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
10.如权利要求1所述的方法，其特征在于，所述指定网站包括社交网站；所述社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。
11.如权利要求1所述的方法，其特征在于，预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。
12.一种网络特定内容挖掘装置，其特征在于，包括：
提取模块，适于从多条浏览器日志中分别提取第一URL和跳转自所述第一URL的第二URL；其中，所述浏览器日志根据生成时间而获得；
确定模块，适于确定与指定网站的标识信息相匹配的第一URL；
筛选模块，适于从跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL中筛选来源于所述指定网站的URL；
查找模块，适于从所述来源于所述指定网站的URL中查找网络热点URL，将所述网络热点URL对应的网页内容确定为网络特定内容。
13.如权利要求12所述的装置，其特征在于，所述确定模块包括：
第一匹配子模块，适于将每个第一URL分别与指定网站的标识信息进行匹配；
第一确定子模块，适于将包括所述指定网站的标识信息的第一URL确定为与指定网站的标识信息相匹配的第一URL。
14.如权利要求12所述的装置，其特征在于，所述筛选模块包括：
第二确定子模块，适于将全部跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL确定为来源于所述指定网站的URL。
15.如权利要求12所述的装置，其特征在于，所述筛选模块包括：
第二匹配子模块，适于将每个跳转自所述与指定网站的标识信息相匹配的第一URL的第二URL分别与指定网站的标识信息进行匹配；
第三确定子模块，适于将不包括所述指定网站的标识信息的第二URL确定为来源于所述指定网站的URL。
16.如权利要求12所述的装置，其特征在于，所述查找模块包括：
统计子模块，适于针对每个来源于所述指定网站的URL分别统计其出现的频率；
热点确定子模块，适于将频率大于预设阈值的所述来源于所述指定网站的URL确定为网络热点URL。
17.如权利要求12所述的装置，其特征在于，还包括：
聚类模块，适于对所述网络热点URL进行聚类，获得至少一个URL聚类。
18.如权利要求17所述的装置，其特征在于，所述聚类模块包括：
构建子模块，适于针对每个网络热点URL分别提取对应的特征信息，并采用所述特征信息构建该网络热点URL对应的特征向量；
计算子模块，适于计算每两个网络热点URL对应的特征向量的相似度；
聚类确定子模块，适于将相似度位于预设的相似度区间之内的特征向量对应的网络热点URL确定为属于同一个URL聚类。
19.如权利要求12所述的装置，其特征在于，还包括：
选取模块，适于从所述网络热点URL中选取来源于预设类型网站的URL。
20.如权利要求19所述的装置，其特征在于，所述选取模块包括：
热点匹配子模块，适于将每个网络热点URL分别与所述预设类型网站的标识信息进行匹配；
类型确定子模块，适于将包括所述预设类型网站的标识信息的网络热点URL确定为来源于预设类型网站的URL。
21.如权利要求12所述的装置，其特征在于，所述指定网站包括社交网站；所述社交网站包括以下至少之一：推特Twitter、脸谱Facebook、领英LinkedIn、微博、人人网。
22.如权利要求12所述的装置，其特征在于，预设类型网站包括以下至少之一：视频网站、时事网站、非门户网站、非媒体网站、个性化定制网站。
23.一种电子设备，其特征在于，包括如权利要求12-22任意一项所述的网络特定内容挖掘装置。
CN201410637595.1A 2014-11-05 2014-11-05 一种网络特定内容挖掘方法和装置、及一种电子设备 Active CN104376066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410637595.1A CN104376066B (zh) 2014-11-05 2014-11-05 一种网络特定内容挖掘方法和装置、及一种电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410637595.1A CN104376066B (zh) 2014-11-05 2014-11-05 一种网络特定内容挖掘方法和装置、及一种电子设备

Publications (2)

Publication Number Publication Date
CN104376066A CN104376066A (zh) 2015-02-25
CN104376066B true CN104376066B (zh) 2018-05-04

Family

ID=52554973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410637595.1A Active CN104376066B (zh) 2014-11-05 2014-11-05 一种网络特定内容挖掘方法和装置、及一种电子设备

Country Status (1)

Country Link
CN (1) CN104376066B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117436B (zh) * 2015-08-10 2018-03-30 上海晶赞科技发展有限公司 网站频道自动挖掘方法
CN107798013A (zh) * 2016-09-05 2018-03-13 广州市动景计算机科技有限公司 热点内容提供方法、设备、浏览器、电子设备及服务器
CN106446969B (zh) * 2016-12-01 2020-06-19 北京小米移动软件有限公司 用户识别的方法及装置
CN108228602A (zh) * 2016-12-14 2018-06-29 北京国双科技有限公司 网站的分类方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049553A (ja) * 2000-07-31 2002-02-15 Network System:Kk 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよび広告効果測定プログラムを記録したコンピュータ読み取り可能な記録媒体ならびに疑似ネットワーク位置特定情報生成装置、疑似ネットワーク位置特定情報生成方法、疑似ネットワーク位置特定情報生成プログラムおよび疑似ネットワーク位置特定情報生成プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101079768A (zh) * 2006-05-25 2007-11-28 阿里巴巴公司 一种统计网页链接点击数据的方法
CN101923544A (zh) * 2009-06-15 2010-12-22 北京百分通联传媒技术有限公司 一种监测展示互联网热点的方法
CN102663012A (zh) * 2012-03-20 2012-09-12 北京搜狗信息服务有限公司 一种网页预加载方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049553A (ja) * 2000-07-31 2002-02-15 Network System:Kk 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよび広告効果測定プログラムを記録したコンピュータ読み取り可能な記録媒体ならびに疑似ネットワーク位置特定情報生成装置、疑似ネットワーク位置特定情報生成方法、疑似ネットワーク位置特定情報生成プログラムおよび疑似ネットワーク位置特定情報生成プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101079768A (zh) * 2006-05-25 2007-11-28 阿里巴巴公司 一种统计网页链接点击数据的方法
CN101923544A (zh) * 2009-06-15 2010-12-22 北京百分通联传媒技术有限公司 一种监测展示互联网热点的方法
CN102663012A (zh) * 2012-03-20 2012-09-12 北京搜狗信息服务有限公司 一种网页预加载方法及系统

Also Published As

Publication number Publication date
CN104376066A (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
US9876751B2 (en) System and method for analyzing messages in a network or across networks
US8756224B2 (en) Methods, systems, and media for content ranking using real-time data
US9594852B2 (en) Filtering suggested structured queries on online social networks
US20180375949A1 (en) Provisioning personalized content recommendations
Helmond et al. Social media and platform historiography: Challenges and opportunities
CN102708174B (zh) 一种浏览器中的富媒体信息的展示方法和装置
WO2018053620A1 (en) Digital communications platform for webpage overlay
US20190065444A1 (en) Techniques for efficient & high-throughput web content-creation
CN105359125A (zh) 用户历史播放列表和预订
US20150193390A1 (en) Visited hyperlink appearance based on user activity
CN104376066B (zh) 一种网络特定内容挖掘方法和装置、及一种电子设备
CA2914587C (en) Ambiguous structured search queries on online social networks
CN104090923A (zh) 一种浏览器中的富媒体信息的展示方法和装置
US11232269B2 (en) Method and apparatus for processing data
US20140164342A1 (en) Human threading search engine
US20150040020A1 (en) Clickstream monitoring
US9740796B2 (en) Navigating a website using visual analytics and a dynamic data source
CN109074365A (zh) 使网络通信路径参数化
KR20190007628A (ko) 웹 데이터 수집을 이용한 날씨 검색 시스템
Quirino et al. Crowdsourcing strategies for smart cities applications
Veeraiah et al. A novel approach for extraction and representation of main data from web pages to android application
CN113190753A (zh) 数据采集方法和装置、电子设备、计算机可读介质
Wong et al. Crowdster: enabling social navigation in web-based visualization using crowdsourced evaluation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220720

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.