CN103605673B - 一种用于分析多个网络资源点的方法和装置 - Google Patents
一种用于分析多个网络资源点的方法和装置 Download PDFInfo
- Publication number
- CN103605673B CN103605673B CN201310522794.3A CN201310522794A CN103605673B CN 103605673 B CN103605673 B CN 103605673B CN 201310522794 A CN201310522794 A CN 201310522794A CN 103605673 B CN103605673 B CN 103605673B
- Authority
- CN
- China
- Prior art keywords
- network resource
- information
- effective
- resource point
- interaction data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 66
- 230000000694 effects Effects 0.000 claims abstract description 38
- 238000012216 screening Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 238000006748 scratching Methods 0.000 claims description 5
- 230000002393 scratching effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000032683 aging Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000036461 convulsion Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于分析多个网络资源点的装置和方法,该方法包括:抓取多个网络资源点的数据信息;对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据;根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性。使用本发明的装置和方法,通过筛选一段预定的时间段内的有效信息和获取有效交互数据,从而使用通过对实际的网络操作进行分析而获取的有效交互数据计算活跃度等级属性,由此解决了现有技术时效性不足、准确性较差的缺点,提高了对网络资源点进行分析的准确性和时效性。
Description
技术领域
本发明涉及网络数据通信领域,具体涉及一种用于分析多个网络资源点的装置和方法。
背景技术
随着互联网的发展,网络成为人们获取信息、交流信息的重要渠道,随着网络的发展,网络营销和网络监测,尤其是论坛营销和论坛检测,也应运而生,因此需要对多个网络资源点进行分析,从而获得活跃度的方法。
目前普遍采用的活跃度计算方式是直接抓取表征网络资源点活跃程度的交互数据,例如直接由网络页面抓取论坛和版块的发帖量、点击量、回复量,其中,发帖量越高说明这个论坛和版块越活跃,点击量越高越高说明这个论坛和版块越活跃,回复量越高说明这个论坛和版块越活跃。然而,现有技术仅对单一发帖量、点击量、回复量进行统计,新的论坛的版块在总量上很难超越老论坛,所以获取活跃度对老论坛有利;再者,由于统计的数据只看论坛表面提供的数值,没有去除垃圾信息,一些用机器灌水制造虚假繁荣的论坛会排名靠前,并且论坛有可能通过夸大帖子的点击回复数量提高对其监测所得到的活跃度属性;第三,现有技术简单对比论坛帖子数据,对论坛和版块不进行分类区分,一些细分行业的论坛和版块活跃度排名会靠后。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种用于分析多个网络资源点的装置和相应的一种用于分析多个网络资源点的方法。
依据本发明的一个方面,提供了一种用于分析多个网络资源点的装置,该装置包括:信息抓取单元,适于抓取多个网络资源点的数据信息;操作数获取单元,适于对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据;等级属性获取单元,适于根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性。
可选地,所述操作数获取单元,适于获取在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。
可选地,所述操作数获取单元,适于对该网络资源点的每条信息,判断该条信息是否为有效信息,若判断为否,则删除该条信息,若判断为是,则进一步抽取在该第一时间段内该信息被访问的次数,和/或,在该第一时间段内网络使用者针对该信息给出反馈的次数;和/或,在对该网络资源点的全部信息进行其是否为有效信息的判断后,获取在该第一时间段内新增的有效信息的数目。
可选地,所述操作数获取单元,适于对每条信息抽取该信息的正文,使用质量评价模型评估所述正文的质量,判断所述正文的质量是否合格,若判断为是,则该信息是有效信息,若判断为否,则该信息不是有效信息。可选地,所述信息抓取单元,进一步适于获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组;所述等级属性获取单元,适于计算属于同一分组的所述网络资源点的有效交互数据的平均值作为该分组的平均有效交互数据;以及根据各个网络资源点的有效交互数据和其所属分组的平均有效交互数据,计算该网络资源点的活跃度等级属性。
可选地,所述排序单元,适于根据活跃度等级属性对所述多个网络资源点进行排序。
可选地,所述排序单元,适于根据活跃度等级属性对属于同一分组的所述网络资源点进行排序。
根据本发明的另一方面,提供了一种用于分析多个网络资源点的方法,该方法包括:抓取多个网络资源点的数据信息;对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据;根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性。
可选地,所述网络资源点在预定的一段第一时间段内的有效交互数据包括在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。
可选地,所述筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据,具体包括:对该网络资源点的每条信息,判断该条信息是否为有效信息,若判断为否,则删除该条信息,若判断为是,则进一步抽取在该第一时间段内该信息被访问的次数,和/或,在该第一时间段内网络使用者针对该信息给出反馈的次数;和/或,在对该网络资源点的全部信息进行其是否为有效信息的判断后,获取在该第一时间段内新增的有效信息的数目。
可选地,所述判断该信息是否为有效信息具体包括:抽取所述信息的正文,使用质量评价模型评估所述正文的质量,判断所述正文的质量是否合格,若判断为是,则该信息是有效信息,若判断为否,则该信息不是有效信息。
可选地,该方法进一步包括:获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组;
所述根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性具体包括:计算属于同一分组的所述网络资源点的有效交互数据的平均值作为该分组的平均有效交互数据;以及根据各个网络资源点的有效交互数据和其所属分组的平均有效交互数据,计算该网络资源点的活跃度等级属性。
可选地,该方法进一步包括:根据活跃度等级属性对所述多个网络资源点进行排序。
可选地,该方法进一步包括:根据活跃度等级属性对属于同一分组的所述网络资源点进行排序。
可选地,所述每个网络资源点为一个网络论坛或网络论坛的一个论坛版块。
根据本发明的用于分析多个网络资源点的装置和方法可以对多个网络资源点筛选一段预定的时间段内的有效信息和获取有效交互数据,从而使用通过对实际的网络操作进行分析而获取的有效交互数据计算活跃度等级属性,由此解决了现有技术时效性不足、准确性较差的缺点,提高了对网络资源点进行分析的准确性和时效性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的用于分析多个网络资源点的方法的流程图;
图2示出了图1之中的步骤S200的详细的流程图;
图3示出了根据本发明另一个实施例的用于分析多个网络资源点的方法的流程图;
图4示出了图3之中步骤S300’的详细的流程图;
图5示出了根据本发明一个实施例的用于分析多个网络资源点的装置的框图;
图6示出了根据本发明另一个实施例的用于分析多个网络资源点的装置的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整地传达给本领域的技术人员。
图1示出了根据本发明一个实施例的用于分析多个网络资源点的方法的流程图。该方法包括如下步骤S100、步骤S200和步骤S300:
S100、抓取多个网络资源点的数据信息。
本实施例中,可以使用搜索引擎抓取多个网络资源点的数据信息。
较佳地,所述每个网络资源点为一个网络论坛或网络论坛的一个论坛版块。本实施例尤其适用于对网络论坛的分析,首先通过专业的论坛搜索引擎把论坛版块的信息全部抓取下来。较佳地,可以使用奇虎的论坛搜索,借助PeopleRank搜索技术,能够有效地识别和抓取论坛里的内容。
S200、对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据。本发明的交互数据,为表征网络资源点活跃程度的指标;有效交互数据,为经过筛选后(去除低质量内容后)的表征网络资源点活跃程度的指标的有效值。
所述网络资源点在预定的一段第一时间段内的有效交互数据包括在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。本发明通过筛选有效信息和有效交互数据,提高计算活跃度等级属性的准确性。
本实施例的步骤S200,可以应用于对网络论坛或网络论坛的论坛版块的分析,实时地使用楼层识别技术抓取论坛版块的帖子并抽取正文,筛选出质量合格的正文,得到质量合格的正文的数目即合格的帖子数(即获取新增的有效信息的数目),抓取一段时间内的点击质量合格的正文的点击数(即获取有效信息被访问的次数)、一段时间内的网络使用者针对合格的正文给出回复的回复数(即获取网络使用者针对所述有效信息给出反馈的次数)。本实施例的有效交互数据包括在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。
通过定期对点击和回复数做更新,能够得到最真实的信息。对于用机器灌水制造虚假繁荣的论坛,会有效排除低质量的内容;对于那些夸大帖子的点击回复数量的论坛,可以准确地得到实际的有效交互数据。
更具体地,本实施例,可以通过使用奇虎论坛搜索的垃圾样本自学习系统,对垃圾样本进行有效分析并建立质量评价模型(过滤模型),从而使用质量评价模型判断由帖子抽取得到的正文的质量,对每一条论坛的帖子进行打分,质量低的内容分值会很低,从而会被过滤,这就有效地去除了论坛版块中的广告推广、无聊灌水等垃圾信息。
S300、根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性。例如,将每个网络资源点的有效交互数据与全部网络资源点的有效交互数据的平均值的比例作为该网络资源点的活跃度等级属性。
在所述每个网络资源点为一个网络论坛或网络论坛的一个论坛版块时,综合一段时间内的发帖数(即新增的有效信息的数目)、平均点击数(即有效信息被访问的次数)和平均回复数(即网络使用者针对所述有效信息给出反馈的次数)的数据,得到版块和论坛的活跃度等级属性。
进一步地,本实施例还可以包括步骤S400:在得到多个网络资源点的活跃度等级属性之后,根据活跃度等级属性对所述多个网络资源点进行排序,从而可以进一步将对所述多个网络资源点进行排序的结果应用于网络监测、网络分析、网络营销等领域。
图2示出了图1之中的步骤S200的详细的流程图。步骤S200,具体包括步骤S210至步骤S290:
S210:判断多个网络资源点是否已全部经过筛选,若判断为是,则执行图1中的步骤S230,若判断为否,则执行步骤S220;
S220:取一个未经筛选的网络资源点;通过步骤S210和步骤S220,在确保步骤S100之中获取的多个网络资源点已经全部经过筛选之后执行步骤S300;
S230:判断网络资源点的信息是否已全部经过筛选,若判断为是,则执行步骤S290,若判断为否,则执行步骤S240;
S240:取一个未经筛选的信息,执行步骤S250;
S250:抽取信息的正文,使用质量评价模型评价正文的质量,执行步骤S260;
S260:判断正文的质量是否合格,若判断为是,则执行步骤S280,若判断为否,则执行步骤S270;
S270:删除该条信息,并返回步骤S230;
通过步骤S240至步骤S270,筛选得到有效信息,即抽取所述信息的正文,使用质量评价模型评估所述正文的质量,判断所述正文的质量是否合格,若判断为是,则该信息是有效信息,若判断为否,则该信息不是有效信息;
S280:抽取在第一时间段内该信息被访问的次数,和/或,在第一时间段内网络使用者针对该信息给出反馈的次数,并返回步骤S230;通过步骤S280,得到有效信息被访问的次数,和/或,网络使用者针对有效信息给出反馈的次数;
S290:获取在第一时间段内新增的有效信息的数目;通过步骤S230和步骤S290,在对该网络资源点的全部信息进行其是否为有效信息的判断后,获取在该第一时间段内新增的有效信息的数目。
图3示出了根据本发明另一个实施例的用于分析多个网络资源点的方法的流程图。包括步骤S100’至S300’:
S100’:抓取多个网络资源点的数据信息,对所述多个网络资源点进行分组。
具体地,是获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组。
更具体地,可以使用QVM人工智能引擎(Qihoo Support Vector Machine)基于大量的数据分析,提取共性的客观因素来进行反向验证并建模,获取所述网络资源点所属的类别并根据类别将所述多个网络资源点分组。这样可以在对大量的数据进行分析的基础上,获取更客观准确的分类模型,从而克服现有的人工分类主观性过高的缺陷,提高对网络资源点进行分组的准确性、客观性和速度。
较佳地,在所述每个网络资源点为一个网络论坛或网络论坛的一个论坛版块时,实际工程中,对于论坛监测和论坛营销需要根据不同的行业需要选择相应的论坛和版块。这就需要对论坛和版块做自动分类。本实施例由QVM人工智能引擎按照被考察对象的内部或外部特征,根据一定的要求(如类别的数量限制,同类对象的亲近程度等等),将相近、相似或相同特征的对象聚合在一起而对版块进行自动分类,比如分成汽车类版块、娱乐类版块、数码类版块等等。
当然,本领域技术人员可以了解的是,对所述多个网络资源点进行分组的操作,不仅仅可以在步骤S100’完成,也可以在步骤S200’完成。不以图3所示为限。
S200’:对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据。
S300’:根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性。
进一步地,还包括步骤S400’:根据活跃度等级属性对属于同一分组的所述网络资源点进行排序。具体包括:在得到分组后的多个网络资源点的活跃度等级属性之后,根据活跃度等级属性对属于同一分组的所述网络资源点进行排序,从而可以进一步将对所述多个网络资源点进行排序的结果应用于网络监测、网络分析、网络营销等领域。
图4示出了图3之中步骤S300’的详细的流程图。其中,步骤S300’具体包括步骤S310’和步骤S320’。
步骤S310’:计算属于同一分组的网络资源点的有效交互数据的平均值作为该分组的平均有效交互数据;
S320’:根据各个网络资源点的有效交互数据和其所属分组的平均有效交互数据,计算该网络资源点的活跃度等级属性。
这样可以根据分组计算网络资源点的活跃度等级属性。
其中,计算公式为:活跃度等级属性=有效交互数据÷所属分组的平均有效交互数据。
在所述每个网络资源点为一个网络论坛或网络论坛的一个论坛版块时,综合一段时间内的发帖数(即新增的有效信息的数目)、平均点击数(即有效信息被访问的次数)和平均回复数(即网络使用者针对所述有效信息给出反馈的次数)的数据,得到版块和论坛的活跃度等级属性。
具体地,首先对网络论坛或网络论坛的论坛版块进行分组,计算属于同一分组的所述网络论坛或网络论坛的论坛版块的有效交互数据的平均值作为该分组的平均有效交互数据。对每一个网络论坛或网络论坛的论坛版块,根据其自身的有效交互数据(版块发帖数+版块帖子平均点击数+版块帖子平均回复数)和其所属分组的平均有效交互数据(行业平均发帖数+行业帖子平均点击数+行业帖子平均回复数),计算其活跃度等级属性,计算公式为:活跃度等级属性=(版块发帖数+版块帖子平均点击数+版块帖子平均回复数)÷(行业平均发帖数+行业帖子平均点击数+行业帖子平均回复数)。
图5示出了根据本发明一个实施例的用于分析多个网络资源点的装置的框图。该装置包括:信息抓取单元100、操作数获取单元200和等级属性获取单元300。
信息抓取单元100,适于抓取多个网络资源点的数据信息。
操作数获取单元200,适于对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据。
较佳地,操作数获取单元200,适于获取在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个,从而得到有效交互数据。
较佳地,操作数获取单元200,适于对该网络资源点的每条信息,判断该条信息是否为有效信息,若判断为否,则删除该条信息,若判断为是,则进一步抽取在该第一时间段内该信息被访问的次数,和/或,在该第一时间段内网络使用者针对该信息给出反馈的次数;和/或,在对该网络资源点的全部信息进行其是否为有效信息的判断后,获取在该第一时间段内新增的有效信息的数目。
较佳地,操作数获取单元200,适于对每条信息抽取该信息的正文,使用质量评价模型评估所述正文的质量,判断所述正文的质量是否合格,若判断为是,则该信息是有效信息,若判断为否,则该信息不是有效信息。从而判断一条信息是否为有效信息。
等级属性获取单元300,适于根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性。
进一步地,所述信息抓取单元100,适于获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组。则,等级属性获取单元300,适于计算属于同一分组的所述网络资源点的有效交互数据的平均值作为该分组的平均有效交互数据;以及根据各个网络资源点的有效交互数据和其所属分组的平均有效交互数据,计算该网络资源点的活跃度等级属性。
图6示出了根据本发明另一个实施例的用于分析多个网络资源点的装置的框图。与图5所示的装置大致相同,不同之处在于,还包括排序单元400,适于根据活跃度等级属性对所述多个网络资源点进行排序。从而可以进一步将排序的结果,应用于网络监测、网络分析、网络营销等领域。
若信息抓取单元100,适于多个获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组,则排序单元400适于根据活跃度等级属性对属于同一分组的所述网络资源点进行排序。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的×××设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (13)
1.一种用于分析多个网络资源点的装置,该装置包括:
信息抓取单元,适于抓取多个网络资源点的数据信息;
操作数获取单元,适于对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据;所述有效交互数据为:经过筛选后的表征网络资源点活跃程度的指标的有效值;
等级属性获取单元,适于根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性;
排序单元,适于根据活跃度等级属性对所述多个网络资源点进行排序。
2.根据权利要求1所述的装置,其中,
所述操作数获取单元,适于获取在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。
3.如权利要求1所述的装置,其中,
所述操作数获取单元,适于对该网络资源点的每条信息,判断该条信息是否为有效信息,若判断为否,则删除该条信息,若判断为是,则进一步抽取在该第一时间段内该信息被访问的次数,和/或,在该第一时间段内网络使用者针对该信息给出反馈的次数;和/或,在对该网络资源点的全部信息进行其是否为有效信息的判断后,获取在该第一时间段内新增的有效信息的数目。
4.如权利要求3所述的装置,其中,
所述操作数获取单元,适于对每条信息抽取该信息的正文,使用质量评价模型评估所述正文的质量,判断所述正文的质量是否合格,若判断为是,则该信息是有效信息,若判断为否,则该信息不是有效信息。
5.根据权利要求1所述的装置,其中,
所述信息抓取单元,进一步适于获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组;
所述等级属性获取单元,适于计算属于同一分组的所述网络资源点的有效交互数据的平均值作为该分组的平均有效交互数据;以及根据各个网络资源点的有效交互数据和其所属分组的平均有效交互数据,计算该网络资源点的活跃度等级属性。
6.根据权利要求5所述的装置,其中,该装置进一步包括排序单元;
所述排序单元,适于根据活跃度等级属性对属于同一分组的所述网络资源点进行排序。
7.一种用于分析多个网络资源点的方法,该方法包括:
抓取多个网络资源点的数据信息;
对每个网络资源点,筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据;所述有效交互数据为:经过筛选后的表征网络资源点活跃程度的指标的有效值;
根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性;
根据活跃度等级属性对所述多个网络资源点进行排序。
8.根据权利要求7所述的方法,其中,
所述网络资源点在预定的一段第一时间段内的有效交互数据包括在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。
9.根据权利要求7所述的方法,其中,所述筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据,具体包括:
对该网络资源点的每条信息,判断该条信息是否为有效信息,若判断为否,则删除该条信息,若判断为是,则进一步抽取在该第一时间段内该信息被访问的次数,和/或,在该第一时间段内网络使用者针对该信息给出反馈的次数;和/或,
在对该网络资源点的全部信息进行其是否为有效信息的判断后,获取在该第一时间段内新增的有效信息的数目。
10.根据权利要求9所述的方法,其中,所述判断该信息是否为有效信息具体包括:
抽取所述信息的正文,使用质量评价模型评估所述正文的质量,判断所述正文的质量是否合格,若判断为是,则该信息是有效信息,若判断为否,则该信息不是有效信息。
11.根据权利要求7所述的方法,其中,该方法进一步包括:
获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组;
所述根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性具体包括:
计算属于同一分组的所述网络资源点的有效交互数据的平均值作为该分组的平均有效交互数据;以及根据各个网络资源点的有效交互数据和其所属分组的平均有效交互数据,计算该网络资源点的活跃度等级属性。
12.根据权利要求11所述的方法,其中,该方法进一步包括:
根据活跃度等级属性对属于同一分组的所述网络资源点进行排序。
13.根据权利要求7至12任一权利要求所述的方法,其中,所述每个网络资源点为一个网络论坛或网络论坛的一个论坛版块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310522794.3A CN103605673B (zh) | 2013-10-29 | 2013-10-29 | 一种用于分析多个网络资源点的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310522794.3A CN103605673B (zh) | 2013-10-29 | 2013-10-29 | 一种用于分析多个网络资源点的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103605673A CN103605673A (zh) | 2014-02-26 |
CN103605673B true CN103605673B (zh) | 2017-06-09 |
Family
ID=50123897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310522794.3A Active CN103605673B (zh) | 2013-10-29 | 2013-10-29 | 一种用于分析多个网络资源点的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103605673B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273508B (zh) * | 2017-06-20 | 2020-07-10 | 北京百度网讯科技有限公司 | 基于人工智能的信息处理方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6560639B1 (en) * | 1998-02-13 | 2003-05-06 | 3565 Acquisition Corporation | System for web content management based on server-side application |
CN101123520A (zh) * | 2006-08-07 | 2008-02-13 | 腾讯科技(深圳)有限公司 | 一种定向投放广告的方法和广告系统 |
CN101179426A (zh) * | 2006-12-20 | 2008-05-14 | 腾讯科技(深圳)有限公司 | 一种确定论坛热帖的方法及系统 |
CN101493836A (zh) * | 2009-02-25 | 2009-07-29 | 腾讯科技(深圳)有限公司 | 一种资源信息挖掘排序方法、装置及服务器 |
CN102799587A (zh) * | 2011-05-25 | 2012-11-28 | 腾讯科技(深圳)有限公司 | 一种论坛搜索方法和装置 |
CN102945290A (zh) * | 2012-12-03 | 2013-02-27 | 北京奇虎科技有限公司 | 微博热点话题挖掘装置及方法 |
CN103020090A (zh) * | 2011-09-27 | 2013-04-03 | 腾讯科技(深圳)有限公司 | 一种提供链接推荐的方法及装置 |
-
2013
- 2013-10-29 CN CN201310522794.3A patent/CN103605673B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6560639B1 (en) * | 1998-02-13 | 2003-05-06 | 3565 Acquisition Corporation | System for web content management based on server-side application |
CN101123520A (zh) * | 2006-08-07 | 2008-02-13 | 腾讯科技(深圳)有限公司 | 一种定向投放广告的方法和广告系统 |
CN101179426A (zh) * | 2006-12-20 | 2008-05-14 | 腾讯科技(深圳)有限公司 | 一种确定论坛热帖的方法及系统 |
CN101493836A (zh) * | 2009-02-25 | 2009-07-29 | 腾讯科技(深圳)有限公司 | 一种资源信息挖掘排序方法、装置及服务器 |
CN102799587A (zh) * | 2011-05-25 | 2012-11-28 | 腾讯科技(深圳)有限公司 | 一种论坛搜索方法和装置 |
CN103020090A (zh) * | 2011-09-27 | 2013-04-03 | 腾讯科技(深圳)有限公司 | 一种提供链接推荐的方法及装置 |
CN102945290A (zh) * | 2012-12-03 | 2013-02-27 | 北京奇虎科技有限公司 | 微博热点话题挖掘装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103605673A (zh) | 2014-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108121795B (zh) | 用户行为预测方法及装置 | |
CN106951925B (zh) | 数据处理方法、装置、服务器及系统 | |
Mena‐Chalco et al. | Brazilian bibliometric coauthorship networks | |
CN107657267B (zh) | 产品潜在用户挖掘方法及装置 | |
CN104834641B (zh) | 网络媒介信息的处理方法和相关系统 | |
CN108804704A (zh) | 一种用户深度画像方法及装置 | |
CN104993962B (zh) | 获取终端使用状态的方法和系统 | |
CN111160783B (zh) | 数字资产价值的评价方法、系统及电子设备 | |
CN109104421B (zh) | 一种网站内容篡改检测方法、装置、设备及可读存储介质 | |
CN103902566A (zh) | 一种基于微博用户行为的人格预测方法 | |
CN103605670B (zh) | 一种用于确定网络资源点的抓取频率的方法和装置 | |
US8140444B2 (en) | Method of measuring a large population of web pages for compliance to content standards that require human judgement to evaluate | |
CN112613569A (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
CN109558952A (zh) | 数据处理方法、系统、设备及存储介质 | |
CN104348871A (zh) | 一种同类账号扩展方法及装置 | |
CN104809104A (zh) | 一种微博文本情绪识别方法及系统 | |
CN113158084B (zh) | 移动轨迹数据处理的方法、装置、计算机设备及存储介质 | |
CN103605673B (zh) | 一种用于分析多个网络资源点的方法和装置 | |
CN109064067A (zh) | 基于互联网的金融风险运营主体判定方法及装置 | |
CN110895543A (zh) | 人口迁徙跟踪展示方法、装置及存储介质 | |
CN107909414A (zh) | 应用程序的反作弊方法及装置 | |
CN112163098A (zh) | 一种知识图谱的创建方法、装置、存储介质和服务器 | |
KR20220009235A (ko) | 소셜 네트워크 데이터에 기반한 인플루엔자 패턴 예측 장치 및 방법 | |
CN115063021B (zh) | 水库大坝工程对环境影响的识别方法、系统、设备及介质 | |
CN103823825B (zh) | 在线内容采集 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220721 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
TR01 | Transfer of patent right |