CN110188301A - 用于网站的信息聚合方法及装置 - Google Patents

用于网站的信息聚合方法及装置 Download PDF

Info

Publication number
CN110188301A
CN110188301A CN201910364091.XA CN201910364091A CN110188301A CN 110188301 A CN110188301 A CN 110188301A CN 201910364091 A CN201910364091 A CN 201910364091A CN 110188301 A CN110188301 A CN 110188301A
Authority
CN
China
Prior art keywords
word
thematic
resource
website
thematic word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910364091.XA
Other languages
English (en)
Other versions
CN110188301B (zh
Inventor
王全想
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910364091.XA priority Critical patent/CN110188301B/zh
Publication of CN110188301A publication Critical patent/CN110188301A/zh
Application granted granted Critical
Publication of CN110188301B publication Critical patent/CN110188301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种用于网站的信息聚合方法,属于信息聚合领域。所述方法包括针对存储的专题词中的每个专题词,执行以下步骤:在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述网站的前第一数量的资源;获取所述网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源;获取所述网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源;以及使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面。其可以使得网站对搜索引擎更友好,从而提高网站的页面权重及排名。

Description

用于网站的信息聚合方法及装置
技术领域
本发明涉及信息聚合领域,具体地,涉及用于网站的信息聚合方法及装置。
背景技术
目前网站的聚合页面虽然具有“分类”、“栏目”、“专题”等聚合页面,但是其内容归类较宽泛、数目较少且分类都比较固定。另外,聚合页面多是由运营人员人工配置生成,生成的聚合页面内容比较固定,且不能实时契合当前时间段的热搜词。
发明内容
本发明实施例的目的是提供一种用于网站的信息聚合方法及装置,其能够动态地自动生成聚合页面。
为了实现上述目的,本发明实施例提供一种用于网站的信息聚合方法,所述方法包括针对存储的专题词中的每个专题词,执行以下步骤:在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述网站的前第一数量的资源;获取所述网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源;获取所述网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源;以及使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面。
可选的,所述方法还包括针对所述存储的专题词中的所述每个专题词,还执行以下步骤:获取与所述专题词的相关度大于预设相关度的第四数量的专题词;以及获取与所述第四数量的专题词中每一个专题词相关联的聚合页面;使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面包括:对所述第一数量的资源、所述第二数量的资源、所述第三数量的资源、以及与所述第四数量的专题词中每一个专题词相关联的聚合页面中资源进行聚合以得到与所述专题词关联的聚合页面。
可选的,所述方法还包括针对所述存储的专题词中的所述每个专题词,还执行以下步骤:将所述专题词作为关键词、将与所述专题词关联的聚合页面作为与所述关键词对应的页面而提交至所述搜索引擎。
可选的,根据以下步骤获取所述存储的专题词:每隔预设周期获取所述搜索引擎中的热搜词,其中所述热搜词是指在所述搜索引擎中输入次数排名在前预设名次的词语或短语;对所述热搜词进行分词;过滤分出的词中的敏感词、违禁词以得到专题词;以及对得到的专题词进行存储。
可选的,根据以下中的一者或多者来确定所述热度:浏览量、点赞量、回复量、以及转发量。
可选的,所述网站是社区网站。
相应的,本发明实施例还提供一种用于网站的信息聚合装置,针对存储的专题词中的每个专题词,所述装置包括:第一获取模块,用于在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述网站的前第一数量的资源;第二获取模块,用于获取所述网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源;第三获取模块,用于获取所述网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源;以及聚合模块,使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面。
可选的,针对存储的专题词中的每个专题词,所述装置还包括:第四获取模块,用于:获取与所述专题词的相关度大于预设相关度的第四数量的专题词;以及获取与所述第四数量的专题词中每一个专题词相关联的聚合页面;所述聚合模块用于对所述第一数量的资源、所述第二数量的资源、所述第三数量的资源、以及与所述第四数量的专题词中每一个专题词相关联的聚合页面中资源进行聚合以得到与所述专题词关联的聚合页面。
可选的,针对所述存储的专题词中的所述每个专题词,所述装置还包括:提交模块,用于将所述专题词作为关键词、将与所述专题词关联的聚合页面作为与所述关键词对应的页面而提交至所述搜索引擎。
可选的,所述装置还包括:第五获取模块,用于每隔预设周期获取所述搜索引擎中的热搜词,其中所述热搜词是指在所述搜索引擎中输入次数排名在前预设名次的词语或短语;分词模块,用于对所述热搜词进行分词;过滤模块,用于过滤分出的词中的敏感词、违禁词以得到专题词;以及存储模块,用于对得到的专题词进行存储。
可选的,根据以下中的一者或多者来确定所述热度:浏览量、点赞量、回复量、以及转发量。
可选的,所述网站是社区网站。
相应的,本发明实施例还提供一种处理器,用于运行程序,其中,所述程序被运行时用于执行:上述的用于网站的信息聚合方法。
相应的,本发明实施例还提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器能够执行:上述的用于网站的信息聚合方法。
通过上述技术方案,使用获取的与所述专题词相关且属于所述网站的前第一数量的资源、所述网站内与所述专题词相关的资源中具有最新回复的第二数量的资源、所述网站内与所述专题词相关的资源中热度最高的第三数量的资源动态得到网站中与专题词相关联的聚合页面,使得聚合页面的生成更加方便、快捷。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
图1示出了根据本发明一实施例的用于网站的信息聚合方法的流程示意图;
图2示出了根据本发明另一实施例的用于社区网站的信息聚合方法的流程示意图;以及
图3示出了根据本发明一实施例的用于网站的信息聚合装置的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
图1示出了根据本发明一实施例的用于网站的信息聚合方法的流程示意图。如图1所示,本发明实施例提供一种用于网站的信息聚合方法,所述网站可以是社区网站和门户类型网站、内容服务类型的网站等,所述社区网站例如可以是微博、贴吧、博客等任意的社区网站,所述门户类型网站为搜狐网站等,内容服务类型的网站可以是各种新闻类型的网站等。所述方法包括针对存储的专题词中的每个专题词,执行步骤S110至步骤S140。
所述存储的专题词可以通过以下方式获取:
首先每隔预设周期获取搜索引擎中的热搜词,热搜词为用户原始输入的词,其是指搜索引擎中输入次数排名在前预设名次的词语或短语,所述预设名次例如可以设置为10、20或30,或其它任何合适的值。所述预设周期例如可以是12小时、1天或2天,或其它任何合适的值。所述热搜词可以包括在PC端搜索的词语,也可以包括在移动端搜索的词语。
之后,可以对获取到的热搜词进行分词,分词的目的是将一个长词划分成若干个短词。例如,热搜词为“春晚直播”,则使用分词技术分出的词可以是“春晚”、“春晚直播”等。所使用的分词技术例如可以是字符串匹配的分词方法、语义分词法、统计分词法等任意一种分词技术。
进一步,可以对分出词进行过滤,例如过滤出敏感词、违禁词等,从而得到专题词。所使用的过滤算法可以是DFA算法、前缀树算法等等。
最后,对得到的专题词进行存储即可获得所述存储的专题词。然后可对存储的专题词中的每个专题词执行步骤S110至步骤S140。
在步骤S110,在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述网站的前第一数量的资源。
也就是说,步骤S110是获取搜索引擎中被召回的网站内的前第一数量的资源。可选的在执行步骤S110时,也可以在搜索引擎中同时搜索所述专题词和所述网站,以便快速地从搜索结果中获取前第一数量的资源。
在步骤S120,获取所述网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源。
本发明实施例中的最新回复可以是截止到当前时间点的最新回复,或者也可以限制为从当前时间点的前预设时间到当前时间点的时间段内的最新回复。在执行步骤S120时,可以在网站内搜索所述专题词,从搜索结果中获取具有最新回复的第二数量的资源。
在步骤S130,获取所述网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源。
本发明实施例中的热度可以根据浏览量、点赞量、回复量、以及转发量来进行确定。可以仅使用浏览量、点赞量、回复量、以及转发量中的一者来进行确定,如,可获取按照浏览量排名的前第三数量的资源。也可以使用浏览量、点赞量、回复量、以及转发量中的多者来进行热度的确定,例如,可以将所使用的多者的平均值作为热度,或者将所使用的多者的加权平均值作为热度。
本发明实施例中的第一数量、第二数量、第三数量可以分别设置为任意合适的值,其也可以相同,也可以不同。另外,本发明实施例中步骤S110、S120、S130的先后执行顺序并不进行特定限制,其可以是并行执行的,或者可以具有任意其它执行顺序。
可选的,为了增加时效性,也可以在步骤S110、S120、S130中增加关于时间段的限制,所述时间段例如可以是从当前时间点的前预设时间到当前时间点的时间段。可以理解,经过此限制后,第一数量、第二数量、第三数量的值将不固定,其在一些情况下有可能是零,例如,如果在所限定的时间段内,所述网站内与所述专题词相关的资源中均没有最新回复,则第二数量为零。
在步骤S140,使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面。
可选的,可以对所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源进行聚合包括对所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源进行去重,以去除重复的资源。然后将去重的资源进行整合、渲染以得到所述聚合页面。
本发明实施例提供的网站的信息聚合方法对获取的与所述专题词相关且属于所述网站的前第一数量的资源、所述网站内与所述专题词相关的资源中具有最新回复的第二数量的资源、所述网站内与所述专题词相关的资源中热度最高的第三数量的资源进行聚合可以动态得到网站中与专题词相关联的聚合页面,使得聚合页面的生成更加方便、快捷。另外,专题词是与热搜词相关联的词语,这使得生成的聚合页面能够更契合指定时间段的热搜词。
进一步的,本发明实施例提供的网站的信息聚合方法还可以包括将专题词作为关键词、将与所述专题词关联的聚合页面作为与所述关键词对应的页面而提交至所述搜索引擎。这一步可以使用sitemap提交服务而实现,将专题词作为关键词并将聚合的页面作为对应的页面,提交给搜索引擎,搜索引擎可以自动建立关联。将根据本发明实施例提供的网站的信息聚合方法生成的聚合页面提交至搜索引擎后,动态新增的聚合页面可以为网站带来大量的浏览量、以及增加浏览网站的ID或用户数量,其可以使得网站对搜索引擎更友好,从而提高网站的页面权重及排名。
可选的,也可以将得到的与所述专题词关联的聚合页面分发到其它的网站,以进一步提高网站的浏览量、以及增加浏览网站的ID或用户数量。
本发明实施例的网站可以是社区网站,所述社区网站例如可以是微博、贴吧、博客等任意的社区网站。图2示出了根据本发明另一实施例的用于社区网站的信息聚合方法的流程示意图。如图2所示,以社区网站为例,本发明实施例提供的用于网站的信息聚合方法包括针对存储的专题词中的每个专题词,执行步骤S210至步骤S260。
所述存储的专题词可以通过以下方式获取:
首先每隔预设周期获取搜索引擎中的热搜词,热搜词为用户原始输入的词,其是指搜索引擎中输入次数排名在前预设名次的词语或短语,所述预设名次例如可以设置为10、20或30,或其它任何合适的值。所述预设周期例如可以是12小时、1天或2天,或其它任何合适的值。所述热搜词可以包括在PC端搜索的词语,也可以包括在移动端搜索的词语。
之后,可以对获取到的热搜词进行分词,分词的目的是将一个长词划分成若干个短词。例如,热搜词为“春晚直播”,则使用分词技术分出的词可以是“春晚”、“春晚直播”等。所使用的分词技术例如可以是字符串匹配的分词方法、语义分词法、统计分词法等任意一种分词技术。
进一步,可以对分出词进行过滤,例如过滤出敏感词、违禁词等,从而得到专题词。所使用的过滤算法可以是DFA算法、前缀树算法等等。
最后,对得到的专题词进行存储即可获得所述存储的专题词。然后可对存储的专题词中的每个专题词执行步骤S210至步骤S260。
在步骤S210,在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述社区网站的前第一数量的资源。
也就是说,步骤S210是获取搜索引擎中被召回的社区网站内的前第一数量的资源。可选的在执行步骤S210时,也可以在搜索引擎中同时搜索所述专题词和所述社区网站,以便快速地从搜索结果中获取前第一数量的资源。
在步骤S220,获取所述社区网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源。
本发明实施例中的最新回复可以是截止到当前时间点的最新回复,或者也可以限制为从当前时间点的前预设时间到当前时间点的时间段内的最新回复。在执行步骤S220时,可以在社区网站内搜索所述专题词,从搜索结果中获取具有最新回复的第二数量的资源。
在步骤S230,获取所述社区网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源。
本发明实施例中的热度可以根据浏览量、点赞量、回复量、以及转发量来进行确定。可以仅使用浏览量、点赞量、回复量、以及转发量中的一者来进行确定,如,可获取按照浏览量排名的前第三数量的资源。也可以使用浏览量、点赞量、回复量、以及转发量中的多者来进行热度的确定,例如,可以将所使用的多者的平均值作为热度,或者将所使用的多者的加权平均值作为热度。
本发明实施例中的第一数量、第二数量、第三数量可以分别设置为任意合适的值,其也可以相同,也可以不同。
在步骤S240,获取与所述专题词的相关度大于预设相关度的第四数量的专题词,以及获取与所述第四数量的专题词中每一个专题词相关联的聚合页面。
可以从所存储的专题词中获取与当前专题词的相关度大于预设相关度的第四数量的专题词。所述相关度可以使用任意公知的相关度算法来确定,例如使用的相关度算法可以是基于Word2vec原理的算法。或者,如果两个专题词之间具有相同的词,也可以认为这两个专题词之间满足相关度大于预设相关度。例如,如果当前专题词是“春晚直播”,则与“春晚直播”满足相关度大于预设相关度的专题词可以是“春晚录制”、“春晚彩排”等。
可以理解,一些情况下,也可能获取不到与专题词的相关度大于预设相关度的专题词,也就是说,第四数量也可能是零。
另外,针对第四数量不为零的情况,也有可能获取不到与第四数量的专题词中每一个专题词相关联的聚合页面,这是因为有可能还未生成与第四数量的专题词中每一个专题词相关联的聚合页面。这种情况下,可以等待生成与第四数量的专题词中每一个专题词相关联的聚合页面之后,再获取与第四数量的专题词中每一个专题词相关联的聚合页面。或者也可以将步骤S240的结果确定为未获取到聚合页面。
本发明实施例中步骤S210、S220、S230、S240的先后执行顺序并不进行特定限制,其可以是并行执行的,或者可以具有任意其它执行顺序。
可选的,为了增加时效性,也可以在步骤S210、S220、S230、S240中增加关于时间段的限制,所述时间段例如可以是从当前时间点的前预设时间到当前时间点的时间段。可以理解,经过此限制后,第一数量、第二数量、第三数量的值将不固定,其在一些情况下有可能是零,例如,如果在所限定的时间段内,所述社区网站内与所述专题词相关的资源中均没有最新回复,则第二数量为零。
在步骤S250,对所述第一数量的资源、所述第二数量的资源、所述第三数量的资源、以及与所述第四数量的专题词中每一个专题词相关联的聚合页面中资源进行聚合以得到与所述专题词关联的聚合页面。
在步骤S250中执行的聚合包括对所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源进行去重,以去除重复的资源。然后将去重的资源与所述第四数量的专题词中每一个专题词相关联的聚合页面进行整合、渲染以得到所述专题词关联的聚合页面。
步骤S260,将所述专题词作为关键词、将所述聚合的页面作为与所述关键词对应的页面而提交至所述搜索引擎。
这一步可以使用sitemap提交服务而实现,在将专题词作为关键词并将聚合的页面作为对应的页面,提交给搜索引擎,搜索引擎可以自动建立关联。在生成与专题词相关联的聚合页面时,考虑与专题词相关的其它专题词的聚合页面,其可以进一步增加社区网站的浏览量、增加浏览社区网站的ID或用户数量,其可以使得社区网站对搜索引擎更友好,并进一步提高社区网站的页面权重及排名。
图3示出了根据本发明一实施例的用于社区网站的信息聚合装置的结构框图。如图3所示,本发明实施例还提供一种用于网站的信息聚合装置,所述网站可以是社区网站和门户类型网站、内容服务类型的网站等,所述社区网站例如可以是微博、贴吧、博客等任意的社区网站,所述门户类型网站为搜狐网站等,内容服务类型的网站可以是各种新闻类型的网站等。针对存储的专题词中的每个专题词,所述装置包括:第一获取模块310,用于在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述网站的前第一数量的资源;第二获取模块320,用于获取所述网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源;第三获取模块330,用于获取所述网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源,其中可以根据以下中的一者或多者来确定所述热度:浏览量、点赞量、回复量、以及转发量;以及聚合模块340,对所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源进行聚合以得到与所述专题词关联的聚合页面。可以动态得到网站中与专题词相关联的聚合页面,使得聚合页面的生成更加方便、快捷。
可选的,所述装置还可以包括:第五获取模块,用于每隔预设周期获取所述搜索引擎中的热搜词,其中所述热搜词是指在所述搜索引擎中输入次数排名在前预设名次的词语或短语;分词模块,用于对所述热搜词进行分词;过滤模块,用于过滤分出的词中的敏感词、违禁词以得到专题词;以及存储模块,用于对得到的专题词进行存储,从而得到存储的专题词。专题词是与热搜词相关联的词语,这使得生成的聚合页面能够更契合指定时间段的热搜词。
在一些可选实施例中,针对存储的专题词中的每个专题词,所述装置还可以包括:第四获取模块,用于:获取与所述专题词的相关度大于预设相关度的第四数量的专题词;以及获取与所述第四数量的专题词中每一个专题词相关联的聚合页面;所述聚合模块340用于对所述第一数量的资源、所述第二数量的资源、所述第三数量的资源、以及与所述第四数量的专题词中每一个专题词相关联的聚合页面中资源进行聚合以得到与所述专题词关联的聚合页面。
在一些可选实施例中,针对存储的专题词中的每个专题词,所述装置还包括:提交模块,用于将所述专题词作为关键词、将与所述专题词关联的聚合页面作为与所述关键词对应的页面而提交至所述搜索引擎。将根据本发明实施例提供的网站的信息聚合方法生成的聚合页面提交至搜索引擎后,动态新增的聚合页面可以为网站带来大量的浏览量、以及增加浏览网站的ID或用户数量,其可以使得网站对搜索引擎更友好,从而提高网站的页面权重及排名。
本发明实施例提供的用于网站的信息聚合装置的具体工作原理及益处与上述本发明实施例提供的用于网站的信息聚合方法的具体工作原理及益处相似,这里将不再赘述。
另外,本发明实施例提供的用于网站的信息聚合装置可包括处理器和存储器,上述的第一获取模块、第二获取模块、第三获取模块、聚合模块、第四获取模块、提交模块、第五获取模块、分词模块、过滤模块、存储模块
等均可作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。其中,处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来执行根据本发明任意实施例的用于导航图层绘制的预处理方法。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例还提供一种处理器,所述处理器用于运行程序,其中,所述程序被运行时用于执行根据本发明任意实施例所述的用于网站的信息聚合方法。
本发明实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有指令,该指令用于使得机器执行根据本发明任意实施例所述的用于网站的信息聚合方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种用于网站的信息聚合方法,其特征在于,所述方法包括针对存储的专题词中的每个专题词,执行以下步骤:
在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述网站的前第一数量的资源;
获取所述网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源;
获取所述网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源;以及
使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面。
2.根据权利要求1所述的方法,其特征在于,
所述方法还包括针对所述存储的专题词中的所述每个专题词,还执行以下步骤:获取与所述专题词的相关度大于预设相关度的第四数量的专题词;以及获取与所述第四数量的专题词中每一个专题词相关联的聚合页面;
使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面包括:对所述第一数量的资源、所述第二数量的资源、所述第三数量的资源、以及与所述第四数量的专题词中每一个专题词相关联的聚合页面中资源进行聚合以得到与所述专题词关联的聚合页面。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括针对所述存储的专题词中的所述每个专题词,还执行以下步骤:
将所述专题词作为关键词、将与所述专题词关联的聚合页面作为与所述关键词对应的页面而提交至所述搜索引擎。
4.根据权利要求1所述的方法,其特征在于,根据以下步骤获取所述存储的专题词:
每隔预设周期获取所述搜索引擎中的热搜词,其中所述热搜词是指在所述搜索引擎中输入次数排名在前预设名次的词语或短语;
对所述热搜词进行分词;
过滤分出的词中的敏感词、违禁词以得到专题词;以及
对得到的专题词进行存储。
5.根据权利要求1所述的方法,其特征在于,根据以下中的一者或多者来确定所述热度:浏览量、点赞量、回复量、以及转发量。
6.根据权利要求1所述的方法,其特征在于,所述网站是社区网站。
7.一种用于网站的信息聚合装置,其特征在于,针对存储的专题词中的每个专题词,所述装置包括:
第一获取模块,用于在搜索引擎中搜索所述专题词,以在搜索结果中获取与所述专题词相关且属于所述网站的前第一数量的资源;
第二获取模块,用于获取所述网站内与所述专题词相关的资源中按照最新回复排名的前第二数量的资源;
第三获取模块,用于获取所述网站内与所述专题词相关的资源中按照热度排名的前第三数量的资源;以及
聚合模块,使用所述第一数量的资源、所述第二数量的资源、以及所述第三数量的资源得到与所述专题词关联的聚合页面。
8.根据权利要求7所述的装置,其特征在于,
针对存储的专题词中的每个专题词,所述装置还包括:第四获取模块,用于:获取与所述专题词的相关度大于预设相关度的第四数量的专题词;以及获取与所述第四数量的专题词中每一个专题词相关联的聚合页面;
所述聚合模块用于对所述第一数量的资源、所述第二数量的资源、所述第三数量的资源、以及与所述第四数量的专题词中每一个专题词相关联的聚合页面中资源进行聚合以得到与所述专题词关联的聚合页面。
9.根据权利要求7或8所述的装置,其特征在于,针对所述存储的专题词中的所述每个专题词,所述装置还包括:
提交模块,用于将所述专题词作为关键词、将与所述专题词关联的聚合页面作为与所述关键词对应的页面而提交至所述搜索引擎。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第五获取模块,用于每隔预设周期获取所述搜索引擎中的热搜词,其中所述热搜词是指在所述搜索引擎中输入次数排名在前预设名次的词语或短语;
分词模块,用于对所述热搜词进行分词;
过滤模块,用于过滤分出的词中的敏感词、违禁词以得到专题词;以及
存储模块,用于对得到的专题词进行存储。
11.根据权利要求7所述的装置,其特征在于,根据以下中的一者或多者来确定所述热度:浏览量、点赞量、回复量、以及转发量。
12.根据权利要求2所述的装置,其特征在于,所述网站是社区网站。
13.一种处理器,其特征在于,用于运行程序,其中,所述程序被运行时用于执行:根据权利要求1至6中任一项所述的用于网站的信息聚合方法。
14.一种机器可读存储介质,其特征在于,该机器可读存储介质上存储有指令,该指令用于使得机器能够执行:根据权利要求1至6中任一项所述的用于网站的信息聚合方法。
CN201910364091.XA 2019-04-30 2019-04-30 用于网站的信息聚合方法及装置 Active CN110188301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910364091.XA CN110188301B (zh) 2019-04-30 2019-04-30 用于网站的信息聚合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910364091.XA CN110188301B (zh) 2019-04-30 2019-04-30 用于网站的信息聚合方法及装置

Publications (2)

Publication Number Publication Date
CN110188301A true CN110188301A (zh) 2019-08-30
CN110188301B CN110188301B (zh) 2022-02-18

Family

ID=67715525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910364091.XA Active CN110188301B (zh) 2019-04-30 2019-04-30 用于网站的信息聚合方法及装置

Country Status (1)

Country Link
CN (1) CN110188301B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581513A (zh) * 2020-05-07 2020-08-25 安徽龙讯信息科技有限公司 一种网站智能信息聚合系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458708A (zh) * 2008-12-05 2009-06-17 北京大学 检索结果聚类方法及装置
CN103106234A (zh) * 2012-11-07 2013-05-15 无锡成电科大科技发展有限公司 一种网页内容搜索方法和装置
CN103164449A (zh) * 2011-12-15 2013-06-19 腾讯科技(深圳)有限公司 一种搜索结果的展现方法与装置
CN106649738A (zh) * 2016-12-23 2017-05-10 北京奇虎科技有限公司 在搜索结果页中聚合人物类资讯信息的方法及装置
CN107066497A (zh) * 2016-12-29 2017-08-18 努比亚技术有限公司 一种搜索方法和装置
US20180357278A1 (en) * 2017-06-09 2018-12-13 Linkedin Corporation Processing aggregate queries in a graph database

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458708A (zh) * 2008-12-05 2009-06-17 北京大学 检索结果聚类方法及装置
CN103164449A (zh) * 2011-12-15 2013-06-19 腾讯科技(深圳)有限公司 一种搜索结果的展现方法与装置
CN103106234A (zh) * 2012-11-07 2013-05-15 无锡成电科大科技发展有限公司 一种网页内容搜索方法和装置
CN106649738A (zh) * 2016-12-23 2017-05-10 北京奇虎科技有限公司 在搜索结果页中聚合人物类资讯信息的方法及装置
CN107066497A (zh) * 2016-12-29 2017-08-18 努比亚技术有限公司 一种搜索方法和装置
US20180357278A1 (en) * 2017-06-09 2018-12-13 Linkedin Corporation Processing aggregate queries in a graph database

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581513A (zh) * 2020-05-07 2020-08-25 安徽龙讯信息科技有限公司 一种网站智能信息聚合系统
CN111581513B (zh) * 2020-05-07 2022-05-31 安徽龙讯信息科技有限公司 一种网站智能信息聚合系统

Also Published As

Publication number Publication date
CN110188301B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US10452691B2 (en) Method and apparatus for generating search results using inverted index
TWI652584B (zh) 文本資訊的匹配、業務對象的推送方法和裝置
US8751511B2 (en) Ranking of search results based on microblog data
US20160048754A1 (en) Classifying resources using a deep network
Liu et al. Efficient similar region search with deep metric learning
US20110320442A1 (en) Systems and Methods for Semantics Based Domain Independent Faceted Navigation Over Documents
CN104077415A (zh) 搜索方法及装置
Cong Personalized recommendation of film and television culture based on an intelligent classification algorithm
Cong et al. Efficient spatial keyword search in trajectory databases
Adamu et al. A survey on big data indexing strategies
CN103761286B (zh) 一种基于用户兴趣的服务资源检索方法
Gao et al. Real-time social media retrieval with spatial, temporal and social constraints
Belesiotis et al. Spatio-textual user matching and clustering based on set similarity joins
Kaur et al. SIMHAR-smart distributed web crawler for the hidden web using SIM+ hash and redis server
Khodaei et al. Temporal-textual retrieval: Time and keyword search in web documents
Zhang et al. Processing long queries against short text: Top-k advertisement matching in news stream applications
US10147095B2 (en) Chain understanding in search
Zhang et al. Compact indexing and judicious searching for billion-scale microblog retrieval
CN110188301A (zh) 用于网站的信息聚合方法及装置
Li et al. Answering why-not questions on top-k augmented spatial keyword queries
Wang Collaborative filtering recommendation of music MOOC resources based on spark architecture
Xia et al. Optimizing academic conference classification using social tags
Antol et al. Optimizing query performance with inverted cache in metric spaces
CN106776654B (zh) 一种数据搜索方法及装置
Cong et al. Querying and mining geo-textual data for exploration: Challenges and opportunities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant