CN104615650B - 一种内容获取方法及装置 - Google Patents

Abstract

本发明公开了一种内容获取方法及装置，该方法包括：遍历预先生成的多组主题关键词组合；其中，所述主题关键词组合包含第一主题关键词和第二主题关键词；发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息；对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息。利用本发明，能够实现从网站获取包含主题关键词的消息，进行相关性处理后实现关键信息的收集和统计。

Description

一种内容获取方法及装置

技术领域

本发明涉及互联网技术领域，特别是涉及一种内容获取方法及装置。

背景技术

随着互联网科技的发展，越来越多的人们可以通过互联网进行各种活动，例如人们可以通过互联网读新闻、玩游戏、聊天、收发邮件等等。尤其是随着互联网的迅猛发展，互联网的信息变得更加及时、准确，一些公司、企业通过互联网获取用户群相关信息也越来越便捷。

用户通过社交网站发布的信息中对于一些公司、企业都具有一定的参考作用，例如，用户通过社交网络发布的有关于旅游的信息对于旅行社有巨大的商业价值，不但能提供参考作用，还可以把握未来的市场开发。现有技术中，却对于这些在社交网站上发布的信息没有针对性的统计和收集，造成资源浪费。

发明内容

本发明主要解决的技术问题是提供一种内容获取方法及装置，能够从网站获取包含主题关键词的消息，进行相关性处理后实现关键信息的收集和统计。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种内容获取方法，所述方法包括：遍历预先生成的多组主题关键词组合；其中，所述主题关键词组合包含第一主题关键词和第二主题关键词；发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息；对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息。

其中，所述第一主题关键词为关于时间或空间的关键词，所述第二主题关键词为关于行为的关键词。

其中，所述第一主题关键词为城市名称，所述第二主题关键词为旅游意向信息。

其中，所述对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息的步骤之后，所述方法还包括：将提取出的所述消息与所述第一主题关键词关联地保存，或发送提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据与接收到的所述消息作出相应的事件响应。

其中，所述遍历预先生成的多组主题关键词组合的步骤具体为：获取所述多组主题关键词组合中的一组主题关键词组合，并对获取过的所述主题关键词组合进行标识；所述将提取出的所述消息与所述第一主题关键词关联地保存，或发送提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据与接收到的所述消息作出相应的事件响应的步骤之前还包括：判断是否全部主题关键词组合都具有所述标识，若是则执行将提取出的所述消息与所述第一主题关键词关联地保存，或发送提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据接收到的所述消息作出相应的事件响应的步骤，否则，执行所述遍历预先生成的多组主题关键词组合的步骤。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种内容获取装置，所述装置包括：获取模块，用于遍历预先生成的多组主题关键词组合；其中，所述主题关键词组合包含第一主题关键词和第二主题关键词；查询模块，用于发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息；提取模块，用于对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息。

其中，所述第一主题关键词为关于时间或空间的关键词，所述第二主题关键词为关于行为的关键词。

其中，所述第一主题关键词为城市名称，所述第二主题关键词为旅游意向信息。

其中，所述装置还包括：执行模块，用于将所述提取模块提取出的所述消息与所述第一主题关键词关联地保存，或发送所述提取模块提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据接收到的所述消息作出相应的事件响应。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种内容获取方法，所述方法包括：遍历预先生成的多组主题关键词组合；其中，所述主题关键词组合包含空间主题关键词和行为主题关键词；发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息；对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息；将空间主题关键词相同的不同主题关键词的相关消息相关联以形成推荐信息；发送所述推荐信息至用户端与所述空间主题关键词关联的客户端。

本发明的有益效果是：本发明通过遍历预先生成的多组包含第一主题关键词和第二主题关键词的主题关键词组合，以请求社交网站查询与主题关键词组合相关全部消息，并对该社交网站反馈的消息进行相关性计算，提取相关性在预设阈值范围内的消息。从而，实现从社交网站获取包含主题关键词的消息，进行相关性处理后实现关键信息的收集和统计。

附图说明

图1是本发明内容获取方法第一实施方式的流程图；

图2是本发明内容获取方法第二实施方式的流程图；

图3是本发明内容获取方法第二实施方式的流程图；

图4是本发明内容获取装置第一实施方式的结构示意图；

图5是本发明内容获取装置第二实施方式的结构示意图；

图6是本发明内容获取装置第三实施方式的结构示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

请参阅图1，为本发明内容获取方法第一实施方式的流程图，该方法包括：

步骤S10：遍历预先生成的多组主题关键词组合。

其中，该主题关键词组合包含第一主题关键词和第二主题关键词。

该第一主题关键词为关于时间或空间的关键词，该第二主题关键词为关于行为的关键词。

进一步地，该第一主题关键词为城市名称，该第二主题关键词为旅游意向信息。

建立需要采集的第一主题关键词数据库(城市名称库)，以及建立第二主题关键数据库(旅游意向相关的关键词库)，并且该第一、二主题关键词数据库定时更新。

然后，分别从第一主题关键词数据库和第二主题关键词数据库中取出第一主题关键词和第二主题关键词进行排列组合，生成所有可能的关键词组合。并在需要查询社交网站时遍历这些关键词组合，每次取出一条关键词组合以发送至社交网站进行查询。

例如，第一主题关键词数据库中包含城市A、城市B、城市C、城市D，第二主题关键词数据库中包含运动、美食、交通。则根据如上所述的组合方式可以生成的关键词组合包括：

城市A+运动、城市B+运动、城市C+运动、城市D+运动；

城市A+美食、城市B+美食、城市C+美食、城市D+美食；

城市A+交通、城市B+交通、城市C+交通、城市D+交通；

在需要查询社交网站时遍历这些关键词组合，每次取出一条关键词组合，例如城市A+美食，并发送查询请求至社交网站进行城市A+美食的相关信息的查询。

进一步地，该第二主题关键词数据库中包含的运动、美食、交通关键词，每个关键词还可以包括多个相关的关键词，例如：

运动：球类、田径、比赛；

美食：小吃、西餐、四川菜；

交通：出租车、公共汽车、地铁；

因此，根据如上所述的组合方式可以生成的关键词组合包括：

城市A+运动+球类、城市B+运动+球类、城市A+美食+西餐、城市 B+美食+四川菜、城市A+交通+地铁……，在此不一一列举。

步骤S11，发送查询该主题关键词组合的请求至社交网站，并接收该社交网站反馈的与该主题关键词组合相关的全部消息。

具体地，通过如步骤S10所述取出主题关键词组合，并发送查询请求至社交网站进行该主题关键词组合相关信息的查询。其中，该社交网站可以微博、论坛等用于多个有关联的用户之间发布和传递消息的网站，发送查询请求至社交网站进行该主题关键词组合的相关查询是对用户在该社交网站上发布的消息进行查询，这些消息可以是微博、帖子、状态等。

该社交网站响应该查询请求获取包含该主题关键词组合的全部消息(微博、帖子、状态等)，并反馈这些消息，关于社交网站查询与主题关键词组合相关的消息所采用的技术手段为现有技术，在此不加赘述。

步骤S12，对该社交网站反馈的消息进行相关性计算，提取相关性在预设阈值范围内的消息。

当接收社交网站反馈的与主题关键词相关的消息时，由于社交网站在查询到包含该主题关键词组合的全部消息后并没有做出相关性的评价。也就是说，有些消息可能很长，但是在其中只出现了一次该主题关键词，或者根据消息的内容能够分辨出来包含的主题关键词之间、以及与全文内容之间并无有意义的关联。因此，需要对该社交网站反馈的消息进行相关性计算，以丢弃相关性较低的消息，保留相关性较高的消息。对于相关性的判断预先设置了一个阈值，而计算消息的相关性所采用的技术手段为现有技术，在此不加赘述。

利用本发明实施方式，通过根据预先生成的多组主题关键词组合请求社交网站查询相关消息，并对该社交网站反馈的该消息进行相关性计算，提取相关性在预设阈值范围内的该消息，以达到从网站获取包含主题关键词的消息的技术效果。

请参阅图2，为本发明内容获取方法第二实施方式的流程图，该方法包括：

步骤S20：遍历预先生成的多组主题关键词组合。

其中，该主题关键词组合包含第一主题关键词和第二主题关键词。

该第一主题关键词为关于时间或空间的关键词，该第二主题关键词为关于行为的关键词。

进一步地，该第一主题关键词为城市名称，该第二主题关键词为旅游意向信息。

建立需要采集的第一主题关键词数据库(城市名称库)，以及建立第二主题关键数据库(旅游意向相关的关键词库)，并且该第一、二主题关键词数据库定时更新。

然后，分别从第一主题关键词数据库和第二主题关键词数据库中取出第一主题关键词和第二主题关键词进行排列组合，生成所有可能的关键词组合。并在需要查询社交网站时遍历这些关键词组合，每次取出一条关键词组合以发送至社交网站进行查询。

步骤S21，发送查询该主题关键词组合的请求至社交网站，并接收该社交网站反馈的与该主题关键词组合相关的全部消息。

其中，该社交网站可以微博、论坛等用于多个有关联的用户之间发布和传递消息的网站，发送查询请求至社交网站进行该主题关键词组合的相关查询是对用户在该社交网站上发布的消息进行查询，这些消息可以是微博、帖子、状态等。

步骤S22，对该社交网站反馈的该消息进行相关性计算，提取相关性在预设阈值范围内的该消息。

步骤S23，将提取出的该消息与该第一主题关键词关联地保存，或发送提取出的该消息至与该第一主题关键词相关联的客户端，使该客户端根据与接收到的该消息作出相应的事件响应。

具体地，根据相关性计算后提取到的消息为与该主题关键词组合相关性高的消息(以下简称相关消息)，并将该相关消息保存到第一主题关键词数据库中，与第一主题关键词关联，从而实现该主题关键词组合的相关消息的收集。

例如，当该主题关键词组合为城市B+美食，则将相关消息保存在第一主题关键词数据库中并与该城市B关联，从而完成该城市B有关于美食方面的消息。

另外一种情况，还可以将该相关消息发送到另一客户端中，且该客户端与该第一主题信息相关联。例如，当该主题关键词组合为城市B+ 美食，则将该相关消息发送至城市B的旅游局。当该城市B的旅游局接收到这些相关消息时，则可以根据这些消息作出响应的响应事件。例如，该旅游局在获知很多网络用户比较关注本市的美食街，则可以通知一些旅行社在旅行线路中增加包含该美食街的游览线，或者通知卫生局加强该美食街的食品安全卫生的管理。

如上所述，根据预先生成的主题关键字组合收集网络用户比较关注的消息，并通知相应客户端及时作出响应，从而充分利用网络资源，体现了网络消息的及时性和有效性。

进一步地，还可以将不同主题的关键字组合之间的相关消息进行关联和整合，并推送至该社交网站，以实现信息推荐。

具体地，对第一主题关键词相同的不同主题关键词的相关消息进行关联和整合。例如，对城市B+美食和城市B+交通这两个主题关键词组合所对应的相关消息进行关联和整合，第二主题关键词“美食”为一家餐馆且包含了其名称和地址，此时浏览第二主题关键词“交通”中是否有与该餐馆关联的信息，如M100路公共汽车的站点中包含了该餐馆所在街道的站点，这样就可以将两组主题关键词组合的相关消息进行关联，即，得到在城市B能够到达该餐馆的公交路线。进一步地，将关联整合后的信息保存在该第一主题关键词数据库中且与城市B关联，或发送该信息至用户端或反馈至社交网站。用户端可以是访问该第一主题关键词数据库的用户，从而能够获得有关于上述的信息。或者，当社交网站接收该信息时在特定位置，如首页的弹窗、滚动条等，从而达到信息推荐的效果，社交网站的用户即可以获取到这些信息。

请参阅图3，步骤S20，即，遍历预先生成的多组主题关键词组合的步骤，还可以具体通过如下步骤实现：

步骤S30，获取该多组主题关键词组合中的一组主题关键词组合，并对获取过的主题关键词组合进行标识。

步骤S23之前，即，将提取出的该消息与该第一主题关键词关联地保存，或发送提取出的该消息至与该第一主题关键词相关联的客户端，使该客户端根据与接收到的该消息作出相应的事件响应的步骤之前，该方法还包括：

步骤S33，判断是否全部主题关键词组合都具有该标识。若是，则进入步骤S34，否则，返回步骤S30。

对已经查询过的主题关键词组合添加标识，从而根据主题关键词组合是否具有标识以判断其是否已经被查询过，防止多个主题关键词组合出现漏查或重复查询的情况。

当全部的主题关键词组合都添加了该标识，说明全部的主题关键词组合都完成了查询，此时执行步骤S34，即将提取出的该消息与该第一主题关键词关联地保存，或发送提取出的该消息至与该第一主题关键词相关联的客户端，使该客户端根据与接收到的该消息作出相应的事件响应的步骤。从而，完成相关消息的获取。

图3中的其它步骤请参见图2及对应的文字说明。

本发明的实施方式中，可以间隔第一预定时间对第一主题关键词数据库和第二主题关键词数据库进行关键词的更新，以及间隔第二预定时间利用主题关键词组合查询社交网站的相关消息。该第二预定时间可以是一天、4个小时等等。

请参阅图4，为本发明内容获取装置的第一实施方式的结构示意图，该装置40包括：获取模块41、查询模块42、提取模块43。

该获取模块41用于遍历预先生成的多组主题关键词组合。其中，所述主题关键词组合包含第一主题关键词和第二主题关键词。该第一主题关键词为关于时间或空间的关键词，该第二主题关键词为关于行为的关键词。

进一步地，该第一主题关键词为城市名称，该第二主题关键词为旅游意向信息。

建立需要采集的第一主题关键词数据库(城市名称库)，以及建立第二主题关键数据库(旅游意向相关的关键词库)，并且该第一、二主题关键词数据库定时更新。

然后，分别从第一主题关键词数据库和第二主题关键词数据库中取出第一主题关键词和第二主题关键词进行排列组合，生成所有可能的关键词组合。并在需要查询社交网站时遍历这些关键词组合，每次取出一条关键词组合以发送至社交网站进行查询。

该查询模块42用于发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息。

其中，该社交网站可以微博、论坛等用于多个有关联的用户之间发布和传递消息的网站，发送查询请求至社交网站进行该主题关键词组合的相关查询是对用户在该社交网站上发布的消息进行查询，这些消息可以是微博、帖子、状态等。

该社交网站响应该查询请求获取包含该主题关键词组合的全部消息(微博、帖子、状态等)，并反馈这些消息。

该提取模块43用于对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息。

利用本发明实施方式，通过根据预先生成的多组主题关键词组合请求社交网站查询相关消息，并对该社交网站反馈的该消息进行相关性计算，提取相关性在预设阈值范围内的该消息，以达到从网站获取包含主题关键词的消息的技术效果。

请参阅图5，该装置还包括执行模块54，用于将该提取模块53提取出的消息与该第一主题关键词关联地保存，或发送提取出的该消息至与该第一主题关键词相关联的客户端，使该客户端根据与接收到的该消息作出相应的事件响应。

具体地，根据相关性计算后提取到的消息为与该主题关键词组合相关性高的消息(以下简称相关消息)，并将该相关消息保存到第一主题关键词数据库中，与第一主题关键词关联，从而实现该主题关键词组合的相关消息的收集。

另外一种情况，还可以将该相关消息发送到另一客户端中，且该客户端与该第一主题信息相关联。

图5中的其它模块请参见图4及对应的文字说明。

请参阅图6，该装置60还包括标识模块65和判断模块66。

该标识模块65用于对该获取模块61获取过的主题关键词组合进行标识。

该判断模块66用于判断是否全部主题关键词组合都具有该标识。若是，则由执行模块64将该提取模块6 3提取出的消息与该第一主题关键词关联地保存，或发送提取出的该消息至与该第一主题关键词相关联的客户端，使该客户端根据与接收到的该消息作出相应的事件响应。

对已经查询过的主题关键词组合添加标识，从而根据主题关键词组合是否具有标识以判断其是否已经被查询过，防止多个主题关键词组合出现漏查或重复查询的情况。

当全部的主题关键词组合都添加了该标识，说明全部的主题关键词组合都完成了查询，此时执行步骤S33，即将提取出的该消息与该第一主题关键词关联地保存，或发送提取出的该消息至与该第一主题关键词相关联的客户端，使该客户端根据与接收到的该消息作出相应的事件响应的步骤。从而，完成相关消息的获取。

图6中的其它模块请参见图5及对应的文字说明。

本发明提供的内容获取方法及装置，通过遍历预先生成的多组包含第一主题关键词和第二主题关键词的主题关键词组合，以请求社交网站查询与主题关键词组合相关全部消息，并对该社交网站反馈的消息进行相关性计算，提取相关性在预设阈值范围内的消息。从而，实现从社交网站获取包含主题关键词的消息，进行相关性处理后实现关键信息的收集和统计。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种内容获取方法，其特征在于，所述方法包括：

遍历预先生成的多组主题关键词组合；其中，所述主题关键词组合包含第一主题关键词和第二主题关键词；所述第一主题关键词为关于时间或空间的关键词，所述第二主题关键词为关于行为的关键词；

发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息；

对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息；

将提取出的所述消息与所述第一主题关键词关联地保存，或发送提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据与接收到的所述消息作出相应的事件响应。

2.根据权利要求1所述的内容获取方法，其特征在于，所述第一主题关键词为城市名称，所述第二主题关键词为旅游意向信息。

3.根据权利要求1所述的内容获取方法，其特征在于，所述遍历预先生成的多组主题关键词组合的步骤具体为：

获取所述多组主题关键词组合中的一组主题关键词组合，并对获取过的所述主题关键词组合进行标识；

所述将提取出的所述消息与所述第一主题关键词关联地保存，或发送提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据与接收到的所述消息作出相应的事件响应的步骤之前还包括：

判断是否全部主题关键词组合都具有所述标识，若是则执行将提取出的所述消息与所述第一主题关键词关联地保存，或发送提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据接收到的所述消息作出相应的事件响应的步骤，否则，执行所述遍历预先生成的多组主题关键词组合的步骤。

4.一种内容获取装置，其特征在于，所述装置包括：

获取模块，用于遍历预先生成的多组主题关键词组合；其中，所述主题关键词组合包含第一主题关键词和第二主题关键词；所述第一主题关键词为关于时间或空间的关键词，所述第二主题关键词为关于行为的关键词；

查询模块，用于发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息；

提取模块，用于对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息；

执行模块，用于将所述提取模块提取出的所述消息与所述第一主题关键词关联地保存，或发送所述提取模块提取出的所述消息至与所述第一主题关键词相关联的客户端，使所述客户端根据接收到的所述消息作出相应的事件响应。

5.根据权利要求4所述的内容获取装置，其特征在于，所述第一主题关键词为城市名称，所述第二主题关键词为旅游意向信息。

6.一种内容获取方法，其特征在于，所述方法包括：

遍历预先生成的多组主题关键词组合；其中，所述主题关键词组合包含空间主题关键词和行为主题关键词；

发送查询所述主题关键词组合的请求至社交网站，并接收所述社交网站反馈的与所述主题关键词组合相关的全部消息；

对所述社交网站反馈的所述消息进行相关性计算，提取相关性在预设阈值范围内的所述消息；

将空间主题关键词相同的不同主题关键词的相关消息相关联以形成推荐信息；

发送所述推荐信息至用户端与所述空间主题关键词关联的客户端。