CN104699814A - 热点信息的搜索方法及系统 - Google Patents

Abstract

本发明提出一种热点信息的搜索方法，包括以下步骤：从原始网址队列中每一个网址对应的网页中爬取与热点信息相关的新的网址，并将新的网址加入原始网址队列以得到更新后的网址队列，并对更新后的网址队列中每个网址对应的网页进行解析，获取网页中的标题和链接信息并存入数据库；根据网页中的标题和链接信息建立信息索引；根据用户输入的搜索信息及信息索引查询数据库，得到搜索结果，并显示搜索结果。本发明的方法能够有效地提高信息搜索和挖掘效率。本发明还提供了一种热点信息的搜索系统。

Description

热点信息的搜索方法及系统

技术领域

本发明涉及公共安全和互联网交叉技术领域，特别涉及一种热点信息的搜索方法及系统。

背景技术

“突发公共事件”主要分为四大类，即：自然灾害，事故灾难，公共卫生事件和社会安全事件。这些“突发公共事件”给人民群众的生命财产安全带来严重危害，对经济和社会发展造成了较大损失。每年因“突发公共事件”带来的人员伤亡，生产工具破坏，环境污染等案例不计其数，给社会带来了诸多恐慌，也对社会舆论产生了不必要的负面影响。因此，需要想方设法降低事故发生的频率，减轻因事故的发生而产生的后果。同时，培养全员安全防范观念，提升相关职能部门的应急防控能力，促进国家安全管理体系和管理能力的现代化。

互联网是网络时代海量信息的载体，用户可以从互联网上的海量信息中搜索到与“突发公共事件”等主题相关的内容。然而，如何有效地提取并利用这些海量信息并提高信息搜索和挖掘的效率，成为一个巨大挑战。传统的搜索引擎，可以作为一个辅助用户检索信息的工具，专业性的论文和期刊数据检索工具也能为科技人员查找文献带来方便。但是由于公共安全涉及的领域较多，社会公众对于公共安全也缺乏足够的认识和了解，不同行业、不同背景的用户往往具有不同的检索目的和需求，传统的搜索引擎存在领域知识覆盖率不足的问题，其返回的搜索结果包含很多无用的网页。而论文和期刊数据库由于面向的主要是科研人员和科技工作者，绝大多数网民往往很少通过这些专业性数据库来检索自己感兴趣的内容。

当某一“突发公共事件”发生时，用户可以通过网络信息来了解事件的最新发展动态，但由于专业知识所限，用户对于同类事件了解很少，甚至完全不了解，而传统的搜索引擎却无法解决这一问题。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种热点信息的搜索方法，该方法能够有效地提高信息搜索和挖掘效率。

本发明的另一个目的在于提供一种热点信息的搜索系统。

为了实现上述目的，本发明第一方面的实施例提出了一种热点信息的搜索方法，包括以下步骤：从原始网址队列中每一个网址对应的网页中爬取与热点信息相关的新的网址，并将所述新的网址加入所述原始网址队列以得到更新后的网址队列，并对更新后的网址队列中每个网址对应的网页进行解析，获取所述网页中的标题和链接信息并存入数据库；根据所述网页中的标题和链接信息建立信息索引；根据用户输入的搜索信息及所述信息索引查询所述数据库，得到搜索结果，并显示所述搜索结果。

根据本发明实施例的热点信息的搜索方法，首先基于热点信息从原始网址中爬取新的网址，并据此更新原始网址队列，然后对更新后的网址队列中的网址对应的网页进行解析，提取其中的标题和链接信息，并据此建立信息索引，然后根据用户输入的搜索信息，结合信息索引查询数据库，得到搜索结果并显示。因此，该方法能够有效地提高信息搜索和挖掘效率。

另外，根据本发明上述实施例的热点信息的搜索方法还可以具有如下附加的技术特征：

在一些示例中，还包括：将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份。

在一些示例中，还包括：在爬取次数达到预设次数时，停止爬取任务。

在一些示例中，还包括：将所述搜索结果推送到社交网络。

本发明第二方面的实施例还提供了一种热点信息的搜索系统，包括：用户模块，所述用户模块用于提供用户使用界面，以接收用户输入的搜索信息，并显示搜索结果；网络爬虫模块，所述网络爬虫模块用于从原始网址队列中每一个网址对应的网页中爬取与热点信息相关的新的网址，并将所述新的网址加入所述原始网址队列以得到更新后的网址队列，并对更新后的网址队列中每个网址对应的网页进行解析，获取所述网页中的标题和链接信息并存入数据库；索引模块，所述索引模块与所述网络爬虫模块相连，用于根据所述标题和链接信息建立信息索引；检索模块，所述检索模块分别与所述用户模块及索引模块相连，用于根据所述用户输入的搜索信息及所述信息索引查询所述数据库，得到搜索结果，并将所述搜索结果发送给用户模块以进行显示。

根据本发明实施例的热点信息的搜索系统，首先基于热点信息从原始网址中爬取新的网址，并据此更新原始网址队列，然后对更新后的网址队列中的网址对应的网页进行解析，提取其中的标题和链接信息，并据此建立信息索引，然后根据用户输入的搜索信息，结合信息索引查询数据库，得到搜索结果并显示。因此，该系统能够有效地提高信息搜索和挖掘效率。另外，该系统结构简单，各个模块的功能完全分离，减少了彼此之间的耦合与影响，具有很好的可维护性。

另外，根据本发明上述实施例的热点信息的搜索系统还可以具有如下附加的技术特征：

在一些示例中，所述检索模块包括表现层、业务逻辑层、数据访问层、持久层和数据库层。

在一些示例中，所述网络爬虫模块还用于将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份。

在一些示例中，所述网络爬虫模块还用于在爬取次数达到预设次数时，停止爬取任务。

在一些示例中，还包括：推送模块，所述推送模块用于将所述搜索结果推送至社交网络。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的热点信息的搜索方法的流程图；

图2是根据本发明另一个实施例的热点信息的搜索方法的流程示意图；

图3是根据本发明一个实施例的热点信息的搜索系统的结构框图；

图4是根据本发明另一个实施例的热点信息的搜索系统的原理框图；

图5是根据本发明一个实施例的网络爬虫模块与索引模块的关联示意图；

图6是根据本发明一个实施例的检索模块的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的热点信息的搜索方法及系统。

图1是根据本发明一个实施例的热点信息的搜索方法的流程图。图2是根据本发明另一个实施例的热点信息的搜索方法的流程示意图。结合图1和图2所示，根据本发明一个实施例的热点信息的搜索方法，包括以下步骤：

步骤S101，从原始网址队列中每一个网址对应的网页中爬取与热点信息相关的新的网址，并将新的网址加入原始网址队列以得到更新后的网址队列，并对更新后的网址队列中每个网址对应的网页进行解析，获取网页中的标题和链接信息并存入数据库。

其中，在本发明的一个实施例中，在上述步骤S101中，在得到更新后的网址队列后，还包括：将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份。

进一步地，在该示例中，当爬取次数达到预设次数时，停止爬取任务。

换言之，即通过解析预先存储的原始网址队列中每一个网址对应的网页，通过网络爬虫从中爬取与热点信息(例如“突发公共事件”热点信息)相关的新的网址(即业务规则)，然后将这些新的网址加入到原始网址队列中，以更新原始网址队列，得到更新后的网址队列。然后将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份，同时，对这些网页进行解析，从网页中提取标题和链接信息，并存入数据库中。进一步地，当网络爬虫的爬取次数达到预设次数(根据需求预先设定)时，停止爬取任务。否则，按照既定的爬取规则继续爬取，直至爬取次数达到预设次数为止。

步骤S102，根据网页中的标题和链接信息建立信息索引。

步骤S103，根据用户输入的搜索信息及信息索引查询数据库，得到搜索结果，并显示搜索结果。具体地说，例如，用户通过用户使用界面输入搜索信息(例如关键词)，然后结合这些搜索信息及信息索引查询数据库，能够方便、高效地得到搜索结果，并通过用户使用界面显示给用户。

另外，如图2所示，在本发明的一个实施例中，该方法还包括：将搜索结果推送到社交网络。换言之，例如，用户可以选择自己感兴趣的“突发公共事件”热点信息及其搜索结果，并将之分享到自己的社交网络，推送与好友分享，便于信息的有效传播。

根据本发明实施例的热点信息的搜索方法，首先基于热点信息从原始网址中爬取新的网址，并据此更新原始网址队列，然后对更新后的网址队列中的网址对应的网页进行解析，提取其中的标题和链接信息，并据此建立信息索引，然后根据用户输入的搜索信息，结合信息索引查询数据库，得到搜索结果并显示。因此，该方法能够有效地提高信息搜索和挖掘效率。

本发明的进一步实施例还提供了一种热点信息的搜索系统。

作为具体的示例，首先对本发明实施例的系统的开发环境进行描述。本发明的系统的开发环境为MyEclipse2014，并使用其内建的Tomcat6作为Web服务器，数据库服务器为Oracle。系统基于S2SH框架开发，其中，Struts 2作为表现层框架，Hibernate作为持久层，Struts 2与Hibernate进行整合，Struts 2与Spring进行整合，并使用Spring管理Struts 2和Hibernate。

图3是根据本发明一个实施例的热点信息的搜索系统的结构框图。图4是根据本发明另一个实施例的热点信息的搜索系统的原理框图。结合图3和图4所示，该系统100包括：用户模块110、网络爬虫模块120、索引模块130和检索模块140。

其中，用户模块110用于提供用户使用界面，以接收用户输入的搜索信息(例如关键字)，并显示搜索结果。更为具体地，在具体实施过程中，例如，用户模块还用于负责和其它模块功能的协调调用，提供相似搜索建议和信息推送功能。

网络爬虫模块120用于从原始网址队列中每一个网址对应的网页中爬取与热点信息相关的新的网址，并将新的网址加入原始网址队列以得到更新后的网址队列，并对更新后的网址队列中每个网址对应的网页进行解析，获取网页中的标题和链接信息并存入数据库。

其中，在本发明的一个实施例中，网络爬虫模块120还用于在得到更新后的网址队列后，将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份。

进一步地，在该示例中，网络爬虫模块120还用于在爬取次数达到预设次数时，停止爬取任务。

换言之，结合图5所示，即网络爬虫模块120通过解析预先存储的原始网址队列中每一个网址对应的网页，通过网络爬虫从中爬取与热点信息(例如“突发公共事件”热点信息)相关的新的网址，然后将这些新的网址加入到原始网址队列中，以更新原始网址队列，得到更新后的网址队列。然后将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份，同时，对这些网页进行解析，从网页中提取标题和链接信息，并存入数据库中。进一步地，当网络爬虫的爬取次数达到预设次数(根据需求预先设定)时，停止爬取任务。否则，按照既定的爬取规则继续爬取，直至爬取次数达到预设次数为止。

索引模块130与网络爬虫模块120相连，用于根据标题和链接信息建立信息索引。在具体示例中，结合图5所示，索引模块130利用网络爬虫模块120得到的标题和链接信息，得到会话(Session)对象，进而通过声明一个事务对象(Transaction)并开启该事务，保存所得到的标题和链接信息，获得对应的网页ID后提交事务，并将这些得到的信息提交到数据库中。在具体实施过程中，索引模块130例如采用Hibernate进行管理。

检索模块140分别与用户模块110及索引模块130相连，用于根据用户输入的搜索信息(例如关键词)及信息索引查询数据库，得到搜索结果，并将搜索结果发送给用户模块110以进行显示。

在本发明的一个实施例中，结合图6所示，检索模块140进一步包括五层架构，分别是：表现层、业务逻辑层、数据访问层、持久层和数据库层。

具体地，表现层专注于业务层与用户的前端交互，包含JSP页面和控制器ShowAllNewsAction.java的开发并通过调用业务逻辑层代码实现判断操作。

该层使用Struts 2进行管理，在Struts 2的配置文件struts.xml中定义了处理结果与资源视图之间的关系：接收用户的请求并转给业务逻辑层，业务逻辑层处理完毕后，将结果显示给用户。

业务逻辑层专注于实现业务逻辑功能，通过调用数据访问层代码并结合HQL(Hibernate Query Language)语句来操作数据库。在开发业务逻辑层时，定义了业务接口类NewsServices.java和业务实现类NewsServicesImpl.java。

在Spring配置文件applicationContext.xml中对业务实现类进行配置：创建一个数据源dataSource连接池，dataSource传递给会话工厂sessionFactory。定义HibernateTemplate并在其中注入sessionFactory实例对象，进而装配数据访问层newsDAO，并以声明式的业务管理方式注入事务管理层newsService。

数据访问层专注于数据访问操作，使用DAO组件来完成，不涉及业务逻辑。该层中包含了本发明实施例中操作数据的方法，即：查询数据。数据访问层包含两个组成部分，分别是DAO接口类NewsDAO.Java和DAO实现类DAOImpl.java。DAO工厂类交由Spring来管理。

持久层专注于数据的持久化，使用Hibernate框架来实现，持久层的开发主要包括hibernate.cfg.xml文件的配置和实体类News.java和映射文件News.hbm.xml的开发。持久层提供对象—关系映射，将程序中的JavaBean对象映射到本发明中关系型数据库中的表和字段。

数据库层使用数据库管理系统。在一些示例中，例如采用Oracle数据库，预先创建了News数据表，并定义了相关字段的属性，将网络爬虫爬取的热点信息写入该数据表。

综上，通过S2SH框架对上述五层架构进行整合开发，将用户模块110、索引模块、网络爬虫模块120、索引模块130和检索模块140等功能完全分离，减少彼此之间的耦合与影响，使该系统100具有很好的可维护性。

总的来说，本发明实施例的系统100的工作流程可概述如下：首先利用网络爬虫从互联网上爬取大量与“突发公共事件”有关的内容，将这些网页下载到本地形成镜像备份，并对其进行预处理，将预处理所得结果存入数据库。另外，当用户搜索一些与之类似的热点信息时，系统能够返回与之相对应的网页列表，并给出同类事件的搜索建议。当用户选择列表中某一内容时，系统又能给出新的搜索结果。

例如用户检索“埃博拉病毒”时，系统自动给出与之相关的搜索结果，并提供了包含“非典、禽流感甲流”等”的搜索建议列表，当用户从中点击其中任一选项时，系统可以返回新的搜索结果。用户可以从这些搜索结果中选择自己感兴趣的内容，点击其中超链接后浏览相关网页。

进一步地，在本发明的一个实施例中，该系统100还包括推送模块150(图中未示出)。推送模块150用于将搜索结果推送至社交网络。换言之，例如，用户可以选择自己感兴趣的“突发公共事件”热点信息及其搜索结果，并通过推送模块150将之分享到自己的社交网络，推送与好友分享，便于信息的有效传播。

根据本发明实施例的热点信息的搜索系统，首先基于热点信息从原始网址中爬取新的网址，并据此更新原始网址队列，然后对更新后的网址队列中的网址对应的网页进行解析，提取其中的标题和链接信息，并据此建立信息索引，然后根据用户输入的搜索信息，结合信息索引查询数据库，得到搜索结果并显示。因此，该系统能够有效地提高信息搜索和挖掘效率。另外，该系统结构简单，各个模块的功能完全分离，减少了彼此之间的耦合与影响，具有很好的可维护性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种热点信息的搜索方法，其特征在于，包括以下步骤：

从原始网址队列中每一个网址对应的网页中爬取与热点信息相关的新的网址，并将所述新的网址加入所述原始网址队列以得到更新后的网址队列，并对更新后的网址队列中每个网址对应的网页进行解析，获取所述网页中的标题和链接信息并存入数据库；

根据所述网页中的标题和链接信息建立信息索引；

根据用户输入的搜索信息及所述信息索引查询所述数据库，得到搜索结果，并显示所述搜索结果。

2.根据权利要求1所述的热点信息的搜索方法，其特征在于，还包括：

将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份。

3.根据权利要求2所述的热点信息的搜索方法，其特征在于，还包括：

在爬取次数达到预设次数时，停止爬取任务。

4.根据权利要求1所述的热点信息的搜索方法，其特征在于，还包括：

将所述搜索结果推送到社交网络。

5.一种热点信息的搜索系统，其特征在于，包括：

用户模块，所述用户模块用于提供用户使用界面，以接收用户输入的搜索信息，并显示搜索结果；

网络爬虫模块，所述网络爬虫模块用于从原始网址队列中每一个网址对应的网页中爬取与热点信息相关的新的网址，并将所述新的网址加入所述原始网址队列以得到更新后的网址队列，并对更新后的网址队列中每个网址对应的网页进行解析，获取所述网页中的标题和链接信息并存入数据库；

索引模块，所述索引模块与所述网络爬虫模块相连，用于根据所述标题和链接信息建立信息索引；

检索模块，所述检索模块分别与所述用户模块及索引模块相连，用于根据所述用户输入的搜索信息及所述信息索引查询所述数据库，得到搜索结果，并将所述搜索结果发送给用户模块以进行显示。

6.根据权利要求5所述的热点信息的搜索系统，其特征在于，所述检索模块包括表现层、业务逻辑层、数据访问层、持久层和数据库层。

7.根据权利要求5所述的热点信息的搜索系统，其特征在于，所述网络爬虫模块还用于将更新后的网址队列中每个网址对应的网页下载到本地形成镜像备份。

8.根据权利要求7所述的热点信息的搜索系统，其特征在于，所述网络爬虫模块还用于在爬取次数达到预设次数时，停止爬取任务。

9.根据权利要求7所述的热点信息的搜索系统，其特征在于，还包括：

推送模块，所述推送模块用于将所述搜索结果推送至社交网络。