CN101546308B - 一种基于检索过期的网页搜索方法及其系统 - Google Patents

Abstract

本发明公开了一种基于检索过期的网页搜索方法及其系统，由用户输入关键词到本系统，系统对关键词进行初步处理，进入到关键词库，对于已存在的关键词，直接从搜索结果库提取检索结果返回给用户；对于不存在的关键词，从搜索引擎获取检索结果，进行排重，保存到搜索结果库后，返回给用户；同时，系统对关键词库中的关键词周期性的进行自动检索和保存；该方法及其系统使得用户不仅能得到最新的结果，而且可以得到以往的检索结果，并且即使用户没有每天进行检索，系统也能根据设定的检索过期时间，周期性的自动检索、保存，从而提供给用户尽可能多的检索结果；该方法及其系统还减少了对搜索引擎的访问，降低了网络与搜索引擎服务器的压力。

Description

一种基于检索过期的网页搜索方法及其系统

技术领域

本发明涉及一种应用计算机在互联网进行网页搜索的方法，特别是涉及一种基于检索过期的网页搜索方法及其系统。

背景技术

在信息大爆炸的今天，信息已越来越成为人们密不可分的一部分。互联网(Internet)将全世界的信息整合在一起，人们通过互联网就可以获得任何公开可以获得的信息，使得人们更加依赖于利用互联网进行信息的查询，由于互联网的信息都存储于各网页中，因此，对互联网的网页进行搜索是查询所需信息的必须步骤。

现有的互联网搜索引擎就是对互联网上的网页进行收集、整理和索引的工具，该互联网搜索引擎通常提供有一个查询接口，用户通过此接口可以向搜索引擎输入查询关键字，搜索引擎根据此关键字对互联网的网页进行收集、整理，并形成索引返回给用户的查询端口，用户根据索引可以选择进入需要的网页而进一步得到所需的信息。

由于互联网搜索引擎保存了巨量的网页，当用户对搜索引擎进行请求时，搜索引擎无法将全部匹配的网页都返回给用户，而是通过模糊计算，将它认为最适合的网页返回给用户。目前互联网上存在的几个主流的搜索引擎，它们所提供的检索结果一般只返回前面的1000条以内的记录，这对于需要得到更多结果的用户，显然是无法满足要求的。

互联网搜索引擎的访问量巨大，如果对每次查询都返回全部检索结果，会对搜索引擎的服务器端造成极大的压力，而大部分的查询不需要全部结果，为了实现资源的最大化利用，互联网搜索引擎限制检索结果数量已成为潜在的业界标准。

当用户需要得到更多的检索结果时，用户只有通过多次检索或者组合不同的关键字，才能得到更多的记录，并需要手工整理这些记录，这样的查询方式，不仅费时费力而且容易出错。

发明内容

本发明的目的在于克服现有技术之不足，提供一种基于检索过期的网页搜索方法及其系统，是通过软件程序自动向搜索引擎多次重复请求，并将得到的检索结果进行URL排重分析，保存于数据库中，当用户进行对应的检索时，向用户提供已经保存在数据库中的检索结果，这样，不仅提高了响应速度，而且可以得到更多的检索结果。

本发明解决其技术问题所采用的技术方案是：一种基于检索过期的网页搜索方法，包括查询流程和周期自动检索流程；

在查询流程中，其包括如下步骤：

a.接受用户的关键词输入，产生对应于该关键词的唯一编号；

b.将该关键词与已存储在关键词库的所有关键词进行一一比较判断；当判断结果是该关键词已存在时，转至步骤g；当判断结果是该关键词不存在时，继续下一步骤；

c.将该关键词及其对应的编号存储于关键词库中；

d.向互联网搜索引擎发送该关键词，触发互联网搜索引擎进行对应于该关键词的网页搜索，并将对应于该关键词的搜索时间记录在关键词库中；

e.接收由互联网搜索引擎检索后返回的对应于该关键词的网页索引；

f.将网页索引以及该网页索引所对应的该关键词的对应编号存储于搜索结果库中；

g.根据该关键词所对应的编号，从搜索结果库中调出对应于该编号的网页索引；

h.将该网页索引作为搜索结果显示于用户的显示界面中；

i.退出或返回步骤a；

在周期自动检索流程中，其包括如下步骤：

j.从关键词库中调出一个关键词及其对应于该关键词的搜索时间；

k.将该关键词的搜索时间与预先所设定的检索过期时间进行比较判断；当判断结果为未过期时，返回步骤j；当判断结果为检索过期时，继续下一步骤；

l.模拟浏览器行为，向互联网搜索引擎发送该关键词，进行对应于该关键词的网页搜索，并将对应于该关键词的新的搜索时间去更新存储于关键词库中的对应于该关键词的原有的搜索时间；

m.接收由互联网搜索引擎检索后返回的对应于该关键词的网页索引；

n.根据该关键词所对应的编号，从搜索结果库中调出对应于该编号的原有的网页索引，并将步骤m所获取的网页索引与已有的网页索引进行URL唯一性比对，以取得不重复的网页索引；

o.将步骤n所取得的不重复的网页索引去更新存储于搜索结果库中的对应于该关键词的对应编号的原有的网页索引；

p.判断关键词库中的关键词是否逐个调取完毕，未调取完毕时，返回步骤j，已调取完毕时，退出，等待下一周期开始。

所述的检索过期为预先所设定的一个时间长度，在该时间长度内向搜索引擎发送同样的查询关键词，其返回的结果是一样的。

一种用于实现如上基于检索过期的网页搜索方法的系统，其包括：

查询模块，设有可接受用户输入关键词的输入界面；对用户输入的关键词进行处理，产生对应于该关键词的唯一编号，向关键词管理模块输出该关键词及对应的编号；接收并显示网页索引；

关键词管理模块，设有关键词库用来存储关键词及其对应的编号；将查询模块所发送的关键词与关键词库内的关键词进行比较，判断关键词库中是否已有该关键词，当关键词库中没有该关键词时，将该关键词发送给搜索代理模块并记录搜索时间，当关键词库中已有该关键词时，利用该关键词所对应的编号从搜索结果库中调出与该关键词相对应的网页索引并发送给查询模块；同时，周期性判断每个关键词是否已检索过期，并将已检索过期的关键词发送给搜索代理模块并记录新的搜索时间；

搜索代理模块，模拟浏览器行为，向互联网搜索引擎发送关键词，同时接收搜索引擎返回的网页索引，并将该网页索引发送给检索结果处理模块；

检索结果处理模块，从搜索结果库中提取与关键词相关的原有的网页索引，将接收的来自于搜索代理模块的网页索引，与原有的网页索引进行比对，进行URL唯一性分析，将URL不重复的网页索引重新保存到对应于该关键词编号的搜索结果库中；

搜索结果库，存储对应于各关键词编号的网页索引。

用户通过本系统，不仅可以得到最新检索结果，而且可以得到以往的检索结果；本系统尤其适用于多用户检索，能减少网络流量，提高响应速度，降低对搜索引擎服务器的压力；本系统也适用于对多个搜索引擎进行检索的情况，能提高工作效率。

本发明的有益效果是，由于采用了由用户输入关键词到本系统，系统对关键词进行初步处理，进入到关键词库，对于已存在的关键词，直接从搜索结果库提取检索结果返回给用户；对于不存在的关键词，从搜索引擎获取检索结果，进行排重，保存到搜索结果库后，返回给用户；同时，系统对关键词库中的关键词周期性的进行自动检索和保存；使得用户不仅能得到最新的结果，而且可以得到以往的检索结果，并且即使用户没有每天进行检索，该方法及其系统也能根据设定的检索过期时间，周期性的自动检索、保存，从而提供给用户尽可能多的检索结果；该方法及其系统还减少了对搜索引擎的访问，降低了网络与搜索引擎服务器的压力；由于用户进行检索时，系统是将保存于本地的检索结果提供给用户，既能极大地提高响应速度，也实现了进一步对检索结果进行分析处理的可能。

以下结合附图及实施例对本发明作进一步详细说明；但本发明的一种基于检索过期的网页搜索方法及其系统不局限于实施例。

附图说明

图1是本发明的系统原理框图；

图2是本发明的查询过程的流程图；

图3是本发明的周期自动检索过程的流程图。

具体实施方式

参图1所示，本发明的一种基于检索过期的网页搜索方法，是基于如下的系统来实现的，该系统包括：

查询模块11，设有可接受用户输入关键词的输入界面；对用户输入的关键词进行处理，产生对应于该关键词的唯一编号，向关键词管理模块12输出该关键词及对应的编号；接收并显示检索结果；

关键词管理模块12，设有关键词库用来存储关键词及其对应的编号；将查询模块11所发送的关键词与关键词库内的关键词进行比较，判断关键词库中是否已有该关键词，当关键词库中没有该关键词时，将该关键词发送给搜索代理模块13并记录搜索时间，当关键词库中已有该关键词时，利用该关键词所对应的编号从搜索结果库15中调出与该关键词相对应的检索结果并发送给查询模块11；同时，周期性判断每个关键词是否已检索过期，并将已检索过期的关键词发送给搜索代理模块并记录新的搜索时间；

搜索代理模块13，模拟浏览器行为，向互联网搜索引擎16发送关键词，同时接收搜索引擎16返回的检索结果，并将该检索结果发送给检索结果处理模块14；

检索结果处理模块14，从搜索结果库15中提取与关键词相关的结果集，将接收的来自于搜索代理模块13的检索结果，与结果集进行比对，进行URL唯一性分析，将URL不重复的检索结果重新保存到对应于该关键词编号的搜索结果库15中；

搜索结果库15，存储对应于各关键词编号的检索结果。

依据硬件环境，本系统可以安装在一台或者多台服务器上面。

一般情况下，可以准备两台服务器(一台为数据库服务器，一台为应用服条器)，数据库单独用一台，安装搜索结果库15，把查询模块11、关键词管理模块12、搜索代理模块13、检索结果处理模块14安装在应用服务器上。

多个用户可以同时访问应用服务器，应用服务器通过查询流程，将处理结果返回给用户。

以下结合图2、图3来进一步说明本发明的一种基于检索过期的网页搜索方法，该方法包括查询流程和周期自动检索流程；

在查询流程中，其包括如下步骤：

a.查询模块11接受用户的关键词A输入，产生对应于该关键词A的唯一编号A1，并将该关键词A与对应编号A1提交到关键词管理模块12；如图2中的框201所示；

b.关键词管理模块12将该关键词A与已存储在第一存储区(即关键词库)的所有关键词进行一一比较判断，如图2中的框202所示；当判断结果是该关键词已存在时，转至步骤g；当判断结果是该关键词不存在时，继续下一步骤；

c.关键词管理模块12将该关键词A及其对应的编号A1存储于第一存储区(即关键词库)中；

d.关键词管理模块12将该关键词A提交至搜索代理模块13，并记录提交时间T1，即将对应于该关键词A的搜索时间T1记录在第一存储区(即关键词库)中，且与关键词库中的该关键词A相对应；搜索代理模块13模拟浏览器对搜索引擎进行检索，触发互联网搜索引擎进行对应于该关键词A的网页搜索；如图2中的框203所示；

e.搜索代理模块13接收由互联网搜索引擎检索后返回的对应于该关键词A的检索结果即网页索引B；如图2中的框204所示；

f.搜索代理模块13通过检索结果处理模块14将检索结果即网页索引B以及该网页索引所对应的该关键词的对应编号A1存储于第二存储区(即搜索结果库15)中；如图2中的框205所示；

g.关键词管理模块12根据该关键词A所对应的编号A1，从第二存储区(即搜索结果库15)中调出对应于该编号A1的检索结果即网页索引B给查询模块11；如图2中的框206所示；

h.查询模块11将该网页索引B作为搜索结果显示于用户的显示界面中；

i.退出或返回步骤a；

在上述的查询过程中，当用户利用关键词A进行初次检索时，则查询工作流程是由步骤a→步骤b→步骤c→步骤d→步骤e→步骤f→步骤g→步骤h；当用户利用关键词A进行再次检索时，则查询工作流程是由步骤a→步骤b→步骤g→步骤h，再次检索时，是将已存储在搜索结果库15中的网页索引B所为查询结果返给用户；

在周期自动检索流程中，其包括如下步骤：

j.关键词管理模块12从第一存储区(即关键词库)中调出一个关键词(比如关键词A)及其对应于该关键词的搜索时间(比如搜索时间T1)；如图3中的框301所示；

k.关键词管理模块12将该关键词A的搜索时间T1与预先所设定的检索过期时间Ta进行比较判断，检索过期时间Ta为预先设定的，可以为一天，也可以为其它所设定的时间长度，该检索过期是预先设定的一个时间长度，在该时间长度内向搜索引擎发送同样的查询关键词，其返回的结果是一样的，超过这个时间周期，就定义为检索过期；取当前的时间为T2，由当前时间T2与搜索时间T1的差值就得到该关键词A从互联网检索后获得检索结果到当前的时间段T，将时间段T值与检索过期时间Ta值进行比较，当T值大于Ta值时，就认定为检索过期，当T值小于Ta值时，就认定为未过期；如图3中的框302所示；当判断结果为未过期时，返回步骤j；当判断结果为检索过期时，继续下一步骤；

l.关键词管理模块12将该关键词A提交至搜索代理模块13，并记录提交时间T3，搜索代理模块13模拟浏览器行为，向互联网搜索引擎发送该关键词A，进行对应于该关键词A的网页搜索，并将对应于该关键词A的新的搜索时间T3去更新存储于第一存储区(即关键词库)中的对应于该关键词A的原有的搜索时间T1；如图3中的框303所示；

m.搜索代理模块13接收由互联网搜索引擎检索后返回的对应于该关键词A的网页索引B1，并将网页索引B1发送给检索结果处理模块14；如图3中的框304所示；

n.检索结果处理模块14根据该关键词A所对应的编号A1，从第二存储区(即搜索结果库15)中调出对应于该编号A1的原有的网页索引B，并将步骤m所获取的网页索引B1与已有的网页索引B进行URL唯一性比对，以取得不重复的网页索引B2；如图3中的框305所示；

o.检索结果处理模块14将步骤n所取得的不重复的网页索引B2去更新存储于第二存储区(即搜索结果库15)中的对应于该关键词A的对应编号A1的原有的网页索引B；如图3中的框306所示；

p.关键词管理模块12判断第一存储区(即关键词库)中的关键词是否逐个调取完毕，如图3中的框307所示；未调取完毕时，返回步骤j，已调取完毕时，退出，等待下一周期开始。

在周期自动检索流程中，周期可以根据需要进行设定，比如一天一个周期或二天一个周期或三天一个周期等，当周期时间到时，系统启动自行进入周期自动检索流程。

上述实施例仅用来进一步说明本发明的一种基于检索过期的网页搜索方法及其系统，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。

Claims (2)

1.一种基于检索过期的网页搜索方法，其特征在于：包括查询流程和周期自动检索流程；

在查询流程中，其包括如下步骤：

a.接受用户的关键词输入，产生对应于该关键词的唯一编号；

b.将该关键词与已存储在关键词库的所有关键词进行一一比较判断；

当判断结果是该关键词已存在时，转至步骤g；当判断结果是该关键词不存在时，继续下一步骤；

c.将该关键词及其对应的编号存储于关键词库中；

d.向互联网搜索引擎发送该关键词，触发互联网搜索引擎进行对应于该关键词的网页搜索，并将对应于该关键词的搜索时间记录在关键词库中；

e.接收由互联网搜索引擎检索后返回的对应于该关键词的网页索引；

f.将网页索引以及该网页索引所对应的该关键词的对应编号存储于搜索结果库中；

g.根据该关键词所对应的编号，从搜索结果库中调出对应于该编号的网页索引；

h.将该网页索引作为搜索结果显示于用户的显示界面中；

i.退出或返回步骤a；

在周期自动检索流程中，其包括如下步骤：

j.从关键词库中调出一个关键词及其对应于该关键词的搜索时间；

k.将该关键词的搜索时间与预先所设定的检索过期时间进行比较判断；当判断结果为未过期时，返回步骤j；当判断结果为检索过期时，继续下一步骤；

l.模拟浏览器行为，向互联网搜索引擎发送该关键词，进行对应于该关键词的网页搜索，并将对应于该关键词的新的搜索时间去更新存储于关键词库中的对应于该关键词的原有的搜索时间；

m.接收由互联网搜索引擎检索后返回的对应于该关键词的网页索引；

n.根据该关键词所对应的编号，从搜索结果库中调出对应于该编号的原有的网页索引，并将步骤m所获取的网页索引与已有的网页索引进行URL唯一性比对，以取得不重复的网页索引；

o.将步骤n所取得的不重复的网页索引去更新存储于搜索结果库中的对应于该关键词的对应编号的原有的网页索引；

p.判断关键词库中的关键词是否逐个调取完毕，未调取完毕时，返回步骤j，已调取完毕时，退出，等待下一周期开始；

所述的检索过期为预先所设定的一个时间长度，在该时间长度内向搜索引擎发送同样的查询关键词，其返回的结果是一样的。

2.一种用于实现如权利要求1所述的基于检索过期的网页搜索方法的系统，其包括：

查询模块，设有可接受用户输入关键词的输入界面；对用户输入的关键词进行处理，产生对应于该关键词的唯一编号，向关键词管理模块输出该关键词及对应的编号；接收并显示网页索引；

关键词管理模块，设有关键词库用来存储关键词及其对应的编号；将查询模块所发送的关键词与关键词库内的关键词进行比较，判断关键词库中是否已有该关键词，当关键词库中没有该关键词时，将该关键词发送给搜索代理模块并记录搜索时间，当关键词库中已有该关键词时，利用该关键词所对应的编号从搜索结果库中调出与该关键词相对应的网页索引并发送给查询模块；同时，周期性判断每个关键词是否已检索过期，并将已检索过期的关键词发送给搜索代理模块并记录新的搜索时间；所述的检索过期为预先所设定的一个时间长度，在该时间长度内向搜索引擎发送同样的查询关键词，其返回的结果是一样的；

搜索代理模块，模拟浏览器行为，向互联网搜索引擎发送关键词，同时接收搜索引擎返回的网页索引，并将该网页索引发送给检索结果处理模块；

检索结果处理模块，从搜索结果库中提取与关键词相关的原有的网页索引，将接收的来自于搜索代理模块的网页索引，与原有的网页索引进行比对，进行URL唯一性分析，将URL不重复的网页索引重新保存到对应于该关键词编号的搜索结果库中；

搜索结果库，存储对应于各关键词编号的网页索引。

Images