CN101916295A - 基于点对点网络的互联网搜索系统和方法 - Google Patents

基于点对点网络的互联网搜索系统和方法 Download PDF

Info

Publication number
CN101916295A
CN101916295A CN2010102649085A CN201010264908A CN101916295A CN 101916295 A CN101916295 A CN 101916295A CN 2010102649085 A CN2010102649085 A CN 2010102649085A CN 201010264908 A CN201010264908 A CN 201010264908A CN 101916295 A CN101916295 A CN 101916295A
Authority
CN
China
Prior art keywords
search
retrieval
search node
node
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102649085A
Other languages
English (en)
Other versions
CN101916295B (zh
Inventor
董方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201010264908.5A priority Critical patent/CN101916295B/zh
Publication of CN101916295A publication Critical patent/CN101916295A/zh
Priority to PCT/CN2011/078886 priority patent/WO2012025052A1/zh
Application granted granted Critical
Publication of CN101916295B publication Critical patent/CN101916295B/zh
Priority to US13/776,552 priority patent/US9330177B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1834—Distributed file systems implemented based on peer-to-peer networks, e.g. gnutella
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种基于点对点网络的互联网搜索系统和方法，该搜索系统和方法是通过在每个搜索节点处设置搜索终端，使各个节点间形成点对点网络。利用点对点网络中消息的发布与回传机制将该搜索请求逐级发送给其他搜索节点。每个搜索节点各自响应该搜索请求，基于各搜索节点本地所存储的索引库进行检索，并将各搜索节点的检索结果最终汇集于原始搜索节点处，由原始搜索节点对这些检索结果进行聚合排序。这样的搜索系统结构和搜索方法完全打破了现有搜索系统的体系结构，给出了一种全新的搜索系统体系架构。彻底解决了现有技术中搜索引擎服务器的工作压力问题。

Description

基于点对点网络的互联网搜索系统和方法
技术领域
本发明涉及互联网搜索系统及其搜索方法，特别是一种基于点对点网络实现互联网搜索服务的搜索系统及其方法，使得搜索系统的数据存储和运算分散到各个用户节点，降低搜索引擎的建造和维护成本，属于互联网搜索技术技术领域。
背景技术
互联网搜索技术是互联网应用中的一项重要技术。人们通过互联网搜索引擎在数据庞大的互联网中搜索自己所关心的数据内容。
现有的互联网搜索技术一般是由搜索服务提供商建立一组搜索引擎服务器。该搜索引擎服务器在互联网上抓取各个网页的信息，并按照一定数据结构组织保存各网页可供检索数据(如地址、标题、内容、锚文本等)的索引信息，从而建立庞大的索引库。用户在进行搜索时，一般是向该搜索引擎服务器发出搜索关键词，搜索引擎服务器根据该输入关键词在所建立的索引库中进行检索，并将检索结果按照一定规则排序，发送给搜索请求用户。
但是，这种既有的互联网搜索技术存在以下几点问题：
首先，搜索引擎服务器数据中心集中构建的大型分布式存储和计算系统的开支巨大，维护和运营开支巨大，需要大量的能源和网络带宽。
其次，数据中心的存储系统容量的扩大速度、计算能力的提高的速度，无法赶上互联网内容增加的速度。造成被索引网页的数量占所有网页的数量的比例下降。不利于搜索结果相关性的提高。
再有，这种搜索技术难于提高和调整搜索结果的相关性的排序。人工干预排序的工作量巨大。
鉴于以上现有技术中所存在的问题，本发明提供了一种基于点对点网络实现互联网搜索服务的搜索系统及其方法。
发明内容
本发明的主要目的在于解决现有技术中存在的问题，提供一种基于点对点网络实现互联网搜索服务的搜索系统及其方法，使得搜索系统的数据存储和运算分散到各个用户节点，降低搜索引擎的建造和维护成本。
本发明的目的是通过下述技术方案予以实现的：
基于点对点网络的互联网搜索系统，其特征在于：该搜索系统由若干对等的搜索节点构成；各个搜索节点通过互联网连接成点对点网络；在所述每个搜索节点中设置有一个搜索终端；
该搜索终端包括有：网络接口、搜索控制器、搜索存储空间、检索模块和聚合排序模块；
该网络接口与搜索控制器相连，搜索终端通过该网络接口与互联网相连接；
该搜索存储空间包括有索引库和点对点链接库；所述索引库用以存储网页的索引信息；所述点对点链接库用以存储该搜索节点与相邻搜索节点间的链接信息；所述点对点链接库与搜索控制器直接相连；所述索引库通过所述检索模块与搜索控制器相连接；
该检索模块受搜索控制器控制，用以实现根据用户搜索请求的关键词在索引库中进行检索，并将检索结果发送至聚合排序模块；
该聚合排序模块分别与搜索控制器、检索模块相连接，用以对检索模块发送来的检索结果进行聚合排序。
基于点对点网络的互联网搜索方法，基于前述的互联网搜索系统实现，其特征在于：具体包括如下步骤：
(1)用户由原始搜索节点发起搜索请求；
(2)该原始搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索；
(3)该原始搜索节点的搜索控制器调用本地点对点链接库中的链接信息，将所述搜索请求转发给与该原始搜索节点相连接的搜索节点；
(4)接收到所述搜索请求的搜索节点响应搜索请求，判断本搜索节点是否满足结束转发条件；如果不满足结束转发条件，则认定本搜索节点为中间搜索节点，执行步骤(5)；如果满足结束转发条件，则认定本搜索节点为最终搜索节点，执行步骤(7)；
(5)该中间搜索节点的搜索控制器调用本地点对点链接库中的链接信息，将所述搜索请求转发给与该中间搜索节点相连接的搜索节点；
(6)该中间搜索节点响应搜索请求，由该搜索节点的搜索控制器控制检索模块在索引库中进行检索，并将检索结果以及其下级搜索节点回传的检索结果一并回传给其上级搜索节点，并返回步骤(4)；
(7)该最终搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索，并将检索结果回传给其上级搜索节点；
(8)该原始搜索节点的搜索控制器控制聚合排序模块对其他搜索节点回传的检索结果与在本地索引库中检索的结果进行聚合排序，并将聚合排序后的检索结果发送给用户，完成检索过程。
本发明的有益效果是：该基于点对点网络的互联网搜索系统和方法是通过在每个搜索节点处设置搜索终端，使各个节点间形成点对点网络。利用点对点网络中消息的发布与回传机制将该搜索请求逐级发送给其他搜索节点。每个搜索节点各自响应该搜索请求，基于各搜索节点本地所存储的索引库进行检索，并将各搜索节点的检索结果最终汇集于原始搜索节点处，由原始搜索节点对这些检索结果进行聚合排序。这样的搜索系统结构和搜索方法完全打破了现有搜索系统的体系结构，给出了一种全新的搜索系统体系架构。彻底解决了现有技术中搜索引擎服务器的工作压力问题。
附图说明
图1为基于点对点网络的互联网搜索系统第一实施例的结构示意图；
图2为基于点对点网络的互联网搜索系统第二实施例的结构示意图；
图3为基于点对点网络的互联网搜索系统第三实施例的结构示意图；
图4为基于点对点网络的互联网搜索系统第四、五、六实施例的结构示意图；
图5为基于点对点网络的互联网搜索方法第七实施例的流程图；
图6为基于点对点网络的互联网搜索方法第八实施例的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
实施例1：
图1为基于点对点网络的互联网搜索系统第一实施例的结构示意图，也是本发明搜索系统的基本结构图。该互联网搜索系统由若干对等的搜索节点构成。各个搜索节点通过互联网连接成点对点网络。在所述每个搜索节点中设置有一个搜索终端。
如图所示，该搜索终端至少包括有：网络接口、搜索控制器、搜索存储空间、检索模块和聚合排序模块。
该网络接口与搜索控制器相连，搜索终端通过该网络接口与互联网相连接。
该搜索控制器为搜索终端的核心控制设备，用以控制终端中各个功能模块的工作。
该搜索存储空间为搜索终端的存储设备，其中至少包括有索引库和点对点链接库。所述索引库用以存储网页的索引信息，以供搜索终端进行检索。所述点对点链接库用以存储该搜索节点与相邻搜索节点间的链接信息。所述点对点链接库与搜索控制器直接相连，通过搜索控制器调用所述链接信息实现节点间的通讯链接。所述索引库通过所述检索模块与搜索控制器相连接。
该检索模块受搜索控制器控制，用以实现根据用户搜索请求的关键词在索引库中进行检索，并将检索结果发送至聚合排序模块。
该聚合排序模块分别与搜索控制器、检索模块相连接，用以对检索模块发送来的检索结果进行聚合排序，并将聚合排序后的检索结果发送给搜索控制器。
如上所述，在该基于点对点网络的互联网搜索系统中的每个搜索节点均设置有一个上述结构的搜索终端。当其中一个搜索节点发起搜索请求时，该节点的搜索控制器一方面通过本地的检索模块对本地索引库进行检索，另一方面通过调用点对点链接库中所存储的链接信息将该搜索请求发送至与该搜索节点相邻的其他搜索节点处。其他搜索节点响应该搜索请求，继续按照上述过程一方面完成本地检索，一方面继续向下一级节点转发该搜索请求。如此往复，经过有限级转发搜索请求，最终将各搜索节点的检索结果汇集于最初发起搜索请求的节点，并经过聚合排序向发起用户反馈最终的检索结果，从而完成整个搜索过程。
可见，本发明所设计的基于点对点网络的互联网搜索系统相较于现有搜索系统有着本质的区别。本搜索系统不需要设置专门的搜索服务器，而是在每个搜索节点处设置搜索终端，使各个节点间形成点对点网络，通过在各个节点间的有限级搜索请求转发，最终获得一个可以信赖的搜索结果。这样该搜索系统就将现有必须在搜索服务器中设置的占用大量存储空间的搜索引擎服务器数据中心所需存储的索引信息分散到各个搜索节点的搜索存储空间中。同时，还将原先需由搜索服务器承担的访问流量和检索处理工作量，也分散到各个搜索节点处。这样，可以从根本上解决互联网搜索技术中服务器承载压力过大的问题，同时也使互联网搜索技术的处理能力能够跟得上互联网内容的增加速度。因此，本发明所给出的搜索系统所取得的技术效果是显而易见的。
实施例2：
如图2所示，本实施例是在第一实施例的基础上，在所述搜索终端中还设置有网页缓冲区和索引模块。该网页缓冲区与所述网络接口相连，用以将用户所浏览的网页相关数据，如网页的地址、标题、内容、时间、所在的网站等，存储于该缓冲区内。该索引模块分别与网页缓冲区、索引库相连。该索引模块受搜索控制器控制，从网页缓冲区提取网页相关数据，并从中提取该网页的索引信息，再将该索引信息发送至所述索引库，对索引库进行更新。
本实施例通过在搜索终端中增加网页缓冲区和索引模块两部分模块。使得该搜索终端的索引库所存储的索引信息可以根据用户平时所浏览的网页进行更新。这样不但能够使得该搜索系统所搜索的内容可以根据用户平时的使用不断更新，而且由于本搜索系统所检索的范围是依据各个用户所自有的索引库为基础的，这样的索引库更新机制更有利于用户搜索到实际有用的信息。
实施例3：
如图3所示，本实施例是在第一实施例的基础上，在点对点网络中还进一步设置有至少一个网络服务器。该网络服务器包括有：网络接口、服务器控制器、搜索节点链接库。该搜索节点链接库中存储有若干搜索节点的链接信息。该服务器控制器一方面与搜索节点链接库相连，另一方面通过网络接口与互联网相连接。
这里，本实施例所设置的网络服务器与现有搜索系统中的服务器有着本质的区别。本实施例中所设置的网络服务器只是用以在用户初始化其本地搜索终端时，由该网络服务器分配给该搜索终端一批相邻搜索节点的链接信息，使之能够加入本搜索系统的点对点网络，并不需要承担任何检索功能。因此，本实施例中的网络服务器的建立和维护成本都非常低廉。
实施例4：
如图4所示，本实施例是在第一实施例的基础上，在所述搜索存储空间中还设置有检索结果库。该检索结果库用以存储通过本搜索节点所进行搜索的检索结果，以备以后再进行相同检索时可以更快给出检索结果，简化检索流程。
实施例5：
如图4所示，本实施例是在第一实施例的基础上，在所述搜索存储空间中还设置有反馈信息库。该反馈信息库用以存储用户对已完成的检索结果的反馈信息，以作为以后再进行相同检索时检索结果的聚合排序的参考依据。
实施例6：
如图4所示，本实施例是在第一实施例的基础上，在所述搜索存储空间中还设置有用户使用频率库。该用户使用频率库用以存储用户浏览网页的频率信息，以作为对检索结果聚合排序的参考依据。
上述各实施例给出了本发明所设计的基于点对点网络的互联网搜索系统的若干可行实施例。不难看出，该搜索系统的设计要点在于通过在每个搜索节点处设置搜索终端，使各个节点间形成点对点网络，从而将现有搜索系统中服务器端的存储压力、访问压力、计算压力分散到各个搜索节点的搜索终端上，这样大大降低了搜索服务器的压力，甚至可以完全不设置专门的搜索服务器。这样的搜索系统结构设计完全打破了现有搜索系统的体系结构，给出了一种全新的搜索系统体系架构，并且取得了显著的技术效果。
下面，我们对基于上述结构的互联网搜索系统的搜索方法进行介绍。
实施例7：
图5为基于点对点网络的互联网搜索方法的流程图，也是本发明搜索方法的基本流程图。该搜索方法是基于前述第一实施例所述的搜索系统实现的，具体包括如下步骤：
(1)用户由原始搜索节点发起搜索请求；
(2)该原始搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索；
(3)该原始搜索节点的搜索控制器调用本地点对点链接库中的链接信息，将所述搜索请求转发给与该原始搜索节点相连接的搜索节点；
这里，步骤(2)和(3)的执行顺序可以相互交换，甚至可以并行处理。无论采用这其中何种执行顺序，均应视为在本专利的保护范围之内。
(4)接收到所述搜索请求的搜索节点响应搜索请求，判断本搜索节点是否满足结束转发条件；如果不满足结束转发条件，则认定本搜索节点为中间搜索节点，执行步骤(5)；如果满足结束转发条件，则认定本搜索节点为最终搜索节点，执行步骤(7)；
这里的结束转发条件是为了结束整个搜索流程，防止搜索请求无限传递而设置的。这种结束转发条件可以根据设计需要有多种实现方式。因此，我们在这里并不给出其具体实现形式。
(5)该中间搜索节点的搜索控制器调用本地点对点链接库中的链接信息，将所述搜索请求转发给与该中间搜索节点相连接的搜索节点；
(6)该中间搜索节点响应搜索请求，由该搜索节点的搜索控制器控制检索模块在索引库中进行检索，并将检索结果以及其下级搜索节点回传的检索结果一并回传给其上级搜索节点，并返回步骤(4)；
(7)该最终搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索，并将检索结果回传给其上级搜索节点；
(8)该原始搜索节点的搜索控制器控制聚合排序模块对其他搜索节点回传的检索结果与在本地索引库中检索的结果进行聚合排序，并将聚合排序后的检索结果发送给用户，完成检索过程。
这里所述的检索结果聚合排序方法是一种在现有互联网搜索技术中较为常见的干扰检索结果排序的技术。在此就不再对其具体的聚合排序流程做具体描述。
由此可见，本发明所设计的基于点对点网络的互联网搜索方法是由用户从本地搜索节点发起搜索请求，通过点对点网络中消息的发布与回传机制将该搜索请求逐级发送给其他搜索节点。每个搜索节点各自响应该搜索请求，基于各搜索节点本地所存储的索引库进行检索，并将各搜索节点的检索结果最终汇集于原始搜索节点处，由原始搜索节点对这些检索结果进行聚合排序。由于，点对点网络中各节点间形成网状结构，通过上述方式经过有限次转传搜索请求消息后，我们有理由认为该搜索请求已经发布到一个足够信赖的搜索节点规模范围内。因此，我们也就有理由认为通过这种方式所获得的检索结果是值得信赖的。
不难看出，本发明所设计的互联网搜索系统及其方法是完全改变了既有搜索引擎的体系架构，通过一种全新的点对点网络搜索机制来完成互联网搜索任务。这种搜索系统只需要一个非常简单的节点分配服务器(参见第三实施例)，甚至可以完全脱离专属搜索服务器的依赖，彻底解决了现有技术中搜索引擎服务器的工作压力问题。
并且，由于这种互联网搜索方法是直接基于各搜索节点本地的索引库作为检索库的范围，更贴近于用户实际使用，因此这样搜索所获得的检索结果应该更贴近于用户的实际需要。
实施例8：
本实施例是在第七实施例的基础上，进一步提供了各搜索节点的索引库的更新机制，该方法基于前述第二实施例所提供的搜索系统实现。如图6所示，所述步骤(2)、(6)、(7)中各搜索节点的索引库通过如下步骤进行更新：
(a1)用户所浏览的网页相关数据存储于该缓冲区内；
(a2)该搜索节点的搜索控制器控制索引模块从该网页缓冲区提取网页相关数据，并从中提取该网页的索引信息；
(a3)搜索控制器将该索引信息存储于索引库。
通过上述流程设计，本发明为该搜索系统提供了一种索引库更新机制。通过此索引库更新机制可以使此搜索系统的网页索引库不断随用户的网络访问而进行更新，从而可以较好的适应当今互联网内容的增加速度。很明显，这种索引库更新机制要比现有技术中简单通过网络爬虫获取互联网内容的方式要合理的多。
实施例9：
由于，考虑到各搜索节点间频繁传递检索结果可能占用较大带宽和系统资源的问题，本实施例是在前述第七实施例的基础上，进一步在中间搜索节点上加入聚合排序步骤，从而降低搜索节点间信息传递的频率，使传递过程更有效率。其具体方案如下：
所述步骤(6)包括如下具体步骤：
(61a)该中间搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索，并保存检索结果；
(61b)当该中间搜索节点收到其下级搜索节点回传的检索结果后，该中间搜索节点的搜索控制器控制聚合排序模块对已保存的检索结果与新回传的检索结果进行重新聚合排序；
(61c)该搜索控制器检查该重新聚合排序后的检索结果是否更新了之前所保存的检索结果；如果更新了，则将更新后的检索结果回传给其上级搜索节点；如果未更新，则直接执行步骤(61d)；
(61d)该中间搜索节点等待下级搜索节点回传搜索结果，当有下级搜索节点回传检索结果时，返回步骤(61b)。
通过这种方法，在搜索过程中先在各个中间搜索节点处对检索结果进行预先聚合排序，只有当下级搜索节点所回传的检索结果更新了该中间搜索节点所保存的检索结果，该中间搜索节点才进行数据回传。这样，可以减少不必要的数据回传操作，从而达到提高数据传递效率的目的。
实施例10：
与第九实施例的设计目的相同，本实施例提供另外一种解决方案。其具体方案如下：
所述步骤(6)包括如下具体步骤：
(62a)该中间搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索，并保存检索结果；
(62b)该中间搜索节点接收其下级搜索节点回传的检索结果，并判断是否其所有下级搜索节点均已回传检索结果；如果是则执行步骤(62d)，如果否则执行步骤(62c)；
(62c)该中间搜索节点等待下级搜索节点回传搜索结果，当有下级搜索节点回传检索结果时，返回步骤(62b)；
(62d)该中间搜索节点的搜索控制器控制聚合排序模块对本地保存的检索结果与所有下级搜索节点回传的检索结果进行聚合排序，并将聚合排序后的检索结果回传给其上级搜索节点。
通过这种方法，在整个搜索过程中每个中间搜索节点只会在其所有下级搜索节点都回传各自检索结果后，才会对所有检索结果进行聚合排序，并将聚合排序后的检索结果回传给其上级搜索节点。这样，各中间搜索节点无需在每次收到下级搜索节点回传的检索结果后就进行一次数据回传，而是只需要进行一次数据回传即可，减少不必要的数据回传操作，从而达到提高数据传递效率的目的。
实施例11：
前面提到了，步骤(4)中的结束转发条件是为了结束整个搜索流程，防止搜索请求无限传递而设置的。这种结束转发条件可以根据设计需要有多种实现方式。在本实施例中我们就具体给出一种结束转发条件。
本实施例所设计的结束转发条件为转发级数限制，即规定由原始搜索节点发出搜索请求后，该搜索请求经过转发若干级搜索节点后停止转发，具体如下：
所述步骤(1)改为：用户由原始搜索节点发起搜索请求，并设置此搜索请求的转发级数；
所述步骤(4)改为：接收到所述搜索请求的搜索节点响应搜索请求，判断本搜索节点是否达到转发级数限制；如果没达到，则认定本搜索节点为中间搜索节点，执行步骤(5)；如果已达到，则认定本搜索节点为最终搜索节点，执行步骤(7)。
实施例12：
同样，本实施例再给出我们另一种结束转发条件。
本实施例所设计的结束转发条件为支线检索结果数量限制，即规定自原始搜索节点至某一搜索节点这一支路上，所有搜索节点所检索到的检索结果之和的上限，当达到这一上限后该支路就不再转发搜索请求，具体如下：
所述步骤(1)改为：用户由原始搜索节点发起搜索请求，并设置此搜索请求的支线检索结果数量上限；
所述步骤(4)改为：接收到所述搜索请求的搜索节点响应搜索请求，判断由原始搜索节点至本搜索节点支路上累计检索到的检索结果数量是否达到所述上限；如果没达到，则认定本搜索节点为中间搜索节点，执行步骤(5)；如果已达到，则认定本搜索节点为最终搜索节点，执行步骤(7)。
实施例13：
本实施例是在第七实施例的基础上，对该互联网搜索方法进一步增加了对已完成的检索结果保存，并以此简化后续相同搜索请求的搜索流程的相关设计。本实施例是基于前述第四实施例所设计的互联网搜索系统实现的，具体如下：
在所述步骤(2)、(6)、(7)中各个搜索节点响应搜索请求在本地索引库中进行检索之前，还包括如下步骤：
(A)该搜索节点的搜索控制器在检索结果库中查找是否有与该搜索请求相对应的检索结果；如果有则跳过索引库检索过程，并将该检索结果库中的检索结果作为本搜索节点的检索结果；如果无则执行索引库检索步骤；
在所述步骤(8)后还包括如下步骤：
(9A)该原始搜索节点将步骤(8)中所获得的聚合排序后的检索结果发送至参与本次搜索请求的各个搜索节点处；各个搜索节点将该聚合排序后的检索结果存储于本地检索结果库中。
当然，此步骤中各个搜索节点也可对聚合排序后的检索结果进行有选择地存储，不一定对所有检索结果都进行存储。
通过上述设计，我们可以避免各搜索节点进行没有必要的重复检索，简化了搜索流程。
实施例14：
本实施例是在第七、九、十实施例的基础上，对该互联网搜索方法进一步增加了用户对已完成检索结果的反馈信息的保存，并以此为参考左右后续搜索请求的聚合排序过程的相关设计。本实施例是基于前述第五实施例所设计的互联网搜索系统实现的，具体如下：
在所述步骤(8)、(61b)、(62d)中各个搜索节点对检索结果聚合排序时，还包括如下步骤：
(B)该搜索节点的搜索控制器调用反馈信息库中的用户反馈信息作为参数输入聚合排序模块，以辅助聚合排序模块对检索结果进行聚合排序；
在所述步骤(8)后还包括如下步骤：
(9B)用户对该聚合排序后的检索结果进行反馈，并由该原始搜索节点将该反馈信息发送至参与本次搜索请求的各个搜索节点处；各个搜索节点将该反馈信息存储于本地反馈信息库中。
通过上述设计，我们可以优化聚合排序模块的聚合排序结果。
实施例15：
本实施例是在第七、九、十实施例的基础上，对该互联网搜索方法进一步增加了对用户网页使用频率的记录机制，并以此为参考左右后续搜索请求的聚合排序过程的相关设计。本实施例是基于前述第六实施例所设计的互联网搜索系统实现的，具体如下：
在所述步骤(8)、(61b)、(62d)中各个搜索节点对检索结果聚合排序时，还包括如下步骤：
(C)该搜索节点的搜索控制器调用用户使用频率库中的用户浏览网页的频率信息作为参数输入聚合排序模块，以辅助聚合排序模块对检索结果进行聚合排序；
在所述步骤(8)后还包括如下步骤：
(9C)搜索节点将用户浏览网页的频率信息发送至参与本次搜索请求的各个搜索节点处；各个搜索节点将用户浏览网页的频率信息存储于本地用户使用频率库中。
通过上述设计，我们可以使聚合排序模块的聚合排序结果更符合用户的期望。
综上所述，本发明所设计的基于点对点网络的互联网搜索系统和方法是通过在每个搜索节点处设置搜索终端，使各个节点间形成点对点网络。该搜索系统通过点对点网络中消息的发布与回传机制将该搜索请求逐级发送给其他搜索节点。每个搜索节点各自响应该搜索请求，基于各搜索节点本地所存储的索引库进行检索，并将各搜索节点的检索结果最终汇集于原始搜索节点处，由原始搜索节点对这些检索结果进行聚合排序。这样的搜索系统结构和搜索方法完全打破了现有搜索系统的体系结构，给出了一种全新的搜索系统体系架构。彻底解决了现有技术中搜索引擎服务器的工作压力问题。本领域一般技术人员在此设计思想之下，所做任何不具有创造性的改造，均应视为在本发明的保护范围之内。

Claims (15)

1.基于点对点网络的互联网搜索系统，其特征在于：该搜索系统由若干对等的搜索节点构成；各个搜索节点通过互联网连接成点对点网络；在所述每个搜索节点中设置有一个搜索终端；
该搜索终端包括有：网络接口、搜索控制器、搜索存储空间、检索模块和聚合排序模块；
该网络接口与搜索控制器相连，搜索终端通过该网络接口与互联网相连接；
该搜索存储空间包括有索引库和点对点链接库；所述索引库用以存储网页的索引信息；所述点对点链接库用以存储该搜索节点与相邻搜索节点间的链接信息；所述点对点链接库与搜索控制器直接相连；所述索引库通过所述检索模块与搜索控制器相连接；
该检索模块受搜索控制器控制，用以实现根据用户搜索请求的关键词在索引库中进行检索，并将检索结果发送至聚合排序模块；
该聚合排序模块分别与搜索控制器、检索模块相连接，用以对检索模块发送来的检索结果进行聚合排序。
2.如权利要求1所述的互联网搜索系统，其特征在于：在所述搜索终端中还设置有网页缓冲区和索引模块；
该网页缓冲区与所述网络接口相连，用以将用户所浏览的网页相关数据存储于网页缓冲区内；
该索引模块分别与网页缓冲区、索引库相连；该索引模块受搜索控制器控制，用以从网页缓冲区中提取网页的索引信息，并将该索引信息发送至所述索引库。
3.如权利要求1所述的互联网搜索系统，其特征在于：在所述点对点网络中还设置有至少一个网络服务器；该网络服务器包括有：网络接口、服务器控制器、搜索节点链接库；该搜索节点链接库中存储有若干搜索节点的链接信息；该服务器控制器一方面与搜索节点链接库相连，另一方面通过网络接口与互联网相连接。
4.如权利要求1所述的互联网搜索系统，其特征在于：在所述搜索存储空间中还设置有检索结果库；该检索结果库用以存储通过本搜索节点所进行搜索的检索结果。
5.如权利要求1所述的互联网搜索系统，其特征在于：在所述搜索存储空间中还设置有反馈信息库；该反馈信息库用以存储用户对已完成的检索结果的反馈信息。
6.如权利要求1所述的互联网搜索系统，其特征在于：在所述搜索存储空间中还设置有用户使用频率库；该用户使用频率库用以存储用户浏览网页的频率信息。
7.基于点对点网络的互联网搜索方法，基于权利要求1所述的互联网搜索系统实现，其特征在于：具体包括如下步骤：
(1)用户由原始搜索节点发起搜索请求；
(2)该原始搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索；
(3)该原始搜索节点的搜索控制器调用本地点对点链接库中的链接信息，将所述搜索请求转发给与该原始搜索节点相连接的搜索节点；
(4)接收到所述搜索请求的搜索节点响应搜索请求，判断本搜索节点是否满足结束转发条件；如果不满足结束转发条件，则认定本搜索节点为中间搜索节点，执行步骤(5)；如果满足结束转发条件，则认定本搜索节点为最终搜索节点，执行步骤(7)；
(5)该中间搜索节点的搜索控制器调用本地点对点链接库中的链接信息，将所述搜索请求转发给与该中间搜索节点相连接的搜索节点；
(6)该中间搜索节点响应搜索请求，由该搜索节点的搜索控制器控制检索模块在索引库中进行检索，并将检索结果以及其下级搜索节点回传的检索结果一并回传给其上级搜索节点，并返回步骤(4)；
(7)该最终搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索，并将检索结果回传给其上级搜索节点；
(8)该原始搜索节点的搜索控制器控制聚合排序模块对其他搜索节点回传的检索结果与在本地索引库中检索的结果进行聚合排序，并将聚合排序后的检索结果发送给用户，完成检索过程。
8.如权利要求7所述的互联网搜索方法，基于权利要求2所述的互联网搜索系统实现，其特征在于：所述步骤(2)、(6)、(7)中各搜索节点的索引库通过如下步骤进行更新：
(a1)用户所浏览的网页相关数据存储于该缓冲区内；
(a2)该搜索节点的搜索控制器控制索引模块从该网页缓冲区提取网页相关数据，并从中提取该网页的索引信息；
(a3)搜索控制器将该索引信息存储于索引库。
9.如权利要求7所述的互联网搜索方法，其特征在于：所述步骤(6)包括如下具体步骤：
(61a)该中间搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索，并保存检索结果；
(61b)当该中间搜索节点收到其下级搜索节点回传的检索结果后，该中间搜索节点的搜索控制器控制聚合排序模块对已保存的检索结果与新回传的检索结果进行重新聚合排序；
(61c)该搜索控制器检查该重新聚合排序后的检索结果是否更新了之前所保存的检索结果；如果更新了，则将更新后的检索结果回传给其上级搜索节点；如果未更新，则直接执行步骤(61d)；
(61d)该中间搜索节点等待下级搜索节点回传搜索结果，当有下级搜索节点回传检索结果时，返回步骤(61b)。
10.如权利要求7所述的互联网搜索方法，其特征在于：所述步骤(6)包括如下具体步骤：
(62a)该中间搜索节点响应搜索请求，由该节点的搜索控制器控制检索模块在索引库中进行检索，并保存检索结果；
(62b)该中间搜索节点接收其下级搜索节点回传的检索结果，并判断是否其所有下级搜索节点均已回传检索结果；如果是则执行步骤(62d)，如果否则执行步骤(62c)；
(62c)该中间搜索节点等待下级搜索节点回传搜索结果，当有下级搜索节点回传检索结果时，返回步骤(62b)；
(62d)该中间搜索节点的搜索控制器控制聚合排序模块对本地保存的检索结果与所有下级搜索节点回传的检索结果进行聚合排序，并将聚合排序后的检索结果回传给其上级搜索节点。
11.如权利要求7所述的互联网搜索方法，其特征在于：所述步骤(4)中的结束转发条件为转发级数限制；
所述步骤(1)改为：用户由原始搜索节点发起搜索请求，并设置此搜索请求的转发级数；
所述步骤(4)改为：接收到所述搜索请求的搜索节点响应搜索请求，判断本搜索节点是否达到转发级数限制；如果没达到，则认定本搜索节点为中间搜索节点，执行步骤(5)；如果已达到，则认定本搜索节点为最终搜索节点，执行步骤(7)。
12.如权利要求7所述的互联网搜索方法，其特征在于：所述步骤(4)中的结束转发条件为支线检索结果数量限制；
所述步骤(1)改为：用户由原始搜索节点发起搜索请求，并设置此搜索请求的支线检索结果数量上限；
所述步骤(4)改为：接收到所述搜索请求的搜索节点响应搜索请求，判断由原始搜索节点至本搜索节点支路上累计检索到的检索结果数量是否达到所述上限；如果没达到，则认定本搜索节点为中间搜索节点，执行步骤(5)；如果已达到，则认定本搜索节点为最终搜索节点，执行步骤(7)。
13.如权利要求7所述的互联网搜索方法，基于权利要求4所述的互联网搜索系统实现，其特征在于：
在所述步骤(2)、(6)、(7)中各个搜索节点响应搜索请求在本地索引库中进行检索之前，还包括下述步骤(A)：
(A)该搜索节点的搜索控制器在检索结果库中查找是否有与该搜索请求相对应的检索结果；如果有则跳过索引库检索过程，并将该检索结果库中的检索结果作为本搜索节点的检索结果；如果无则执行索引库检索步骤；
在所述步骤(8)后还包括下述步骤(9A)：
(9A)该原始搜索节点将步骤(8)中所获得的聚合排序后的检索结果发送至参与本次搜索请求的各个搜索节点处；各个搜索节点将该聚合排序后的检索结果存储于本地检索结果库中。
14.如权利要求7、9或10中所述的互联网搜索方法，基于权利要求5所述的互联网搜索系统实现，其特征在于：所述各个搜索节点对检索结果聚合排序时，还包括下述步骤(B)：
(B)该搜索节点的搜索控制器调用反馈信息库中的用户反馈信息作为参数输入聚合排序模块，以辅助聚合排序模块对检索结果进行聚合排序；
在所述步骤(8)后还包括下述步骤(9B)：
(9B)用户对该聚合排序后的检索结果进行反馈，并由该原始搜索节点将该反馈信息发送至参与本次搜索请求的各个搜索节点处；各个搜索节点将该反馈信息存储于本地反馈信息库中。
15.如权利要求7、9或10所述的互联网搜索方法，基于权利要求6所述的互联网搜索系统实现，其特征在于：在所述步骤(8)、(61b)、(62d)中各个搜索节点对检索结果聚合排序时，还包括如下步骤：
(C)该搜索节点的搜索控制器调用用户使用频率库中的用户浏览网页的频率信息作为参数输入聚合排序模块，以辅助聚合排序模块对检索结果进行聚合排序；
在所述步骤(8)后还包括如下步骤：
(9C)搜索节点将用户浏览网页的频率信息发送至参与本次搜索请求的各个搜索节点处；各个搜索节点将用户浏览网页的频率信息存储于本地用户使用频率库中。
CN201010264908.5A 2010-08-27 2010-08-27 基于点对点网络的互联网搜索系统和方法 Active CN101916295B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201010264908.5A CN101916295B (zh) 2010-08-27 2010-08-27 基于点对点网络的互联网搜索系统和方法
PCT/CN2011/078886 WO2012025052A1 (zh) 2010-08-27 2011-08-25 基于点对点网络的互联网搜索系统和方法
US13/776,552 US9330177B2 (en) 2010-08-27 2013-02-25 System, method and device for internet search based on peer-to-peer network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010264908.5A CN101916295B (zh) 2010-08-27 2010-08-27 基于点对点网络的互联网搜索系统和方法

Publications (2)

Publication Number Publication Date
CN101916295A true CN101916295A (zh) 2010-12-15
CN101916295B CN101916295B (zh) 2011-12-14

Family

ID=43323807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010264908.5A Active CN101916295B (zh) 2010-08-27 2010-08-27 基于点对点网络的互联网搜索系统和方法

Country Status (3)

Country Link
US (1) US9330177B2 (zh)
CN (1) CN101916295B (zh)
WO (1) WO2012025052A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156733A (zh) * 2011-03-25 2011-08-17 清华大学 一种基于面向服务架构的搜索引擎及搜索方法
CN102567376A (zh) * 2010-12-16 2012-07-11 中国移动通信集团浙江有限公司 一种个性化搜索结果推荐方法和装置
US9330177B2 (en) 2010-08-27 2016-05-03 Dong Software Studio Beijing System, method and device for internet search based on peer-to-peer network
CN106951434A (zh) * 2017-02-06 2017-07-14 广东神马搜索科技有限公司 一种用于搜索引擎的搜索方法、装置及可编程设备
CN110602223A (zh) * 2015-06-15 2019-12-20 展讯通信（上海）有限公司 点对点设备及其搜索匹配方法
CN112307289A (zh) * 2019-07-30 2021-02-02 王中华 搜索方法、节点及存储介质
CN112416929A (zh) * 2020-11-17 2021-02-26 四川长虹电器股份有限公司 基于mysql和java的检索库管理及数据检索方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143580B2 (en) * 2012-07-13 2015-09-22 International Business Machines Corporation Brokering and provisioning in high-speed networks
US10387546B1 (en) 2013-06-07 2019-08-20 United Services Automobile Association Web browsing
US20150213010A1 (en) * 2014-01-30 2015-07-30 Sage Microelectronics Corp. Storage system with distributed data searching
CN106951181A (zh) * 2017-02-21 2017-07-14 深圳大普微电子科技有限公司 一种数据存储系统的控制装置
CN108684206B (zh) 2017-05-18 2023-01-03 荣耀终端有限公司 一种搜索方法及装置
CN114398320A (zh) * 2020-04-30 2022-04-26 华为技术有限公司 一种分布式数据搜索方法和索引文件的共享方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858733A (zh) * 2005-11-01 2006-11-08 华为技术有限公司 信息检索系统和检索方法
US20070050335A1 (en) * 2005-08-26 2007-03-01 Fujitsu Limited Information searching apparatus and method with mechanism of refining search results
CN101639381A (zh) * 2009-08-14 2010-02-03 东南大学 红外焦平面读出电路分阶段背景抑制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359904B2 (en) * 2002-06-14 2008-04-15 Integrated Knowledge Solutions, Inc. Method to efficiently process and present possible arrangements of a set of contiguous peer-to-peer links
US7596625B2 (en) * 2003-01-27 2009-09-29 Microsoft Corporation Peer-to-peer grouping interfaces and methods
US8095500B2 (en) * 2003-06-13 2012-01-10 Brilliant Digital Entertainment, Inc. Methods and systems for searching content in distributed computing networks
US7617192B2 (en) * 2005-03-09 2009-11-10 Medio Systems, Inc. Method and system for capability content search with mobile computing devices
US8090860B2 (en) * 2007-11-05 2012-01-03 Limelight Networks, Inc. Origin request with peer fulfillment
US20070112758A1 (en) * 2005-11-14 2007-05-17 Aol Llc Displaying User Feedback for Search Results From People Related to a User
DE102006004025A1 (de) * 2006-01-27 2007-08-09 Siemens Ag Verfahren zur Übermittlung einer Nachricht, Netzwerkknoten und Netzwerk
CN100518129C (zh) * 2007-12-10 2009-07-22 华中科技大学 混杂式对等网络环境下的通用资源管理方法
CN101667179B (zh) * 2008-09-03 2012-08-15 华为技术有限公司 移动搜索方法及其系统、搜索服务器同步元索引的方法
US8924460B2 (en) * 2008-12-19 2014-12-30 International Business Machines Corporation Method and system of administrating a peer-to-peer file sharing network
CN101741844B (zh) * 2009-12-11 2012-06-20 北京工业大学 一种基于中心索引的p2p文件共享网络的对等节点发现方法
CN101916295B (zh) 2010-08-27 2011-12-14 董方 基于点对点网络的互联网搜索系统和方法
US8402375B1 (en) * 2011-09-19 2013-03-19 Google Inc. System and method for managing bookmark buttons on a browser toolbar

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070050335A1 (en) * 2005-08-26 2007-03-01 Fujitsu Limited Information searching apparatus and method with mechanism of refining search results
CN1858733A (zh) * 2005-11-01 2006-11-08 华为技术有限公司 信息检索系统和检索方法
CN101639381A (zh) * 2009-08-14 2010-02-03 东南大学 红外焦平面读出电路分阶段背景抑制方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330177B2 (en) 2010-08-27 2016-05-03 Dong Software Studio Beijing System, method and device for internet search based on peer-to-peer network
CN102567376A (zh) * 2010-12-16 2012-07-11 中国移动通信集团浙江有限公司 一种个性化搜索结果推荐方法和装置
CN102156733A (zh) * 2011-03-25 2011-08-17 清华大学 一种基于面向服务架构的搜索引擎及搜索方法
CN110602223A (zh) * 2015-06-15 2019-12-20 展讯通信（上海）有限公司 点对点设备及其搜索匹配方法
CN110602223B (zh) * 2015-06-15 2021-10-15 展讯通信（上海）有限公司 点对点设备及其搜索匹配方法
CN106951434A (zh) * 2017-02-06 2017-07-14 广东神马搜索科技有限公司 一种用于搜索引擎的搜索方法、装置及可编程设备
CN106951434B (zh) * 2017-02-06 2020-03-10 广东神马搜索科技有限公司 一种用于搜索引擎的搜索方法、装置及可编程设备
CN112307289A (zh) * 2019-07-30 2021-02-02 王中华 搜索方法、节点及存储介质
CN112416929A (zh) * 2020-11-17 2021-02-26 四川长虹电器股份有限公司 基于mysql和java的检索库管理及数据检索方法

Also Published As

Publication number Publication date
WO2012025052A1 (zh) 2012-03-01
US20140244609A1 (en) 2014-08-28
CN101916295B (zh) 2011-12-14
US9330177B2 (en) 2016-05-03

Similar Documents

Publication Publication Date Title
CN101916295B (zh) 基于点对点网络的互联网搜索系统和方法
US20230319160A1 (en) Systems and methods for utilizing unused network capacity for prefetch requests
CN102479207B (zh) 一种信息搜索的方法、系统及信息搜索设备
CN105740337B (zh) 一种基于内容的发布订阅系统中的事件快速匹配方法
CN102135985B (zh) 调用第三方搜索引擎搜索结果的搜索方法和搜索系统
CN101188625B (zh) 一种实现资讯内容订阅的方法及系统
Cambazoglu et al. Scalability challenges in web search engines
CN103618787B (zh) 一种网页展现系统和方法
CN103312725B (zh) 一种基于节点重要程度的内容中心网络缓存判决方法
CN105550338A (zh) 一种基于HTML5应用缓存的移动Web缓存优化方法
CN102946320B (zh) 一种分布式用户行为日志预测网络监管方法及系统
CN103685476B (zh) 利用网页模板实现网页展现的方法和网页模板服务器
CN105721538A (zh) 数据访问的方法和装置
CN102279880A (zh) 一种实时更新缓存的方法和系统
CN104333573A (zh) 一种大并发量请求的处理方法及处理系统
CN108829704A (zh) 一种大数据分布式挖掘分析服务技术
KR102476620B1 (ko) 캐시 자동제어 시스템
CN102724290B (zh) 一种获取目标客户群的方法、设备及系统
CN102377826B (zh) 一种对等网络中冷门资源索引的优化放置方法
CN106570151A (zh) 一种海量文件的数据收集处理方法及系统
CN109635161B (zh) 一种海量数据环境下跨域异地协同设计方法
CN101387582A (zh) 一种基于pda的故障诊断系统及方法
Yue Design of information management system for structural monitoring based on network fragmentation
CN101924681A (zh) 一种网页即时通讯的数据分流方法及装置
CN1979447B (zh) 内存数据服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant