CN100458776C - 网络缓存管理的系统和方法 - Google Patents

网络缓存管理的系统和方法 Download PDF

Info

Publication number
CN100458776C
CN100458776C CNB2005100019691A CN200510001969A CN100458776C CN 100458776 C CN100458776 C CN 100458776C CN B2005100019691 A CNB2005100019691 A CN B2005100019691A CN 200510001969 A CN200510001969 A CN 200510001969A CN 100458776 C CN100458776 C CN 100458776C
Authority
CN
China
Prior art keywords
buffer memory
network
user
data object
network data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100019691A
Other languages
English (en)
Other versions
CN1804831A (zh
Inventor
陈翌
何余良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longsou (Beijing) Technology Co., Ltd.
Original Assignee
LONGSOU (BEIJING) TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LONGSOU (BEIJING) TECHNOLOGY Co Ltd filed Critical LONGSOU (BEIJING) TECHNOLOGY Co Ltd
Priority to CNB2005100019691A priority Critical patent/CN100458776C/zh
Publication of CN1804831A publication Critical patent/CN1804831A/zh
Application granted granted Critical
Publication of CN100458776C publication Critical patent/CN100458776C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明是关于互联网和移动网络搜索引擎系统中的数据搜索和缓存管理的系统和方法,采用分层缓存技术来采集和管理分布式网络数据对象,并将网络数据对象和索引数据提供给搜索引擎数据库及网络用户。该方法包括如下三个子方法:其一,通过访问保存在网络缓存内的对象缓存来实现对网络数据对象的访问。缓存对象与网络数据对象一一对应。缓存对象能访问得到其所对应的网络对象,且能被网络用户访问得到。其二,将从对象缓存中提取出来的索引数据自动保存在网络缓存中,索引数据与对象缓存所对应的网络对象一一对应。其三,将索引数据从缓存传输到搜索引擎数据库或提供给网络用户。

Description

网络缓存管理的系统和方法
技术领域
本发明是关于互联网和移动网络搜索引擎系统中的数据搜索和缓存管理的系统和方法。更具体而言,本发明是关于一个采用分层缓存技术来采集和管理分布式网络数据,并将这些网络数据内容和索引数据提供给搜索引擎数据库的方法和系统。
背景技术
众所周知,计算机系统已被广泛地用于数据库管理,相关技术包括解析、索引及搜索数据。然而,超大数据库还存在很多技术难点。而网络数据可视为一种独特的分布式的数据,用户通过有线或无线网络来访问这些网络资源。
由于网络数据分布在世界各地的不同计算机上,因此网络用户常期望能定位所需内容。然而,现在还不能在网络上搜索和浏览所有的网络资源。检索可理解为在互联网上查找含有特定信息的资料,而浏览则是在网络上无目的地“闲逛”。目前,还不太可能有效定位所有网络资源。另外,由于全球网站数量及互联网上的绝对信息量每天都在以指数级地增长,为了对网络资源进行有效分类,而产生了大量搜索引擎系统。借助这些搜索引擎系统,用户使用由适当的关键词构成的搜索命令搜索网络资源。
基于结构化的搜索引擎系统难以有效管理超大容量的、分布式的网络资源。统计结果表明,采用这种技术仅能访问互联网上的15-20%的信息,而其它大部分还未被任何搜索引擎系统所索引。因此,迫切需要能有一种能加速搜索、索引、和传输网络资源的技术。
发明内容
本发明的第一个目的是介绍一种从网络数据对象的对象缓存建索引的方法;
本发明的第二个目的是介绍一种将网络数据对象及其索引通过缓存传输给搜索引擎数据库的方法;
本发明的第三个目的是介绍一种通过浏览器缓存以及服务器缓存加速搜索网络数据对象的方法。
本发明的第四个目的是介绍一种分层技术来组织和管理各层次对象缓存来加速搜索、索引、传输网络数据的方法。
根据本发明的一个方面,提供一种网络搜索引擎的缓存管理方法,包括:a)使用独立于搜索引擎的缓存,将网络数据对象的对象缓存保存在所述缓存中,从所述对象缓存中提取索引数据,将所述索引数据传送到搜索引擎数据库;以及b)采用分层网络结构组织和管理分布式网络中的各个层次上的缓存并优化对各个缓存的访问。
根据本发明的另一方面,提供一种搜索引擎的网络缓存管理系统,包括a)对网络数据对象加索引并保存索引数据到搜索引擎数据库的系统,该系统包括:网络用户能够访问得到的、用于临时备份网络数据对象以形成对象缓存的缓存;自动从所述对象缓存中获取和保存索引数据的存储单元;以及将所述索引数据传输到搜索引擎数据库的传输单元;b)用户通过所述缓存来实现搜索访问网络对象的系统,该系统采用分层网络结构组织和管理分布式网络中的各个层次上的缓存并优化其访问。
本发明的一个实例是为响应用户对网络数据对象的请求,用户访问该网络数据对象是通过访问它所对应的对象缓存来实现。接着,从对象缓存中建立索引数据并自动保存。索引数据与网络数据对象一一对应。最后,将索引数据从缓存传输到搜索引擎数据库中。
本发明的另一个实例是,将加索引的数据合并到搜索引擎数据库中,及将新的加索引网络数据对象也加入到搜索引擎数据库以响应用户对该网络数据对象的访问请求。本发明的另一个实例是,保留网络数据对象的索引数据被搜索引擎检索的次数和时间。根据本发明的目的,在网络数据对象的采集和检索过程中用分层技术来管理搜索引擎中的对象缓存,周期性地扫描各对象,并在缓存中保存索引信息。在数据传输过程中,一个单独的数据流便可获取缓存内的全部网络数据对象及其索引数据,而不是为每个对象单独发出请求。
附图说明
参考图及图的详细描述可能更易于理解本发明及其使用。
图1描述本发明的应用实例的系统结构图;
图2描述本发明运行所需的分布式网络环境。
图3描述应用户请求而访问网络数据对象的过程;
图4描述对网络数据对象加索引,并将加索引后的网络数据对象提供给搜索引擎数据库的过程。
图5描述用分层技术来组织和管理各层次对象缓存的结构图。
具体实施方式
本发明的网络缓存管理的方法和系统的具体应用包括以下三个部分:其一,用户通过访问保存在缓存内的网络数据对象的对象缓存来实现对这些网络数据对象的访问,以响应用户对它们的请求。对象缓存既能访问这些网络数据对象,又能被用户访问得到。其二,在对象缓存中提取索引数据,并自动保存在缓存中,索引数据与网络数据对象确保一一对应。其三,将索引数据从缓存传输到搜索引擎数据库。
描述以上五个图来阐述本发明的具体实用办法。
图1描述了本发明的应用系统结构图。如图1所示,用于处理网络数据对象的中间系统webAgent 108A包括注册表105、存储管理系统104、查询管理103及数据采集107等四个部分组成。注册表105和存储管理系统104用于维护一个用于记录所有的webAgent108A所包含的网络数据对象表。对于每个网络数据对象,注册表105将记录它们所对应的唯一标识、时间戳及时间期限。每个网络数据文件包含它所对应的唯一标识和由WebSpider 109所产生的摘要。每个对象作为一个文件存储在文件系统中,由存储管理系统104统一管理。
根据配置文件向webSpider109和webAgent108B发出更新请求来周期性采集数据。webSpider 109提交一个自某一由webAgent 108A指定的时间以来,创建、删除、更新过的网络数据对象的列表。webSpider109分析这个列表,然后交由注册表105处理。若是一个新创建的网络数据对象,就加一个唯一标识到注册表105,相对应的是其摘要也以存储管理文件的形式添加到搜索引擎数据库中,并将一个指针传给索引程序。最后将注册表105写入硬盘里。若一个缓存对象被删除了,就删除其对应的唯一标识,同时由存储管理程序和索引程序删除对应的摘要对象。若一个对象被更新了,就重新计算其时间期限。如果一个对象根据其时间期限被判定过期,则被删除。若注册表105中的记录和储存的数据不一致,垃圾清理程序将它们从注册表105和数据存储系统104中一并清除。正是这些机制保证了数据的有效性。
查询管理系统103负责向网络发布信息。当它接收到一个查询请求,将其转换为内部的表示方式,传递给搜索引擎,搜索引擎回传搜索结果。结果的内容依据引擎的不同而有所不同,查询管理根据结果组织成一定的格式给用户。如果这个用户是其它的webAgent,则会将整个摘要返回给它。一个webAgent 108A或108B可由多个webSpider和多个webAgent组成,构成多层次网络结构。图1中的复制镜像111是一种广域内的弱统一文件复制系统,并用于备份webAgent108A。整个系统日常管理也可以通过查询管理系统103来完成的。例如,启动、关闭、重启索引服务,再如强制删除过期的对象、归档日志、强制更新等。
图2描述了本发明运行所需的网络环境。网络环境包括多个服务器202a-202g通过网络200而相互连接。而服务器202a-202g响应客户请求的一般方法是:例文件服务器存储数据对象,当用户发送请求获取某数据对象时,服务器将对象的备份发送给用户。服务器202a-202g中的每一个服务器在网络中类似于一个客户,如通过服务器202f连接到网络200上的个人计算机201给服务器202g发送命令请求某数据对象。服务器202g对作为客户的个人计算机201而言是服务器。由于服务器有所需数据对象,则发送指令给服务器,如服务器202a,来请求该服务器202g并搜索网络200。服务器202a则是服务器202g的服务器,而服务器202g是它的客户。服务器202g临时存储从服务器202a上获取的数据对象备份。另外,个人计算机201也将保存从服务器202g上获取到的数据对象的临时备份。
本发明的一个应用实例是服务器202g有一个应用程序,该应用程序能从缓存对象中的URL内容中提取索引数据。接着,提取出来的索引数据传输到数据存储系统,如搜索引擎数据存储系统203。数据存储系统203通过服务器202g连接到网络200。本发明的另外一个应用实例是包括浏览器或其它应用系统个人的计算机201,它也能从个人计算机上的对象缓存里的URL内容中提取索引数据;然后,提取出来的数据被传输到搜索引擎数据存储系统203或其他目的数据存储系统中。本发明的再一个应用实例类似服务器202a-202g连接到网络200的其它分布式系统,它有一个软件应用系统,也能从临时保存在服务器202a-202g的对象缓存里的URL内容中提取索引数据。
文献中介绍了很多索引的方法,不同的互联网搜索引擎和其它软件产品使用不同的数据索引方法。常用的索引方法有方向文件摘要(如B+树、哈希索引、署名文件)及从上下文提取简单关键词等方法。在本发明中,URL建立索引时是采用一种能被用于不同的搜索引擎系统的索引数据,并能快捷地转换成适用于不同搜索引擎系统的格式。由于一个索引文件的长度可能超过原文件的长度,因而可使用一种快捷的标准压缩技术来对索引进行压缩。搜索引擎一旦收到压缩文件后,对其进行解压和格式转换成搜索引擎所要求的格式。其中索引数据是一种通过局部压缩技术构造的数据结构。其中索引的值在不同规格的存贮设备中压缩方式会有差异。大规模集中存贮直接采用树的格式。少量的数据,比如本地临时缓存池可以采用哈希索引,分布式存贮转发时,采用局部压缩的树结构。这种索引结构与我们下面谈到的分层技术可以很好的结合在一起。
提供给搜索引擎数据存储系统203的索引数据不仅包括用户访问过对象的索引数据,还包括URL的访问频率和时间戳。因此,被数据存储系统203接收到的索引数据也可用于统计分析,即统计分析在数据存储系统203上的某URL的被访问次数,可确定该URL的访问情况。
图3描述了为响应用户请求而访问URL过程。如图3所示,该过程从模块301开始,然后执行到模块302。模块302描述了关于用户是否请求一个URL地址。如果URL地址未被请求,则循环执行模块302;否则,转到模块303。模块303描述了采用现有通用的方法从网络上搜索包含被请求的URL地址的服务器。模块304描述URL地址是否被检测到的决策过程。若URL地址未检测到,则转到模块308,返回出错信息并中止进程;否则转到模块305,从服务器提取URL地址所对应的URL数据。模块306则对提取后的URL数据进行临时备份,在模块307中访问提取数据的临时备份,进程结束。
图4描述一个获取加索引的URL内容并将其提供给搜索引擎数据库的过程。如图所述,该过程从模块401开始,然后到模块402,模块402判别是否有高优先级别,诸如访问新文件、传输临时文件等高优先的命令。若有高优先级请求,在模块404中执行高优先级请求;否则,则转到模块403,判断是否还有临时备份对象未被索引。若没有,进程转到模块402,否则,转到模块405,从URL的临时备份中提取索引数据。接着,在模块406中以可传输格式压缩提取出来的索引数据。在模块407中将压缩后的索引数据传输到搜索引擎的数据库系统,索引数据合并到搜索引擎数据库中或用于统计分析。
图5所提供一个采用分层技术来组织各层次的对象缓存的结构图。如图所示,在本发明的所提供的对象缓存管理系统中,各对象缓存管理子系统之间除了父子关系外,还有同属关系,以分担缓存服务器的负荷。在这分层结构中的每个对象缓存独立决定是否是从对象的主站点还是从该缓存的父缓存或邻缓存中提取索引,解决的基本方法如下:若对象的URL中包含有子连接,则直接从对象的主站点提取该对象,而不是从分层缓存结构中提取。这一特性使得缓存能直接从对象的主站点来区分cgi-bin等不可缓存URL和本地URL。相似的,若该URL的域名与可配置的子连接串相匹配,则该对象将由与该域名绑定的父缓存来解决;否则,当一个缓存收到一个对未点击的URL请求时,将执行一个远程呼叫进程,请求所有的邻节点及父缓存检测该URL是否已被它们接受,而该缓存将在最低反应时间内收到该对象。
一个缓存解决″未点击过″的对象的方法是通过发送一个″查询″数据包到它的所有邻节点、父缓存和请求对象主节点。每个邻节点和父接口返回一个″已点击过″或″未点击过″的响应信息,响应信息由对象在缓存中的状态决定。如果对象的主节点运行用户数据包协议的反射守候进程,对象就返回一个″已点击过″信息。缓存将从最快返回″已点击过″信息的节点中获得对象,不论其来自于对象的原节点还是其他的缓存。如果所有的缓存没有响应且原节点比所有的父缓存慢,缓存从最快的父缓存中获得对象;否则,若对象原节点的响应时间接近于最快的缓存,缓存从对象的原节点获得对象。只有在父缓存已失败而其子缓存还未检测到,该缓存才增加较大的延时。在这种情况下,父子缓存超时,该对象的参照延时2秒。随着层次加深,根缓存需负责更多的子缓存,为避免根缓存超载,本发明在实现中,缓存只分级到带宽足够大的局域网或主干网。
另外对Gopher、HTTP、FTP对象,本发明的提供一个维护最近用过的域名服务器名称加地址映射缓存来优化公用缓存行为。本发明采用基于多用途的网际邮件扩充协议的头来标定对象,确保其实时。缓存以单个事件驱动的方式运行,以非块的形式读写到磁盘和缓存客户端。当一个对象的前几个字节刚到缓存,缓存客户端之间就开始读写。对每个实例,缓存派生一个新的独立进程来获得ftp文件,但自己获得HTTP和Gopher对象。缓存独立管理磁盘上的和被装载在虚拟地址空间的对象,也为虚拟内存中的对象维护其所对应的元数据,以减少对元数据的潜在访问。
本发明提供的缓存管理系统支持三种访问协议:封装、无连接及代理http协议。封装协议封装缓存到缓存数据包,并允许用求和检验端点或数字签名等方法进行端点到端点的错误检测。该协议也使父缓存将对象的最新实况传输给子缓存。缓存用基于用户数据报协议的无连接协议来执行父子决策。为快捷起见,该协议也允许缓存在没有建立TCP连接时交换小对象。封装协议和无连接协议都支持端点到端点的可靠性,而代理http协议则大多浏览器所支持的协议。在系统中,客户通过FTP,Gopher,或HTTP等标准通信协议从缓存进程中访问对象,用户用代理也可访问防火墙后的www。
由于缺少标准方法来设定对象本身的时效,本发明并不对所有对象进行缓存,如受密码保护的对象不能进行缓存。然而缓存相当于一个应用网关,对象一旦被发送出去就被清除。缓存相似地清除没有被缓存的URL。限制最大可缓存对象的长度目的是为了缓存能保存更多的数据对象。
由于URL并没有给对象进行独特性命名,因此,本发明采用URL加多用途的网际邮件扩充协议的头来唯一识别一个对象。例如,若客户的浏览器不能看到脚本,www服务器可返回一个脚本对象的文本文件。为了减少重复错误,本发明采用两种方法对缓存进行保底:首先,当DNS查表错误发生时,保存5分钟的缓存结果;第二,当提取对象中发生错误时,保存可设置的、一定时间内的缓存结果,缺省为5分钟。
www浏览器支持不同的认证机制,用多用途的网际邮件扩充协议的头中的编码在浏览器和服务器之间相互认证。基本的认证机制包括交换密码。为防止偷听,用公用钥匙进行认证,服务器将其公钥声明在纯文本中。但因隐私而加密被交换的其余部分,该方法易于欺骗IP。对于那些需保密和认证的缓存,本发明采用PGP机制,在外面交换公钥。
正如上述的http安全机制,本发明所提供的浏览器和服务器之间传输协议如下:当服务器传输一个未授权信息给缓存时,缓存将其传输回客户并从缓存中清除该URL。用既定的安全模式的客户浏览器请求用户和密码命令,并重新发布“获取URL”,用加密于多用途的网际邮件扩充协议头来认证。该缓存检测用于认证的多用途的网际邮件扩充协议头、不可缓存对象,并将提取出来的文件返回给用户,但同时清除该对象的所有记录。注意在纯文本认证模式下,包括在缓存内的纯文本,任何人都能监听认证数据。因此,缓存没有弱化已较弱的安全模式。在基于公钥或PGP模式下,缓存或其它窃听者不能解析认证数据。
由于命令来自缓存IP地址而不是用户的IP地址,因此代理缓存也能通过基于IP地址的认证。然而,由于IP地址易被监听,本发明中充分利用端口优势。代理缓存没有防止服务器给服务器上的文件加密或数字签字。最后,若网络数据对象没被数字签名,则一个粗心的系统管理员可能在其代理缓存内插入无效数据。但是代理缓存没有严重减弱web保密性。
本发明的缓存管理系统还提供有效的线程管理。考虑到跨平台的便利性,缓存对直接基于BSD选择循环上的非阻滞磁盘和网络I/O进行摘要提取。除不能ftp URL外,缓存避免fork进程。由于协议的太复杂,很难适合那些循环选择状态下的机器,因此本发明通过外部进程来提取ftp的URL,缓存执行其本身的DNS缓存,即当该DNS缓存丢失时非阻滞DNS查表。当参照字符被输入到缓存,这些字符将被非阻滞I/O端口同步转寄到所有地址,这些地址索引同一对象,并写入到磁盘。停止缓存运转的唯一方法是:若缓存使用一个虚拟内存对象作为缺省值,缓存通过管理它的虚拟影像来避免缺省对象。缓存内部采用非优先执行权,内部完成步骤安排,因此无需锁定文件或数据结构。然而在缓存的客户看来,缓存是多线程的。
本发明的缓存管理系统还提供内存管理。在虚拟内存中,缓存保存URL、TTL、参考数目、参考磁盘文件及不同标示等缓存对象的裸数据。对每个对象需要48字节加URL的字符长度。缓存也在虚拟中保存经常被访问的对象。然而,当分配给常被访问的对象的虚拟内存的数目超出预设置值时,缓存清除常被访问对象,直到虚拟内存的使用率降低到一定水平,注意到这些对象保存在磁盘上,而收回分配给它们的虚拟内存影像。当用httpd加速器加载到缓存时,被访问对象的虚拟内存的缓存将显得格外有用。
尽管还有另外备份,对象该为通过未阻滞I/O端口将对象写入缓存。
用URL做索引关键词的哈希表将用缓存对象做参照。可缓存对象保持在缓存内直到它们被分配的TTL的缓存过期,并清除出缓存或用浏览器的“重调”来用户手工清除。若一个索引访问一个过时的对象,缓存用HTTP的“修改则获取”规则来刷新对象的TTL。缓存保存这URL和每个对象数据结构到虚拟内存,但将对象本身保存到磁盘。
当磁盘空间超过极限,缓存进入它的垃圾收集模式。在该模式下,缓存抛弃最早保存在对象哈希表里的对象。当磁盘使用率在最低极限以下,缓存跳出垃圾收集模式。若磁盘使用达到最大配置时,它立即从哈希表的下一行抛弃最早对象。缓存管理多个磁盘和并保持它们之间的负荷平衡。在每个磁盘上创建100个目录,在不同磁盘和目录之间进行轮流创建对象。因此,一个管理四个磁盘和千万个对象缓存的每一个目录平均保存2500文件。由于目录项平均大约24字节,平均目录将增加到154k字节的磁盘块。
如上述,本发明提供了一个将加索引后的URL内容提供给一个搜索引擎数据的方法和系统。与众不同的是,URL索引内容是从URL的临时备份中提取。然而,当本发明描述成从互联网等网络中提取对象时,该发明也可应用到可通过互联网能获取的其它数据。另外,本发明并不局限于以太网,还可用于其它网络。例如,本发明可应用于局域网内提取数据文件的索引数据以响应这些网络内的用户访问网络资源。从被访问文件的对象缓存中提取文件的索引数据,传输、合并到该网络中的搜索引擎数据库中。也可理解为从具有分布式结构的网络用户上的对象缓存中提取索引数据,并将索引数据传输和合并到可检索数据库中。值得注意的是,虽然该发明是基于功能齐全的计算机系统,该发明中的一些技术也可应用已有发明来改进它们的性能,该发明也不局限于数据的载体。

Claims (8)

1.一种网络搜索引擎的缓存管理方法,其特征在于包括:
a)使用独立于搜索引擎的缓存,将网络数据对象的对象缓存保存在所述缓存中,从所述对象缓存中提取索引数据,将所述索引数据传送到搜索引擎数据库;以及
b)采用分层网络结构组织和管理分布式网络中的各个层次上的缓存并优化对各个缓存的访问。
2.根据权利要求1所述的方法,
其中步骤a)包括:
通过访问保存在缓存内的对象缓存来实现用户对网络数据对象的访问请求,这些对象缓存既能访问得到所对应的网络数据对象,又能被用户访问得到;将从对象缓存中提取出来的所述索引数据自动保存到所述缓存内,所述索引数据与网络数据对象一一对应;最后,将索引数据从缓存内转移到搜索引擎数据库;
其中步骤b)包括:
从分层网络结构中的父缓存、子缓存、兄弟缓存收集已索引数据,并将索引数据合并到搜索引擎数据库中,以响应用户对网络数据对象的访问;以及采用对象缓存的方式,从分布式结构中的远程数据库系统中收集已索引数据,并将索引数据合并或备份到搜索引擎数据库中,以响应用户对网络数据对象的访问。
3.根据权利要求1所述的方法,其中步骤a)还进一步包括:
使用服务器搜索网络;在所述缓存中临时备份服务器所搜索到的网络数据对象,形成对象缓存,用户访问这些对象缓存来实现访问它们所对应的网络数据对象;
用户通过浏览器来访问网络数据对象;在所述缓存中临时备份用户所请求的网络数据对象,形成对象缓存;用户通过该浏览器访问这些对象缓存来实现用户对所要求的网络数据对象的访问。
4.根据权利要求1所述的方法,其中步骤a)还进一步包括:
决定所述对象缓存是否具有优先级执行权;
以一种可传输格式来压缩所提取出来的索引数据;以及
计算并保留网络数据对象的索引数据被提交给搜索引擎数据库的时间戳以及被检索的次数。
5.根据权利要求1所述的方法,其中步骤b)包括:
各网络缓存之间除了父子关系外还有同属关系来共同分担缓存的负荷;每个对象缓存将独立决定是否是从对象的主站点或该缓存的父缓存或邻缓存中提取索引;
采用域名服务器名称加地址的映射缓存来优化公用缓存,并采用基于多用途的网际邮件扩充协议的头来标定对象的实时性;
缓存管理支持封装协议、无连接协议、代理http协议三种访问协议;
用URL加基于多用途的网际邮件扩充协议的头来唯一识别一个缓存对象;
用PGP认证对象缓存;
对非阻滞磁盘和网络I/O进行摘要提取,以便跨平台和有效地管理线程、内存和磁盘。
6.一种搜索引擎的网络缓存管理系统,其特征在于包括:
a)对网络数据对象加索引并保存索引数据到搜索引擎数据库的系统,该系统包括:
网络用户能够访问得到的、用于临时备份网络数据对象以形成对象缓存的缓存;
自动从所述对象缓存中获取和保存索引数据的存储单元;以及
将所述索引数据传输到搜索引擎数据库的传输单元;
b)用户通过所述缓存来实现搜索访问网络对象的系统,该系统采用分层网络结构组织和管理分布式网络中的各个层次上的缓存并优化其访问。
7.根据权利要求6所述的系统,
其中在a)系统中:
保存在所述缓存内的对象缓存既能访问得到所对应的网络数据对象,又能被网络用户访问得到;所述索引数据与网络数据对象一一对应;还包括计算搜索引擎数据库对网络数据对象的访问次数的计算单元;
其中b)系统包括:
从分布式的网络缓存处收集索引数据的收集单元;
将收集到的索引数据合并到搜索引擎数据库中的合并单元。
8.根据权利要求6所述的系统,其中所述缓存包括:
用于网络搜索的服务器缓存,所述服务器缓存临时备份网络数据对象,并在其内形成对象缓存,用户访问这些对象缓存来实现访问它们所对应的网络数据对象;
用户用于访问网络数据对象的浏览器缓存,所述浏览器缓存临时备份用户所请求的网络数据对象,并在其内形成对象缓存,用户通过访问这些对象缓存来实现用户对所要求的网络数据对象的访问;
其中a)系统还包括:
用于决定判断缓存是否具有优先执行级别的决策器,若该缓存没有优先执行级别,则从保存在所述缓存上的对象缓存中提取网络数据对象及其索引数据。
CNB2005100019691A 2005-01-13 2005-01-13 网络缓存管理的系统和方法 Expired - Fee Related CN100458776C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005100019691A CN100458776C (zh) 2005-01-13 2005-01-13 网络缓存管理的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005100019691A CN100458776C (zh) 2005-01-13 2005-01-13 网络缓存管理的系统和方法

Publications (2)

Publication Number Publication Date
CN1804831A CN1804831A (zh) 2006-07-19
CN100458776C true CN100458776C (zh) 2009-02-04

Family

ID=36866855

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100019691A Expired - Fee Related CN100458776C (zh) 2005-01-13 2005-01-13 网络缓存管理的系统和方法

Country Status (1)

Country Link
CN (1) CN100458776C (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604334B (zh) * 2008-11-18 2012-03-28 北京美智医疗科技有限公司 一种基于缓存技术的医疗影像数据库检索方法及检索系统
CN101854388B (zh) * 2010-05-17 2014-06-04 浪潮(北京)电子信息产业有限公司 一种集群存储中并行访问大量小文件的方法及系统
US9183267B2 (en) * 2010-05-24 2015-11-10 Microsoft Technology Licensing, Llc Linked databases
CN104346345B (zh) * 2013-07-24 2019-03-26 上海中兴软件有限责任公司 数据的存储方法及装置
CN104331470B (zh) * 2014-10-31 2017-12-05 深圳市东信时代信息技术有限公司 基于缓存机制的数据处理方法及系统
CN106294206B (zh) * 2015-05-21 2022-04-29 广州华多网络科技有限公司 一种缓存数据处理方法以及装置
KR101736406B1 (ko) * 2016-05-30 2017-05-29 주식회사 인피니플럭스 데이터 복제 방법 및 그 장치
CN106527985A (zh) * 2016-11-02 2017-03-22 郑州云海信息技术有限公司 一种基于ceph的存储交互装置及存储系统
CN107769963B (zh) * 2017-09-29 2019-01-25 贵州白山云科技股份有限公司 一种内容分发网络故障定位方法和装置
WO2019243859A1 (en) * 2018-06-22 2019-12-26 Salesforce.Com, Inc. Centralized storage for search servers
CN109344353B (zh) * 2018-09-12 2021-10-08 福建天泉教育科技有限公司 一种可配置化的本地缓存刷新方法及终端
CN110888844B (zh) * 2019-11-22 2023-03-21 浪潮电子信息产业股份有限公司 一种数据删除方法、系统、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1194413A (zh) * 1997-03-26 1998-09-30 国际商业机器公司 在服务器上预先高速缓存数据的方法和设备
CN1259704A (zh) * 1998-11-20 2000-07-12 国际商业机器公司 可扩缩的超高速缓存
US6336117B1 (en) * 1999-04-30 2002-01-01 International Business Machines Corporation Content-indexing search system and method providing search results consistent with content filtering and blocking policies implemented in a blocking engine
US6651142B1 (en) * 2000-05-05 2003-11-18 Sagent Technology Method and apparatus for processing data using multi-tier caching
CN1459064A (zh) * 2000-09-14 2003-11-26 快速检索及传递公司 用于在数据网络中搜索和分析信息的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1194413A (zh) * 1997-03-26 1998-09-30 国际商业机器公司 在服务器上预先高速缓存数据的方法和设备
CN1259704A (zh) * 1998-11-20 2000-07-12 国际商业机器公司 可扩缩的超高速缓存
US6336117B1 (en) * 1999-04-30 2002-01-01 International Business Machines Corporation Content-indexing search system and method providing search results consistent with content filtering and blocking policies implemented in a blocking engine
US6651142B1 (en) * 2000-05-05 2003-11-18 Sagent Technology Method and apparatus for processing data using multi-tier caching
CN1459064A (zh) * 2000-09-14 2003-11-26 快速检索及传递公司 用于在数据网络中搜索和分析信息的方法

Also Published As

Publication number Publication date
CN1804831A (zh) 2006-07-19

Similar Documents

Publication Publication Date Title
CN100458776C (zh) 网络缓存管理的系统和方法
CN103248726B (zh) 一种多根对等的物联网标识解析方法
JP3990115B2 (ja) サーバ側プロキシ装置及びプログラム
CN102117309B (zh) 一种数据缓存系统和数据查询方法
US6647421B1 (en) Method and apparatus for dispatching document requests in a proxy
US7343412B1 (en) Method for maintaining and managing dynamic web pages stored in a system cache and referenced objects cached in other data stores
CN1773510B (zh) 控制器以及存储器管理系统
JP4671332B2 (ja) ユーザ識別情報を変換するファイルサーバ
CN101442558B (zh) 一种为p2sp网络提供索引服务的方法和系统
JP3725376B2 (ja) Dns問い合わせ装置、dns問い合わせ方法、および記録媒体
CN103873501B (zh) 一种云备份系统及其数据备份方法
CN101355587B (zh) Url信息获取方法和装置及搜索引擎实现方法及系统
JP2004500660A (ja) ネットワーク記憶システム
US7483949B2 (en) E-mail caching system and method
CN102946320B (zh) 一种分布式用户行为日志预测网络监管方法及系统
JP3848209B2 (ja) データ転送装置、データ転送方法及びプログラム
US6847968B2 (en) Method for facilitating access to remote files
KR100912127B1 (ko) 메타데이터 관리 시스템 및 메타데이터 관리 방법
CN105827619B (zh) 高访问情况下的爬虫封禁方法
CN112511513A (zh) 基于Tor网络业务的威胁情报接入工具箱
JPH05241934A (ja) 計算機システム
JP4031516B2 (ja) サーバ側プロキシ装置、クライアント側プロキシ装置、データ転送方法及びプログラム
CN114172752B (zh) 一种物联网节点的群组式互联方法
JP3983987B2 (ja) サーバ側プロキシ装置、データ転送方法及びプログラム
KR20010107803A (ko) 피투피 기반의 통합 정보제공방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: LONGSUO ( BEIJING ) TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: CHEN YI; APPLICANT

Effective date: 20070216

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070216

Address after: 100083, room 4, floor 401, Tsinghua Business Plaza, 2 Jing Shu Yuan, Beijing, Haidian District

Applicant after: Longsou (Beijing) Technology Co., Ltd.

Address before: 100028 Beijing city Chaoyang District Taiyanggong Taiyangxingcheng area F 5-3031

Applicant before: Chen Yi

Co-applicant before: He Yuliang

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090204

Termination date: 20160113