CN101510144B - 基于分布式虚拟机管理器的分布式cache系统及其工作方法 - Google Patents
基于分布式虚拟机管理器的分布式cache系统及其工作方法 Download PDFInfo
- Publication number
- CN101510144B CN101510144B CN2009100801865A CN200910080186A CN101510144B CN 101510144 B CN101510144 B CN 101510144B CN 2009100801865 A CN2009100801865 A CN 2009100801865A CN 200910080186 A CN200910080186 A CN 200910080186A CN 101510144 B CN101510144 B CN 101510144B
- Authority
- CN
- China
- Prior art keywords
- memory block
- virtual machine
- distributed
- cache
- cache request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 29
- 230000001143 conditioned effect Effects 0.000 claims description 4
- 241000700605 Viruses Species 0.000 abstract description 4
- 230000006854 communication Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 235000014594 pastries Nutrition 0.000 description 1
Images
Abstract
本发明涉及基于分布式虚拟机管理器的分布式cache系统及其工作方法。该系统包括：用于依据cache请求进行查询的虚拟机，分布式虚拟机管理器，本地的内存块，以及远程机器上的内存块；所述虚拟机，用于根据cache请求中的信息查询相应的内存块；如果该内存块是本地的内存块，所述虚拟机直接取出内存块的内容并返回给该cache请求；分布式虚拟机管理器，用于在所述相应的内存块是远程机器上的内存块时，将该远程机器上的内存块调回本地，并将该内存块的内容返回给该cache请求。本发明和以前DHT应用相比，应用层不用再维护复杂的网络协议，不用耗费大量的通信开销，不用再去考虑不同网络间的病毒传播问题，因而应用层会更加安全和可靠。
Description
技术领域
本发明涉及分布式虚拟机管理器，尤其涉及基于分布式虚拟机管理器的分布式cache(高速缓冲存储器)系统及其工作方法。
背景技术
随着网络技术的发展，单个机器上的内存已经越来越不能够满足请求的内存需求，特别是对cache而言，内存空间严重不足。在这种情况下，基于分布式哈希表(DHT)的cache策略成为了cache的主流，这样，更多的用户都可以访问存储于地理分布的站点上的大量信息。
DHT是从对等网络(Peer-to-Peer，简称P2P)的研究中引入的。P2P技术把网络中不同的计算机连接在一起，并可以充分利用互联网和Web站点中任何地方的资源。P2P系统具有自治性、分布性和动态性，具有自组织、容错性好、可扩展性强等优点，但其存在的问题是：如何在没有集中管理机制的情况下实现系统的自组织和自管理？
在结构化P2P系统解决了这个问题，每个节点只存储特定的信息或特定信息的索引。当用户需要在P2P系统中获取信息时，他们必须知道这些信息(或索引)可能存在于哪些节点中。由于用户预先知道应该搜索哪些节点，避免了非结构化P2P系统中使用的泛洪式查找，因此提高了信息搜索的效率。
但是，结构化P2P也引入了新的问题：
1、既然信息是分布存储的，那么如何将信息分布存储在重叠网中的节点上？
2、由于节点动态的加入和离开重叠网，如何将拓扑的变更信息通知其它节点？
分布式哈希表(DHT)的引入基本解决了上述问题，因此自从DHT协议出现以后，结构化P2P的应用得到了快速的发展。目前已经有很多较为成熟的DHT协议被提出并且得到了应用。
DHT使用分布式哈希算法来解决结构化的分布式存储问题。其主要思想是：首先，每条文件索引被表示成一个(K，V)对，K称为关键字，可以是文件名(或文件的其他描述信息)的哈希值，V是实际存储文件的节点的IP地址(或节点的其他描述信息)。所有的文件索引条目(即所有的(K，V)对)组成一张大的文件索引哈希表，只要输入目标文件的K值，就可以从这张表中查出所有存储该文件的节点地址。然后，再将上面的大文件哈希表分割成很多局部小块，按照特定的规则把这些小块的局部哈希表分布到系统中的所有参与节点上，使得每个节点负责维护其中的一块。这样，节点查询文件时，只要把查询报文路由到相应的节点即可(该节点维护的哈希表分块中含有要查找的(K，V)对)。这里面有个很重要的问题，就是节点要按照一定的规则来分割整体的哈希表，进而也就决定了节点要维护特定的邻居节点，以便路由能顺利进行。这个规则因具体系统的不同而不同，CAN，Chord，Pastry和Tapestry都有自己的规则，也就呈现出不同的特性，有查找可确定性、简单性和分布性等优点，正成为国际上结构化P2P网络研究和应用的热点。
DHT的应用非常简洁——API简单到只有一项输入和一项输出：应用层将数据对象(文件、数据块或索引)通过哈希算法获得键值，将该键值提交给DHT后，返回结果就是键值所在节点的IP地址。
DHT的特征使得它被广泛地运用到了cache系统中，即将cache文件的标识(如文件路径等)通过哈希算法映射到对应的IP地址中，即构建从文件标识到IP地址的cache索引。
当新的cache文件查询请求进入系统时，其文件查找步骤如下：
A、通过哈希算法获得键值；
B、将该键值提交给DHT，从中得到键值所在节点的IP地址。如果文件在本地，则直接从本地读取文件；如果文件不在本地，则转入步骤C；
C、根据获得的IP地址，请求所在机器与文件所在机器通信，取回请求所需的文件至本地；
D、将文件返回给请求。
这样，采用DHT的cache系统在节点失效、遭受攻击和突发性高负载面前都能表现出很好的健壮性；它具有良好的可扩展性，能以较低系统开销获得较大的系统规模。但是，其中也存在一些问题：
1、应用层需要到别的节点上去获取文件信息，这就需要按照分布式哈希表来与别的节点进行通信(很可能不止一跳)，这就需要应用层维护复杂的网络协议，并带来大量的网络开销；
2、不同的节点可能分布在不同的网络中，因此在信息传输过程中容易加速病毒的传播。
发明内容
为了解决上述的技术问题，提供了基于分布式虚拟机管理器的分布式cache系统及其工作方法，其目的在于，解决现有基于DHT的分布式cache系统中应用层需维护复杂网络协议，以及通信过程中的病毒传播问题。
本发明提供了一种基于分布式虚拟机管理器的分布式cache系统，包括用于依据cache请求进行查询的虚拟机，分布式虚拟机管理器，本地的内存块，以及远程机器上的内存块；
所述虚拟机，用于根据cache请求中的信息查询相应的内存块；如果该内存块是本地的内存块，所述虚拟机直接取出内存块的内容并返回给该cache请求；
分布式虚拟机管理器，用于在所述相应的内存块是远程机器上的内存块时，将该远程机器上的内存块调回本地，并将该内存块的内容返回给该cache请求。
所述虚拟机保存一个全局的cache请求索引，根据cache请求索引与虚拟地址空间之间的映射关系以及cache请求中的信息查询相应的虚拟地址空间，并根据虚拟地址空间与内存块之间的映射关系以及查询到的虚拟地址空间查询相应的内存块。
所述cache请求中的信息为URL。
cache请求中的信息与虚拟地址之间的映射关系保存在虚拟机上的元数据表中；虚拟地址空间与内存块之间的映射关系保存在分布式虚拟机管理器上的元数据表中。
分布式虚拟机管理器，还用于在将远程机器上的内存块调回本地时，将符合预设条件的本地的内存块替换到远程主机，并改变虚拟地址空间与内存块之间的映射关系。
本发明提供了一种基于分布式虚拟机管理器的分布式cache系统的工作方法，包括：
步骤1，虚拟机根据cache请求中的信息查询相应的内存块；
步骤2，如果该内存块是本地的内存块，所述虚拟机直接取出内存块的内容并返回给该cache请求；如果该内存块是远程机器上的内存块，分布式虚拟机管理器将该远程机器上的内存块调回本地，并将该远程机器上的内存块的内容返回给该cache请求。
步骤1包括：
步骤101，所述虚拟机保存一个全局的cache请求索引；
步骤102，根据cache请求索引与虚拟地址空间之间的映射关系以及cache请求中的信息查询相应的虚拟地址空间；
步骤103，根据虚拟地址空间与内存块之间的映射关系以及查询到的虚拟地址空间查询相应的内存块。
所述cache请求中的信息为URL。
步骤102中，cache请求中的信息与虚拟地址之间的映射关系保存在虚拟机上的元数据表中；虚拟地址空间与内存块之间的映射关系保存在分布式虚拟机管理器上的元数据表中。
步骤2中，在将远程机器上的内存块调回本地时，分布式虚拟机管理器将符合预设条件的本地的内存块替换到远程主机，并改变虚拟地址空间与内存块之间的映射关系。
本发明提供的基于分布式虚拟机管理器的分布式cache系统及方法，由于远程内存块的取回和调出完全由DVMM控制，且与应用层的数据通路不同，这个过程对应用层来说是完全透明的；无论所请求的内存块在本地还是远程，在应用层看来都是在本地进行的；因此应用层不用再维护复杂的网络协议，不用耗费大量的通信开销，不用再去考虑不同网络间的病毒传播问题，因而应用层会更加安全和可靠。进一步地，本发明还采用元数据表，由DVMM构造了一个统一的全局地址空间，负责对全局的内存资源进行流动，用于cache的存储、查找和替换，从而进一步简化应用层的维护工作。
附图说明
图1是基于分布式虚拟机管理器的分布式cache系统结构图；
图2是基于分布式虚拟机管理器的分布式cache系统的工作方法。
具体实施方式
下面结合附图，对本发明做进一步的详细描述。
DVMM(分布式虚拟机管理器：Distributed Virtual Machine Manager)是新型网络服务器的基础，提供分布资源如CPU、内存、磁盘、网卡等部件的虚拟化，建立统一的资源空间，创建和管理虚拟机，为服务器提供虚拟的服务节点——DVM(分布式虚拟机：Distributed Virtual Machine)。从而实现计算资源在部件级的虚拟化，进而实现资源和能力在虚拟机间的流动、在服务器内的流动。对于基于DVMM的cache系统而言，DVMM位于操作系统之下，硬件之上，提供统一的全局地址空间，负责对全局的内存资源进行流动，用于cache的存储、查找和替换。
在一个系统中，有一个虚拟机专门负责cache的查询。尽管内存还分布在系统中其它机器上，但是对该虚拟机的应用层而言，它看到的是本地的一个连续的大的内存块，这个内存块中包括了所有机器上内存的内容。
这个虚拟机上有一个元数据表(metadata)，元数据表中存在一个映射：是一个全局cache索引，将请求的信息(如URL，即统一资源定位符)映射到一个虚拟地址空间。DVMM中也存在一个元数据表，元数据表中也存在一个映射：是从虚拟地址空间到本地或者远程内存块的映射。
若该内存块在本地，则直接取出内存块的内容并返回给请求；若该内存块在远程，则由DVMM负责将所请求的远程内存块调回本地，并将本地使用频率低的内存块替换到远程，改变虚拟地址空间与内存块的映射，并将所请求的内存块内容返回给请求。需要强调的是，DVMM替换本地和远程内存块的数据通路，和应用层的数据通路是不同的。
对应用层而言，由于获得远程内存块的过程完全由DVMM完成，且数据通路不同，因此，这个过程对应用层来说是完全透明的。无论所请求的内存块在本地还是远程，在应用层看来都是在本地进行的。
图1为基于分布式虚拟机管理器的分布式cache系统结构图。
如图1所示，图中有一个专门负责cache查询的虚拟机，该机器上有两个映射：一是一个全局cache索引，将请求的信息(如文件路径)映射到一个虚拟地址空间，二是从虚拟地址空间到本地或者远程内存块的映射。
DVMM位于OS之下，硬件之上。其作用是：当应用层读取Cache时，若对应的内存块在远程，则DVMM负责将远程文件调度到本地，将本地的使用频率较低的内存块替换到远程，随后重新建立从虚拟地址空间到内存块的映射。对于应用层来说，这个过程是完全透明的，不管是本地还是远程，就像是只有一级Cache，且都在本地一样。
图中其它的远程机器上不能进行cache查询，它们只提供内存资源。
当负责cache查询的机器收到一个cache请求时，如图2所示，其具体实施方式如下：
步骤11，根据请求信息(如文件路径)查询cache索引，映射到虚拟地址空间；
步骤12，查找虚拟地址空间到内存块的映射，找到对应的内存块；
步骤13，判断所查找的内存块是否在本地，如果是则执行步骤14，否则执行步骤15；
步骤14，将所请求的内容返回给请求；
步骤15，DVMM到远程取回内存块到本地，同时选出本地使用频率不高的内存块，将其替换到取出内存块的远程机器；
步骤16，改变以上内存块对应的从虚拟地址空间到内存块的映射；
步骤17，将请求所查找的内容返回给请求。
其中，DVMM取回和替换出文件的数据通路，与应用层的数据通路不同。这样，对于应用层的cache查找请求而言，不论所查找的文件是在本地还是在远程，都像是在文件在本地一样，可以直接获得文件。也就是说，DVMM从远程取回文件的过程，对于应用层来说是完全透明的。
本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。
Claims (6)
1.一种基于分布式虚拟机管理器的分布式cache系统，其特征在于，包括用于依据cache请求进行查询的虚拟机，分布式虚拟机管理器，本地的内存块，以及远程机器上的内存块；
所述虚拟机，用于根据cache请求中的信息查询相应的内存块；如果该内存块是本地的内存块，所述虚拟机直接取出内存块的内容并返回给该cache请求；
分布式虚拟机管理器，用于在所述相应的内存块是远程机器上的内存块时，将该远程机器上的内存块调回本地，并将该内存块的内容返回给该cache请求；
所述虚拟机保存一个全局的cache请求索引，根据cache请求索引与虚拟地址空间之间的映射关系以及cache请求中的信息查询相应的虚拟地址空间，并根据虚拟地址空间与内存块之间的映射关系以及查询到的虚拟地址空间查询相应的内存块；
分布式虚拟机管理器，还用于在将远程机器上的内存块调回本地时，将符合预设条件的本地的内存块替换到远程主机，并改变虚拟地址空间与内存块之间的映射关系；
所述分布式虚拟机管理器调回和替换出内存块的数据通路同应用层的数据通路不同。
2.如权利要求1所述的基于分布式虚拟机管理器的分布式cache系统，其特征在于，所述cache请求中的信息为URL。
3.如权利要求1所述的基于分布式虚拟机管理器的分布式cache系统，其特征在于，cache请求索引与虚拟地址之间的映射关系保存在虚拟机上的元数据表中；虚拟地址空间与内存块之间的映射关系保存在分布式虚拟机管理器上的元数据表中。
4.一种基于分布式虚拟机管理器的分布式cache系统的工作方法，其特征在于，包括：
步骤1，虚拟机根据cache请求中的信息查询相应的内存块；
步骤2，如果该内存块是本地的内存块，所述虚拟机直接取出内存块的内容并返回给该cache请求；如果该内存块是远程机器上的内存块，分布式虚拟机管理器将该远程机器上的内存块调回本地，并将该远程机器上的内存块的内容返回给该cache请求；
步骤1包括：
步骤101，所述虚拟机保存一个全局的cache请求索引；
步骤102，根据cache请求索引与虚拟地址空间之间的映射关系以及cache请求中的信息查询相应的虚拟地址空间；
步骤103，根据虚拟地址空间与内存块之间的映射关系以及查询到的虚拟地址空间查询相应的内存块；
步骤2中，在将远程机器上的内存块调回本地时，分布式虚拟机管理器将符合预设条件的本地的内存块替换到远程主机，并改变虚拟地址空间与内存块之间的映射关系；
所述分布式虚拟机管理器调回和替换出内存块的数据通路同应用层的数据通路不同。
5.如权利要求4所述的基于分布式虚拟机管理器的分布式cache系统的工作方法，其特征在于，所述cache请求中的信息为URL。
6.如权利要求4所述的基于分布式虚拟机管理器的分布式cache系统的工作方法，其特征在于，步骤102中，cache请求索引与虚拟地址之间的映射关系保存在虚拟机上的元数据表中；虚拟地址空间与内存块之间的映射关系保存在分布式虚拟机管理器上的元数据表中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100801865A CN101510144B (zh) | 2009-03-24 | 2009-03-24 | 基于分布式虚拟机管理器的分布式cache系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100801865A CN101510144B (zh) | 2009-03-24 | 2009-03-24 | 基于分布式虚拟机管理器的分布式cache系统及其工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101510144A CN101510144A (zh) | 2009-08-19 |
| CN101510144B true CN101510144B (zh) | 2011-04-13 |
Family
ID=41002550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100801865A Active CN101510144B (zh) | 2009-03-24 | 2009-03-24 | 基于分布式虚拟机管理器的分布式cache系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101510144B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101917460B (zh) * | 2010-07-22 | 2012-12-05 | 河南远为网络信息技术有限公司 | 基于虚拟机技术的远程维护系统 |
| CN102521330A (zh) * | 2011-12-07 | 2012-06-27 | 华中科技大学 | 一种桌面虚拟化环境下的镜像分布式存储方法 |
| CN103513956B (zh) * | 2012-06-26 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 一种处理器处理数据的方法以及装置 |
| CN103067242A (zh) * | 2012-12-04 | 2013-04-24 | 中国电信股份有限公司云计算分公司 | 一种用于提供网络服务的虚拟机系统 |
| CN103049390B (zh) * | 2012-12-14 | 2016-03-09 | 华为技术有限公司 | 应用元数据的数据处理方法及存储系统 |
| CN103488581B (zh) * | 2013-09-04 | 2016-01-13 | 用友网络科技股份有限公司 | 数据缓存系统和数据缓存方法 |
| CN103858111B (zh) * | 2013-10-08 | 2016-03-09 | 华为技术有限公司 | 一种实现聚合虚拟化中内存共享的方法、设备和系统 |
| WO2017031637A1 (zh) * | 2015-08-21 | 2017-03-02 | 华为技术有限公司 | 一种内存访问方法、装置和系统 |
| CN106612283B (zh) * | 2016-12-29 | 2020-02-28 | 北京奇虎科技有限公司 | 一种识别下载文件来源的方法及装置 |
-
2009
- 2009-03-24 CN CN2009100801865A patent/CN101510144B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101510144A (zh) | 2009-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101510144B (zh) | 基于分布式虚拟机管理器的分布式cache系统及其工作方法 | |
| CN111611613B (zh) | 基于icn的工业互联网标识解析系统及数据访问方法 | |
| US8868675B2 (en) | Network optimization using distributed virtual resources | |
| CN101969468B (zh) | 查询服务器集群系统及查询方法 | |
| CN101820451B (zh) | 一种动态域名服务优化系统 | |
| CN101483670B (zh) | 基于分布式哈希表的区域化对等计算数据一致性维护方法 | |
| US10554555B2 (en) | Hash-based overlay routing architecture for information centric networks | |
| WO2006062628A1 (en) | Routing a service query in an overlay network | |
| CN109450795B (zh) | 一种面向服务网络的服务路由器及服务网络系统 | |
| US7693181B2 (en) | Systems and methods of sharing information between protocol layers | |
| KR100901281B1 (ko) | 유비쿼터스 웹서비스 방법 | |
| WO2006062623A1 (en) | Determining highest workloads for nodes in an overlay network | |
| CN109947764B (zh) | 一种基于时延构建弹性现场的查询增强系统及方法 | |
| EP1859602A1 (en) | Distributed storing of network position information for nodes | |
| CN116055446B (zh) | 跨网络的报文转发方法、电子设备及机器可读存储介质 | |
| US20230224241A1 (en) | Path Identity Allocation Method, System, and Apparatus, Device, and Storage Medium | |
| CN103731454A (zh) | 一种在点对点网络中对请求进行响应的方法及服务器系统 | |
| Xiao et al. | A proposal of survivable virtual network embedding algorithm | |
| CN116016448A (zh) | 一种服务网络访问方法、装置、设备及存储介质 | |
| CN112328369B (zh) | 一种处理多个虚拟机间访问规则最少化的方法 | |
| WO2021087865A1 (zh) | 寻址方法、寻址系统以及寻址装置 | |
| CN112436991A (zh) | 一种基于企业网的能耗感知的虚拟网络映射方法 | |
| JP2011258014A (ja) | 中継処理方法、プログラム及び中継装置 | |
| JP2005038339A (ja) | グリッドコンピューティングシステム、及びグリッドコンピューティングシステムにおける計算資源収集方法 | |
| CN103905249A (zh) | 一种基于jxme的移动互联网网络监控管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240320 Address after: Room 711C, Floor 7, Building A, Yard 19, Ronghua Middle Road, Daxing District, Beijing Economic-Technological Development Area, 100176 Patentee after: Beijing Zhongke Flux Technology Co.,Ltd. Country or region after: China Address before: 100190 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing, Haidian District Patentee before: Institute of Computing Technology, Chinese Academy of Sciences Country or region before: China |
|
| TR01 | Transfer of patent right |