CN116112562A - 一种基于p2p网络的协同块预取方法 - Google Patents

Abstract

本公开提供了一种基于P2P网络的协同块预取方法，将P2P网络中的节点分为根节点和代理节点，根节点负责从远程仓库中拉取数据块，代理节点只能从根节点拉取数据块，同时根节点主动预测代理节点需要的数据块并将其推送给代理节点，从而实现根节点和代理节点的协同块预取。本公开减少对代理节点上虚拟化实例的冷启动延迟，通过虚拟化实例数据块协同预取的方式加速虚拟化实例的启动和敏捷部署，快速响应用户的延迟需求，减少虚拟化实例大规模部署带来的开销。

Description

一种基于P2P网络的协同块预取方法

技术领域

本公开属于计算机数据存储技术领域，本公开尤其涉及基于P2P网络的协同块预取方法。

背景技术

随着云计算技术的广泛应用，真实的应用场景越来越要求应用集群的弹性、迅捷部署。虚拟化技术作为云计算的最重要的核心，在近几年发展历程中逐渐形成两个适用于现代硬件结构与网络的框架：虚拟机和容器。虚拟机在Hypervisor层虚拟化的硬件资源之上启动客户机操作系统，为应用的启动提供完整的操作系统环境，实现了操作系统级别的资源隔离；容器是一种轻量级虚拟化技术，由应用程序及其依赖包组成，通过Linux提供的Namespace和Cgroup实现资源隔离和资源分配，容器间共享宿主机操作系统内核，实现了进程级资源隔离。相较于虚拟机，容器体积上更小。且由于共享同一操作系统内核，不需要启动整个操作系统，容器的应用启动速度一般比虚拟机更快，性能损耗更小。虚拟机相较于轻量级虚拟化的容器，能够提供强隔离，在安全性要求较高的场景中，应用程序需要使用虚拟机部署。

在真实应用场景中，随着业务的发展，应用启动响应速度越来越成为应用使用体验的关键因素。虽然容器相较于虚拟机启动速度更快，可通过弹性伸缩、负载均衡等方式实现更弹性、敏捷的应用部署。但是当创建或更新大型容器集群时，容器的启动依旧是缓慢的，响应速度不能完全达到及时响应的业务诉求。且在部分安全性要求更高的环境下，容器并不能做到资源强隔离，往往需要在虚拟机基础上再启动容器，来做到资源的相对隔离。此时，应用启动速度瓶颈则在于虚拟机操作系统的启动速度。

相关文献分析，容器启动时平均80％的时间用于从远程仓库下载镜像和镜像解压，且启动时间浮动较大。有研究指出，在容器启动过程中，下载并解压的容器镜像中只有约6.4％的数据是真正被用到的，其余数据的下载与解压占用了大部分部署时间，却在应用启动过程中没有作用。在商用云计算场景中，为了解决这个问题提出过两种可行的方案：通过p2p下载的方式加速下载过程尝试着解决大规模集群创建的下载速度问题，试图精简应用镜像的方式可有效减少启动时间和空间占用，但当前精简镜像的操作并不足够自动和通用，不能够满足用户动态加载文件做持久化的需求，也很难支持用户的临时性操作需求。为此，有必要开发一种基于P2P网络的协同块预取方法。

发明内容

本公开的目的在于提供一种基于P2P网络的协同块预取方法，以克服现有技术所存在的缺陷。

为了达到上述目的，本公开采用的技术方案如下：

一种基于P2P网络的协同块预取方法，包括以下步骤：

S1、将P2P网络中节点分为根节点和代理节点，代理节点启动P2P服务并连接根节点，根节点启动P2P服务，初始化缓存池和块请求，并进入步骤S2和S3；

S2、根节点初始化内存中的缓存池，缓存池以key-value方式存放数据块缓存，并转入步骤S4；

S3、根节点初始化块请求记录链表，其中包括一个双向链表存储数据块请求记录，双向链表中每个节点以key-value方式存放数据，并转入步骤S5；

S4、代理节点发送数据块请求至根节点，根节点接收到数据块请求，判断数据块是否在缓存池中，若是则转入步骤S6，否则转入步骤S7；

S5、代理节点发送数据块请求至根节点，根节点接收到数据块请求，判断数据块是否在块请求记录链表中，若是则转入步骤S8，否则转入步骤S9；

S6、根节点将缓存池中的数据块发送至代理节点并转入步骤S4；

S7、根节点将数据块请求发送给远程仓库，接收远程仓库发来的数据块，将数据块插入到缓存池中，将数据块请求记录插入到块请求记录链表末尾，将数据请求记录元数据插入到哈希表中，再将数据块发送给代理服务器，并转入步骤S4；

S8、根据哈希表中的键值对找到块请求记录链表中命中记录的位置，将记录文件中的数据块主动推送给代理服务器，同时将命中节点更新到链表头部，再转入步骤S4；

S9、根节点将请求数据块记录插入到块请求记录链表中，并检查块请求记录链表长度是否超过阈值，超过阈值则按照访问频率删除记录链表中最后一个记录，然后转入步骤S5。

进一步地，所述步骤S2中key由数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址组成，value由key、文件大小、文件描述符、读写锁组成。

进一步地，所述步骤S3中key为数据请求文件路径，该数据请求文件路径包括数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址，value为缓存池的key。

进一步地，所述步骤S3中初始化一个key-value哈希表快速访问链表中的每个节点，哈希表中key为数据请求文件路径，value为指向链表中对应节点的指针。

进一步地，所述步骤S1中节点之间使用HTTP协议进行通信，所述代理节点的HTTP请求经由根节点处理。

与现有技术相比，本公开的优点在于：本公开将P2P网络中的节点分为两层的根节点和代理节点，第一层的根节点负责从远程仓库中拉取数据块，代理节点只能从根节点拉取数据块，同时根节点和代理节点都有缓存池用来缓存接收到的数据块，根节点还有块请求记录链表存放块请求记录。根节点和代理节点的分层部署减轻了远程仓库的压力，加速了数据块在P2P网络中的流动，同时使根节点成为数据块的中转和发送方，充分利用各个节点的资源。本公开在根节点和代理节点使用协同块预取的方法，即代理节点发送数据块请求给根节点之后，根节点根据请求判断是否在缓存池和块请求记录链表中，并将代理节点请求的数据块和通过块请求记录链表预测的数据块推送给代理节点，发挥数据发送方即根节点的主动性，节省代理节点上应用部署时间，加速有效数据块在P2P网络中的流动。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本公开基于P2P网络的协同块预取方法的网络拓扑图。

图2是本公开中协同块预取过程示意图。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。

当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。

为了描述性目的，本公开可使用诸如“在……之下”、“在……下方”、“在……下”、“下”、“在……上方”、“上”、“在……之上”、“较高的”和“侧(例如，在“侧壁”中)”等的空间相对术语，从而来描述如附图中示出的一个部件与另一(其它)部件的关系。除了附图中描绘的方位之外，空间相对术语还意图包含设备在使用、操作和/或制造中的不同方位。例如，如果附图中的设备被翻转，则被描述为“在”其它部件或特征“下方”或“之下”的部件将随后被定位为“在”所述其它部件或特征“上方”。因此，示例性术语“在……下方”可以包含“上方”和“下方”两种方位。此外，设备可被另外定位(例如，旋转90度或者在其它方位处)，如此，相应地解释这里使用的空间相对描述语。

这里使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

参阅图1所示，根据本公开的网络拓扑图，进行下述操作：

根据P2P网络中节点情况将节点分为根节点和代理节点，其中根节点可以直接从远程仓库中拉取数据块，代理节点只能从根节点处获取数据块，节点之间使用HTTP协议进行通信，所有代理节点的HTTP请求必须经由根节点处理。

代理节点启动P2P服务，将部署在节点上的虚拟化实例需要的数据块请求发送给根节点，并接收来自根节点的数据块，这些数据块分为代理节点请求的数据块和根节点主动推送的数据块，代理节点收到数据块后将它们存放到自己的文件中。

根节点启动P2P服务，从远程仓库拉取数据块，并接收从代理节点发来的数据块请求，若请求命中根节点上的缓存池，则将缓存池中的数据块返回给代理节点，否则根节点向远程仓库请求代理节点所需要的数据块，若请求命中根节点上的块请求记录链表，则将链表命中的数据块主动推送到代理节点，否则不主动推送。

根节点将缓存数据块以文件方式存储，同时内存中的缓存池以key-value方式存放数据块缓存，其中key由数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址组成，value由key、文件大小、文件描述符和读写锁组成。

根节点将块请求记录以双向链表的方式存储，链表中每个节点以key-value方式存放数据，其中key为数据请求文件路径，value为缓存池的key,即数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址。同时维护一个key-value哈希表快速访问链表中的每个节点，哈希表中key为数据请求文件路径，value为指向链表中对应节点的指针，双向链表使用最近最少使用算法即LRU算法更改块请求记录。

再参阅图2所示，本实施例公开了一种基于P2P网络的协同块预取方法，包括以下步骤：

步骤S1、将P2P网络中节点分为根节点和代理节点，代理节点启动P2P服务并连接根节点，根节点启动P2P服务，初始化缓存池和块请求，并进入步骤S2和S3。

步骤S2、根节点初始化内存中的缓存池，缓存池以key-value方式存放数据块缓存，其中key由数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址组成，value由key、文件大小、文件描述符、读写锁组成。缓存池初始化后即等待数据请求到来，并转入步骤S4。

步骤S3、根节点初始化块请求记录链表，其中包括一个双向链表存储数据块请求记录，双向链表中每个节点以key-value方式存放数据，其中key为数据请求文件路径，value为缓存池的key,即数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址。同时初始化一个key-value哈希表快速访问链表中的每个节点，哈希表中key为数据请求文件路径，value为指向链表中对应节点的指针。块请求记录链表初始化后即等待数据请求到来，并转入步骤S5。

步骤S4、代理节点发送数据块请求至根节点，根节点接收到数据块请求，判断数据块是否在缓存池中，若是则转入步骤S6，否则转入步骤S7。

步骤S5、代理节点发送数据块请求至根节点，根节点接收到数据块请求，判断数据块是否在块请求记录链表中，若是则转入步骤S8，否则转入步骤S9。

步骤S6、根节点将缓存池中的数据块发送至代理节点并转入步骤S4。

步骤S7、根节点将数据块请求发送给远程仓库，接收远程仓库发来的数据块，将数据块插入到缓存池中，将数据块请求记录插入到块请求记录链表末尾，将数据请求记录元数据插入到哈希表中，再将数据块发送给代理服务器，并转入步骤S4。

步骤S8、根据哈希表中的键值对找到块请求记录链表中命中记录的位置，将记录文件中的数据块主动推送给代理服务器，同时将命中节点更新到链表头部，再转入步骤S4。

步骤S9、根节点将请求数据块记录插入到块请求记录链表中，并检查块请求记录链表长度是否超过阈值，超过阈值则按照访问频率删除记录链表中最后一个记录，然后转入步骤S5。

本公开将P2P网络节点充分划分为根节点和代理节点，充分发挥不同节点的作用和资源，其中根节点可以直接从远程仓库中拉取数据块，代理节点只能从根节点处获取数据块，节点之间使用HTTP协议进行通信，所有代理节点的HTTP请求必须经由根节点处理。

本公开在根节点上部署了协同块预取需要的数据结构，即缓存池和块请求记录链表。其中，缓存池以key-value方式存放数据块缓存，key由数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址组成，value由key、文件大小、文件描述符、读写锁组成。块请求记录以双向链表的方式存储，向链表中每个节点以key-value方式存放数据，其中key为数据请求文件路径，value为缓存池的key,即数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址。

同时维护一个key-value哈希表快速访问链表中的每个节点，哈希表中key为数据请求文件路径，value为指向链表中对应节点的指针，双向链表使用最近最少使用算法即LRU算法更改块请求记录。

本公开基于缓存池和块请求记录链表，根节点和代理节点之前可以进行协同块预取操作，根节点响应代理节点的请求，同时预测代理节点之后需要的数据块并主动推送给根节点，协同块预取机制需要根节点和代理节点之间的相互合作，同时基于根节点上的数据结构。

本公开减少对代理节点上虚拟化实例的冷启动延迟，通过虚拟化实例数据块协同预取的方式加速虚拟化实例的启动和敏捷部署，快速响应用户的延迟需求，减少虚拟化实例大规模部署带来的开销。

在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (5)

1.一种基于P2P网络的协同块预取方法，其特征在于，包括以下步骤：

S1、将P2P网络中节点分为根节点和代理节点，代理节点启动P2P服务并连接根节点，根节点启动P2P服务，初始化缓存池和块请求，并进入步骤S2和S3；

S2、根节点初始化内存中的缓存池，缓存池以key-value方式存放数据块缓存，并转入步骤S4；

S3、根节点初始化块请求记录链表，其中包括一个双向链表存储数据块请求记录，双向链表中每个节点以key-value方式存放数据，并转入步骤S5；

S4、代理节点发送数据块请求至根节点，根节点接收到数据块请求，判断数据块是否在缓存池中，若是则转入步骤S6，否则转入步骤S7；

S5、代理节点发送数据块请求至根节点，根节点接收到数据块请求，判断数据块是否在块请求记录链表中，若是则转入步骤S8，否则转入步骤S9；

S6、根节点将缓存池中的数据块发送至代理节点并转入步骤S4；

S7、根节点将数据块请求发送给远程仓库，接收远程仓库发来的数据块，将数据块插入到缓存池中，将数据块请求记录插入到块请求记录链表末尾，将数据请求记录元数据插入到哈希表中，再将数据块发送给代理服务器，并转入步骤S4；

S8、根据哈希表中的键值对找到块请求记录链表中命中记录的位置，将记录文件中的数据块主动推送给代理服务器，同时将命中节点更新到链表头部，再转入步骤S4；

S9、根节点将请求数据块记录插入到块请求记录链表中，并检查块请求记录链表长度是否超过阈值，超过阈值则按照访问频率删除记录链表中最后一个记录，然后转入步骤S5。

2.根据权利要求1所述的基于P2P网络的协同块预取方法，其特征在于，所述步骤S2中key由数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址组成，value由key、文件大小、文件描述符、读写锁组成。

3.根据权利要求1所述的基于P2P网络的协同块预取方法，其特征在于，所述步骤S3中key为数据请求文件路径，该数据请求文件路径包括数据块缓存文件保存目录、数据块请求文件地址、数据块在文件中偏移地址，value为缓存池的key。

4.根据权利要求1所述的基于P2P网络的协同块预取方法，其特征在于，所述步骤S3中初始化一个key-value哈希表快速访问链表中的每个节点，哈希表中key为数据请求文件路径，value为指向链表中对应节点的指针。

5.根据权利要求1所述的基于P2P网络的协同块预取方法，其特征在于，所述步骤S1中节点之间使用HTTP协议进行通信，所述代理节点的HTTP请求经由根节点处理。

Images