CN116614517A - 一种针对边缘计算场景的容器镜像预热及分发方法 - Google Patents

Abstract

本发明公开了一种针对边缘计算场景的容器镜像预热及分发方法，涉及边缘计算与容器技术领域，包括用户提交应用定义、镜像分发优化、下载任务处理及应用升级/更新监控与回滚。本发明采用动态路径选择、预测性缓存策略、多路径传输与断点下载等手段，优化资源分配、压缩解压缩算法及实时监控应用运行状态。本发明提高了边缘计算环境下容器镜像分发效率，降低部署等待时间、网络资源消耗，提高了应用更新稳定性。

Description

一种针对边缘计算场景的容器镜像预热及分发方法

技术领域

本发明涉及边缘计算与容器技术领域，更具体地说，涉及一种针对边缘计算场景的容器镜像预热及分发方法。

背景技术

边缘节点是指位于网络边缘的计算设备，例如物联网设备、移动设备或边缘数据中心等，这些计算设备通常不具备非常良好的网络状况。

镜像服务器是一个用于存储和管理容器镜像的服务器。容器镜像是包含了应用程序及其运行环境的可执行包，可以在支持容器技术的环境中运行。镜像服务器提供了镜像的存储、检索和分发功能，便于用户在不同的设备（如边缘节点）上部署和运行应用。

随着云计算技术的快速发展，容器技术逐渐成为云原生应用部署的主流方式。容器技术提供了一种轻量级、高效、可移植的虚拟化解决方案，大大简化了应用部署、运行和管理的复杂性。然而，在边缘计算场景下，容器镜像的分发和预热仍然面临许多挑战。边缘计算场景具有边缘节点分布广泛、网络环境复杂、资源有限等特点，这使得容器镜像的分发和预热变得更加困难。

技术问题1：现有的Docker容器技术不支持断点续传。在边缘计算环境下，网络不稳定可能导致镜像传输过程中断，从而影响镜像的分发效率和应用部署的成功率。

技术问题2：云原生应用发布有很大概率因镜像拉取不成功导致部署失败，需要镜像预热功能。镜像预热可以提前将镜像分发到边缘节点，从而加快应用部署的速度。然而，现有的镜像预热解决方案往往针对数据中心场景设计，不适用于边缘节点分散的场景。

技术问题3：目前市场上的镜像预热解决方案的触发设置适用于数据中心，但在边缘计算场景下，这些解决方案往往不能满足需求。边缘计算场景下，需要一种更灵活、高效的镜像预热方法，以适应复杂的网络环境和有限的资源。

技术问题4：在弱网边缘节点分散场景下，应用升级时依赖于所需镜像下载到边缘节点，但目前没有好的解决方案。这导致应用升级过程中可能出现长时间的停机和服务中断，影响边缘应用的可用性和用户体验。

综上所述，针对边缘计算场景，现有技术在容器镜像分发和预热方面存在诸多问题，需要寻求一种创新的解决方案，以提高边缘计算环境下的容器镜像分发和预热效率，保证边缘应用的可用性和稳定性。

发明内容

本发明要解决的技术问题是提供一种针对边缘计算场景的容器镜像预热及分发方法，镜像服务器与边缘节点通过网络通讯连接，用户通过镜像服务器向边缘节点推送镜像的过程包括以下步骤：

(1)用户提交应用定义，包括:

a) 收集应用中的镜像信息，生成对应的镜像打包任务；

b) 生成带有校验机制的tar包，将tar包通过断点上传的方式传至镜像服务器；

(2)镜像分发优化，包括：

a) 镜像服务器将具有相似网络特征和地理位置的边缘节点归为一组，利用组内节点之间的网络优势进行镜像分发；所述相似网络特征和地理位置的边缘节点为具有相近网络延迟、相近数据传输速率以及相临地理区域分布的边缘节点；

具体如何利用组内节点之间的网络优势进行镜像分发可以通过以下几个步骤实现：

分组：首先，将具有相近网络延迟、相近数据传输速率以及相临地理区域分布的边缘节点归为一组。这样可以确保组内的节点之间具有较好的网络连接质量和较低的延迟。

选举主节点：在每个组内，选举一个主节点（或称为源节点），该节点负责从中心服务器获取镜像数据。主节点的选举可以基于各节点的带宽、延迟和负载情况，以确定最佳的主节点。

镜像分发：主节点从中心服务器获取镜像数据后，将数据分发给组内的其他边缘节点。这里可以利用组内节点之间的高速连接和低延迟特点，采用多播、P2P 或其他高效的数据传输方式进行分发，以提高分发效率。

数据校验：在镜像分发过程中，各边缘节点需要对接收到的数据进行校验，以确保数据的完整性和准确性。可以使用哈希值或其他校验方法进行数据校验。

分发完成后的后续操作：一旦分发完成，边缘节点可以开始利用镜像数据提供服务，如软件更新、缓存内容等。同时，主节点可以周期性地与中心服务器进行同步，以确保镜像数据的及时更新。

b) 镜像服务器根据边缘节点之间的实时网络状况，实现动态路径选择，优化镜像分发过程；

c) 镜像服务器采用预测性缓存策略，预测边缘节点可能需要的应用，并提前将应用缓存至边缘节点；

d) 对于网络不稳定的边缘节点，镜像服务器采用多路径传输技术，通过多个网络路径同时传输镜像数据；

e) 镜像服务器结合边缘计算资源，优化镜像压缩和解压缩算法，减少在边缘节点之间传输的数据量；具体包括：

ea) 镜像服务器评估边缘节点的计算资源，包括处理器性能、内存容量，以确定适合边缘节点的压缩和解压缩算法；

eb) 镜像服务器选择一种或多种适合边缘节点计算资源的高效压缩算法，包括LZ77、LZ78、LZW、Brotli，用于在镜像分发前进行压缩处理；

ec) 边缘节点使用与发送节点相匹配的解压缩算法，解压缩收到的镜像数据；

ed) 镜像服务器定期评估和更新所选用的压缩和解压缩算法，以适应边缘计算资源和网络环境的变化；

f)镜像服务器根据节点的网络状况、计算资源和存储资源，动态调整镜像分发的优先级；具体包括：

fa) 镜像服务器实时收集节点的网络状况、计算资源和存储资源信息，包括带宽、延迟、处理器使用率、内存使用率和存储空间；

fb) 镜像服务器基于收集到的节点资源信息，使用智能调度算法为不同的镜像分发和预热任务分配优先级；

fc) 镜像服务器根据分配的优先级，在保证高优先级任务优先执行的前提下，动态调整镜像分发和预热任务的执行顺序；

fd) 随着节点资源状况的变化，镜像服务器实时更新智能调度算法以优化资源分配策略;

(3)镜像下载任务处理，包括：

a) 镜像服务器根据应用里的镜像信息，在该应用指定的边缘节点生成基于断点下载的镜像下载任务；

b) 镜像服务器扫描镜像下载任务，当发现镜像扫描任务执行成功后，镜像服务器执行应用升级/更新操作；

(4)应用升级/更新监控与回滚，包括：

a)镜像服务器对应用运行状态进行实时监控，确保在升级或更新过程中，应用保持可用状态，并在检测到异常时自动触发回滚操作。

优选的，所述根据边缘节点之间的实时网络状况，实现动态路径选择，优化镜像分发，包括以下步骤：

a) 镜像服务器收集边缘节点之间的实时网络状况信息，包括带宽、延迟和丢包率；

b) 镜像服务器基于收集到的实时网络状况信息，使用一种路径选择算法，为镜像分发过程确定最优路径；所述路径选择算法为最短路径算法或最大带宽路径算法；

c) 镜像服务器在镜像分发过程中，根据实时网络状况的变化，动态调整选择的路径。

优选的，所述预测性缓存策略具体包括如下步骤：

a)镜像服务器基于历史镜像请求数据，利用机器学习算法或统计分析方法预测可能被请求的镜像；

b) 镜像服务器根据预测结果，提前将可能被请求的镜像缓存至相应的边缘节点，以便在实际部署过程中减少等待时间；

c) 镜像服务器定期更新预测模型，以适应应用部署模式和边缘节点特征的变化，进一步优化预测性缓存策略。

优选的，所述智能调度算法为最大最小公平分享算法或优先级队列算法。

优选的，所述镜像服务器对应用运行状态进行实时监控，确保在升级或更新过程中，应用保持可用状态，并在检测到异常时自动触发回滚操作，包括以下步骤：

a) 镜像服务器在边缘节点部署应用状态监控模块，实时收集边缘节点处应用的运行状态信息，包括CPU使用率、内存使用率、网络连接状况；

b) 在应用升级或更新过程中，镜像服务器持续监控应用运行状态，确保应用在整个过程中保持可用状态；

c) 镜像服务器设定预先定义的异常阈值，当监控到的应用运行状态信息超过阈值时，判断应用出现异常；

d) 镜像服务器检测到应用异常时，自动触发回滚操作，将应用恢复至升级或更新前的稳定状态。

本发明的有益效果包括：

1、提高镜像分发效率：本发明通过将具有相似网络特征和地理位置的边缘节点归为一组，利用组内节点之间的网络优势进行镜像分发。同时，根据边缘节点之间的实时网络状况，实现动态路径选择，优化镜像分发过程。对于网络不稳定的边缘节点，采用多路径传输（MPTCP）技术，通过多个网络路径同时传输镜像数据。这些技术相互结合，显著提高镜像在边缘计算环境中的分发效率。

2、降低镜像部署延迟：采用预测性缓存策略，通过基于历史镜像请求数据、应用部署模式和边缘节点特征进行预测，提前缓存可能被请求的镜像。这样可以在实际部署过程中减少等待时间，降低镜像部署延迟。

3、减少数据传输量：通过评估边缘节点的计算资源（如处理器性能、内存容量等），选择适合边缘节点的高效压缩算法（如LZ77、LZ78、LZW、Brotli等）进行镜像压缩。在接收边缘节点上，使用相匹配的解压缩算法进行解压缩。这样可以减少在边缘节点之间传输的数据量，节省网络带宽资源。

4、提高应用部署的稳定性：本发明利用智能调度算法（如最大最小公平分享算法、优先级队列等）实时收集节点的网络状况、计算资源和存储资源信息，动态调整镜像分发和预热的优先级，优化资源分配。这样可以确保应用在边缘计算环境中的高效部署，提高应用部署的稳定性。

5、增强应用升级和更新的可靠性：通过部署应用状态监控模块，实时收集应用的运行状态信息（如CPU使用率、内存使用率、网络连接状况等）。在应用升级或更新过程中，持续监控应用运行状态，确保应用在整个过程中保持可用状态。当监控到的应用运行状态信息超过预先定义的异常阈值时，判断应用出现异常并自动触发回滚操作，以保证应用的可用性和稳定性。

6、易于扩展和集成：本发明采用模块化设计，各个功能模块之间相互独立，便于扩展和集成。在实际应用中，根据具体场景和需求，可以灵活地增加、替换或移除功能模块，以满足不同的边缘计算应用场景。例如，可以根据不同的网络状况或节点特性，灵活地选择或调整预测性缓存策略、压缩算法等。这使得本发明具有较强的通用性和可扩展性。

7、系统自适应能力：本发明通过收集边缘节点的实时网络状况、计算资源和存储资源信息，动态调整镜像分发和预热策略，实现系统自适应能力。在不同的场景和需求下，本发明能够根据实际情况自动调整，提供最佳的镜像分发和部署效果。这有助于降低维护成本，提高系统的智能化程度。

8、减轻集中式存储压力：本发明利用边缘计算节点的分布式存储能力，通过预测性缓存、压缩算法等技术，将部分镜像数据存储在边缘节点。这样可以减轻集中式存储系统的压力，降低集中式存储的成本，同时提高系统的可靠性和稳定性。

综上所述，本发明提供了一种针对边缘计算场景的容器镜像预热及分发方法，有效地提高了镜像分发效率，降低了镜像部署延迟，减少了数据传输量，提高了应用部署的稳定性，增强了应用升级和更新的可靠性，具有较强的易扩展性和自适应能力，减轻了集中式存储压力。

附图说明

图1是本发明方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作描述。

如图1所示为本发明一种针对边缘计算场景的容器镜像预热及分发方法，包括以下步骤：

(1)用户提交应用定义；

(2)镜像分发优化；

(3)镜像下载任务处理；

(4)应用升级/更新监控与回滚；现在针对一个具体的实施例进行这个过程的介绍。

在一个具体的实施例下，用户希望通过镜像服务器分发一个应用（例如，视频流处理应用，用于实时人脸识别）至位于上海的边缘节点（可以是多个）。以下是分发过程的工作流程：

用户在镜像服务器上提交应用定义，包括： a) 收集应用的镜像信息，例如：应用名称（face_recognition），版本（v1.0.0）等，并生成相应的镜像打包任务。 b) 生成带有校验机制的tar包，将视频流处理应用的镜像打包为一个tar文件，并通过断点上传的方式将tar包传输至镜像服务器。镜像服务器可以对镜像分发过程进行优化：

a) 在视频直播应用场景中，如大型在线直播活动，镜像服务器将位于上海的多个边缘节点归为一组，利用组内节点之间的网络优势进行多个边缘节点的镜像分发。这样做可以有效减少直播卡顿现象，提升用户观看体验。

b) 在在线游戏应用场景中，如大型多人在线游戏，镜像服务器收集边缘节点的实时网络状况信息，例如：带宽、延迟和丢包率。基于收集到的信息，使用Dijkstra最短路径算法为镜像分发过程确定最优路径。这有助于减少游戏延迟，提高玩家游戏体验。

c) 在移动应用商店应用场景中，镜像服务器使用预测性缓存策略，例如利用时间序列分析预测边缘节点可能需要的应用，并提前将应用缓存至边缘节点。这可以减少用户在下载应用时的等待时间，提升用户体验。

d) 在远程办公应用场景中，如视频会议和文件传输，对于网络不稳定的边缘节点，镜像服务器采用多路径传输技术，通过多个网络路径同时传输镜像数据。这有助于提高网络传输的稳定性，避免因网络波动导致的视频会议卡顿和文件传输失败。

e) 在物联网应用场景中，如智能家居和工业自动化，镜像服务器评估边缘节点的计算资源，例如处理器性能、内存容量，以确定适合边缘节点的压缩和解压缩算法。镜像服务器选择LZW压缩算法对待分发的镜像进行压缩处理。这有助于减少传输数据量，降低带宽消耗，提高物联网设备的运行效率。

在以上优化的情况下，镜像服务器在边缘节点生成基于断点下载的镜像下载任务，开始下载视频流处理应用的镜像。

边缘节点接收到镜像数据后，使用与发送节点相匹配的解压缩算法（比如物联网应用场景中的LZW）解压缩收到的镜像数据。

镜像服务器根据边缘节点的网络状况、计算资源和存储资源，动态调整镜像分发的优先级。具体实现方法如下： a) 镜像服务器实时收集边缘节点的网络状况、计算资源和存储资源信息，例如带宽、延迟、处理器使用率、内存使用率和存储空间。 b) 镜像服务器基于收集到的节点资源信息，使用优先级队列算法为镜像分发和预热任务分配优先级。

镜像服务器扫描镜像下载任务，当发现镜像扫描任务执行成功后，镜像服务器执行应用升级/更新操作。

镜像服务器在边缘节点部署应用状态监控模块，实时收集边缘节点处应用的运行状态信息，例如CPU使用率、内存使用率、网络连接状况。

在应用升级或更新过程中，镜像服务器持续监控应用运行状态，确保应用在整个过程中保持可用状态。镜像服务器设定预先定义的异常阈值，例如CPU使用率超过90%，内存使用率超过80%等。

当镜像服务器监控到应用运行状态信息超过预设异常阈值时，判断应用出现异常。此时，镜像服务器自动触发回滚操作，将应用恢复至升级或更新前的稳定状态。

在完成镜像分发、应用部署和运行状态监控后，应用（比如视频流处理应用）在上海的边缘节点上成功运行，为用户提供低延迟和高效的服务。

通过以上步骤，镜像服务器实现了针对边缘计算场景的容器镜像预热及分发。在这个过程中，镜像服务器充分利用了边缘节点之间的网络优势，实现了动态路径选择、预测性缓存、多路径传输、压缩算法优化等多种优化措施，提高了应用部署的效率和稳定性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种针对边缘计算场景的容器镜像预热及分发方法，镜像服务器与边缘节点通过网络通讯连接，其特征在于，用户通过镜像服务器向边缘节点推送镜像的过程包括以下步骤：

(1)用户提交应用定义，包括:

a) 收集应用中的镜像信息，生成对应的镜像打包任务；

b) 生成带有校验机制的tar包，将tar包通过断点上传的方式传至镜像服务器；

(2)镜像分发优化，包括：

a) 镜像服务器将具有相似网络特征和地理位置的边缘节点归为一组，利用组内节点之间的网络优势进行镜像分发；所述相似网络特征和地理位置的边缘节点为具有相近网络延迟、相近数据传输速率以及相临地理区域分布的边缘节点；

b) 镜像服务器根据边缘节点之间的实时网络状况，实现动态路径选择，优化镜像分发过程；

c) 镜像服务器采用预测性缓存策略，预测边缘节点可能需要的应用，并提前将应用缓存至边缘节点；

d) 对于网络不稳定的边缘节点，镜像服务器采用多路径传输技术，通过多个网络路径同时传输镜像数据；

e) 镜像服务器结合边缘计算资源，优化镜像压缩和解压缩算法，减少在边缘节点之间传输的数据量；具体包括：

ea) 镜像服务器评估边缘节点的计算资源，包括处理器性能、内存容量，以确定适合边缘节点的压缩和解压缩算法；

eb) 镜像服务器选择一种或多种适合边缘节点计算资源的高效压缩算法，包括LZ77、LZ78、LZW、Brotli，用于在镜像分发前进行压缩处理；

ec) 边缘节点使用与发送节点相匹配的解压缩算法，解压缩收到的镜像数据；

ed) 镜像服务器定期评估和更新所选用的压缩和解压缩算法，以适应边缘计算资源和网络环境的变化；

f)镜像服务器根据节点的网络状况、计算资源和存储资源，动态调整镜像分发的优先级；具体包括：

fa) 镜像服务器实时收集节点的网络状况、计算资源和存储资源信息，包括带宽、延迟、处理器使用率、内存使用率和存储空间；

fb) 镜像服务器基于收集到的节点资源信息，使用智能调度算法为不同的镜像分发和预热任务分配优先级；

fc) 镜像服务器根据分配的优先级，在保证高优先级任务优先执行的前提下，动态调整镜像分发和预热任务的执行顺序；

fd) 随着节点资源状况的变化，镜像服务器实时更新智能调度算法以优化资源分配策略;

(3)镜像下载任务处理，包括：

a) 镜像服务器根据应用里的镜像信息，在该应用指定的边缘节点生成基于断点下载的镜像下载任务；

b) 镜像服务器扫描镜像下载任务，当发现镜像扫描任务执行成功后，镜像服务器执行应用升级/更新操作；

(4)应用升级/更新监控与回滚，包括：

a)镜像服务器对应用运行状态进行实时监控，确保在升级或更新过程中，应用保持可用状态，并在检测到异常时自动触发回滚操作。

2.根据权利要求1所述针对边缘计算场景的容器镜像预热及分发方法，其特征在于，所述根据边缘节点之间的实时网络状况，实现动态路径选择，优化镜像分发，包括以下步骤：

a) 镜像服务器收集边缘节点之间的实时网络状况信息，包括带宽、延迟和丢包率；

b) 镜像服务器基于收集到的实时网络状况信息，使用一种路径选择算法，为镜像分发过程确定最优路径；所述路径选择算法为最短路径算法或最大带宽路径算法；

c) 镜像服务器在镜像分发过程中，根据实时网络状况的变化，动态调整选择的路径。

3.根据权利要求1所述针对边缘计算场景的容器镜像预热及分发方法，其特征在于，所述预测性缓存策略具体包括如下步骤：

a)镜像服务器基于历史镜像请求数据，利用机器学习算法或统计分析方法预测可能被请求的镜像；

b) 镜像服务器根据预测结果，提前将可能被请求的镜像缓存至相应的边缘节点，以便在实际部署过程中减少等待时间；

c) 镜像服务器定期更新预测模型，以适应应用部署模式和边缘节点特征的变化，进一步优化预测性缓存策略。

4.根据权利要求1所述针对边缘计算场景的容器镜像预热及分发方法，其特征在于，所述智能调度算法为最大最小公平分享算法或优先级队列算法。

5.根据权利要求1所述针对边缘计算场景的容器镜像预热及分发方法，其特征在于，所述镜像服务器对应用运行状态进行实时监控，确保在升级或更新过程中，应用保持可用状态，并在检测到异常时自动触发回滚操作，包括以下步骤：

a) 镜像服务器在边缘节点部署应用状态监控模块，实时收集边缘节点处应用的运行状态信息，包括CPU使用率、内存使用率、网络连接状况；

b) 在应用升级或更新过程中，镜像服务器持续监控应用运行状态，确保应用在整个过程中保持可用状态；

c) 镜像服务器设定预先定义的异常阈值，当监控到的应用运行状态信息超过阈值时，判断应用出现异常；

d) 镜像服务器检测到应用异常时，自动触发回滚操作，将应用恢复至升级或更新前的稳定状态。