CN110896404A - 数据处理的方法、装置和计算节点 - Google Patents

数据处理的方法、装置和计算节点 Download PDF

Info

Publication number
CN110896404A
CN110896404A CN201811061918.1A CN201811061918A CN110896404A CN 110896404 A CN110896404 A CN 110896404A CN 201811061918 A CN201811061918 A CN 201811061918A CN 110896404 A CN110896404 A CN 110896404A
Authority
CN
China
Prior art keywords
edge computing
node
computing node
edge
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811061918.1A
Other languages
English (en)
Other versions
CN110896404B (zh
Inventor
彭席汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811061918.1A priority Critical patent/CN110896404B/zh
Priority to PCT/CN2019/094143 priority patent/WO2020052322A1/zh
Priority to EP19861097.4A priority patent/EP3840296B1/en
Priority to JP2021513834A priority patent/JP7192103B2/ja
Publication of CN110896404A publication Critical patent/CN110896404A/zh
Priority to US17/198,367 priority patent/US11558253B2/en
Application granted granted Critical
Publication of CN110896404B publication Critical patent/CN110896404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/084—Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0846—Configuration by using pre-existing information, e.g. using templates or copying from other elements based on copy from other elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0826—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1019—Random or heuristic server selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/20—Network management software packages

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种处理数据的方法及装置，方法包括：首先，第一边缘计算节点接收容器镜像更新指令，然后，获取待更新的容器镜像，再向所述边缘计算集群中其他边缘计算节点发送所述待更新的容器镜像。其中，第一边缘计算节点为边缘计算集群中任意一个边缘计算节点，边缘计算集群中包括至少两个边缘计算节点，容器镜像更新指令用于指示所述边缘计算集群中所述至少两个边缘计算节点更新容器镜像。以此减小容器镜像下载过程的耗时。

Description

数据处理的方法、装置和计算节点
技术领域
本申请涉及通信领域，特别涉及一种数据处理的方法、装置和计算节点。
背景技术
在边缘计算场景的网络拓扑中，多个边缘计算节点组成一个边缘计算集群，该边缘计算集群通过网络交换设备连接至远端的数据中心，该边缘计算集群中的每个边缘计算节点可以连接一个或多个传感器。这样传感器在采集到数据后先将该数据传输至边缘计算节点，边缘计算节点对该数据进行处理，将处理结果发送数据中心。
在该网络拓扑中，各边缘计算节点运行着用于处理传感器采集的数据的软件且该软件以镜像方式部署在容器中，该软件可以称为容器镜像。数据中心往往需要对该网络拓扑中的部分边缘计算节点上运行的容器镜像进行升级。在升级时，数据中心向需要升级的边缘计算集群发送包括待升级容器镜像的标识的请求消息；该边缘计算集群中的每个边缘计算节点从数据中心中下载该标识对应的容器镜像，以实现升级待升级容器镜像。
在实现本申请的过程中，发明人发现传统技术至少存在以下问题：
目前存在网络交换设备与数据中心之间的网络带宽受限时，当连接到该网络交换设备的多个边缘计算节点需要下载容器镜像时，由于受到网络带宽的限制，该多个边缘计算节点可能需要较长时间才能从数据中心中下载完该容器镜像。
发明内容
为了解决传统技术中边缘计算节点和数据中心网络带宽受限导致容器镜像下载过程耗时长的问题，本申请提供了一种数据处理的方法、装置和计算节点。所述技术方案如下：
第一方面，本申请提供了一种数据处理的方法，在该方法中：边缘计算集群中包括至少两个边缘计算节点，对于该边缘计算集群中的任一个边缘计算节点，为了便于说明称为第一边缘计算节点。第一边缘计算节点接收容器镜像更新指令，容器镜像更新指令用于指示该边缘计算集群中的至少两个边缘计算节点更新容器镜像；获取待更新的容器镜像；向边缘计算集群中其他边缘计算节点发送待更新的容器镜像；由于边缘计算集群中的边缘计算节点位于同一个局域网内，边缘计算集群中的任意两个节点之间的网络带宽较大，这样第一边缘计算节点能够快速地向其他边缘计算节点发送容器镜像，减少边缘计算集群中的每个边缘计算节点获取容器镜像所需要的时间。
在一种可能的实现方式中，在第一边缘计算节点接收容器镜像更新指令后，第一边缘计算节点从边缘计算集群中选择一个边缘计算节点作为代理节点。其中，选择代理节点后可以通过代理节点从数据中心中下载容器镜像，使得代理节点可独占边缘计算集群与数据中心之间的网络带宽，减小了代理节点下载容器镜像所需要的时间，然后代理节点将容器镜像发送给其他代理节点，以减少边缘计算集群中的每个边缘计算节点获取容器镜像所需要的时间。
在另一种可能的实现方式中，第一边缘计算节点获取边缘计算集群中每个边缘计算节点的性能参数，该性能参数用于指示每个边缘计算节点资源使用率；根据每个边缘计算节点的性能参数确定每个边缘计算节点的负载；按照每个边缘计算节点的负载对每个边缘计算节点进行排序，选择负载最低的边缘计算节点作为代理节点。由于选择负载最低的边缘计算节点作为代理节点，代理节点从数据中心下载容器镜像的速度最快，从而最大限度地减小代理节点下载容器镜像需要的时间。
在另一种可能的实现方式中，在第一边缘计算节点作为边缘计算集群中代理节点时，获取待更新的容器镜像，第一边缘计算节点为负载最低的边缘计算节点。由于第一边缘计算节点是负载最低的边缘计算节点，第一边缘计算节点获取容器镜像的速度最快，从而最大限度地减小第一边缘计算节点获取容器镜像需要的时间。
在另一种可能的实现方式中，第一边缘计算节点在边缘计算集群中随机选择一个边缘计算节点作为代理节点；或者，第一边缘计算节点在边缘计算集群中按照边缘计算节点的标识选择一个边缘计算节点作为代理节点。
在另一种可能的实现方式中，在代理节点不是第一边缘计算节点时，第一边缘计算节点从代理节点中获取待更新的容器镜像，待更新的容器镜像是代理节点从数据中心中获取的，由于第一边缘计算节点和代理节点位于同一个局域网内，第一边缘计算节点为和代理节点之间的网络带宽较大，这样第一边缘计算节点能够快速地从代理节点中获取容器镜像，减少获取容器镜像所需要的时间。
在另一种可能的实现方式中，边缘计算集群中的每个边缘计算节点通过网络交换设备连接至数据中心。
第二方面，本申请提供了一种数据处理的装置，用于执行第一方面或第一方面的任意一种可能实现方式中的方法。具体地，所述装置包括用于执行第一方面或第一方面的任意一种可能实现方式的方法的单元。
第三方面，本申请提供了一种计算节点，包括处理器、存储器、通信接口、总线，所述处理器、存储器和通信接口之间通过总线连接并完成相互间的通信，所述存储器中用于存储计算机执行指令，所缘计算节点运行时，所述处理器执行所述存储器中的计算机执行指令以利用所述计算节点中的硬件资源执行第一方面或第一方面任一种可能实现方式中所述方法的操作步骤。
第四方面，本申请提供一种数据处理的系统，该系统包括数据中心和至少一个边缘计算节点，所述边缘计算节点和所述数据中心用于执行第一方面或第一方面任一种可能实现方式中所述数据中心和计算节点为执行主体时所执行的所述方法的操作步骤。
第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括在计算机可读存储介质中存储的计算机程序，并且所述计算程序通过处理器进行加载来实现上述第一方面或第一方面的任意可能实现方式的方法。
第六方面，本申请提供了一种非易失性计算机可读存储介质，用于存储计算机程序，所述计算机程序通过处理器进行加载来执行上述第一方面或第一方面的任意可能实现方式的指令。
第七方面，本申请提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于实现上述第一方面或第一方面的任意可能实现方式的方法。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
图1是本申请提供的一种网络架构示意图；
图2是本申请提供的一种K8S架构示意图；
图3是本申请提供的一种边缘计算节点的软件栈结构示意图；
图4是本申请提供的一种数据处理的方法流程图；
图5是本申请提供的一种数据处理的装置结构示意图；
图6是本申请提供的一种计算节点的结构示意图。
具体实施方式
下面将结合附图对本申请实施方式作进一步地详细描述。
图1为本申请提供的一种网络架构的示意图。参见图1，本申请提供了一种网络架构，该网络架构包括：至少一个边缘计算集群1，每个边缘计算集群1对应的网络交换设备2和数据中心3，每个边缘计算集群1包括至少两个边缘计算节点1。对于每个边缘计算集群1，每个边缘计算节点连接至该边缘计算集群1对应的网络交换设备2上，以形成一个本地局域网络，该网络交换设备2连接至公网，通过公网与远端的数据中心3连接。公网包括有线网络或无线网络。网络交换设备2包括无线路由器或有线路由器等。其中，同一本地局域网中的任意两个边缘计算节点1直接相连或通过交换机相连，任意两个边缘计算节点1之间的网络带宽较大，且大于网络交换设备2与数据中心3之间的网络带宽。
每个边缘计算节点1包括至少一个容器，容器中部署有容器镜像，容器镜像包括用于处理数据的软件、应用或数据分析算法模型等。
可选地，该边缘计算节点1中的容器镜像可以在该边缘计算节点1出厂时就部署在该边缘计算节点1中，或者，在该边缘计算节点1出厂后安装在该边缘计算节点1中的。
可选地，参见图1，该边缘计算节点1还可以连接至少一个采集设备4，该边缘计算节点1可以通过其包括的容器镜像处理该至少一个采集设备4采集的数据，然后，向数据中心3发送处理结果。或者，该边缘计算节点1可以通过其包括的容器镜像处理其接收的来自数据中心发送的数据，然后向数据中心3发送处理结果。
图1所示的网络架构可以应用于目前的智能交通或安防领域。例如，在安防领域，采集设备4可以为摄像机，边缘计算节点1可以包括用于提取人脸模型的容器镜像。这样摄像机可以拍摄得到一帧一帧的视频图片，每当拍摄到一帧视频图片时可以向与其相连的边缘计算节点1发送该视频图片。该边缘计算节点1接收该视频图片，通过其包括的容器镜像检测该视频图片中是否包括人脸图像，如果包括人脸图像，则提取该人脸图像对应的人脸模型，向数据中心发送该人脸模型。
维护人员可以定期或不定期地开发该容器镜像的新版本，此时就需要将边缘计算节点1中的容器镜像升级到新版本。目前用户将开发的新版本的容器镜像保存在数据中心的数据仓库中，需要升级的边缘计算节点1就可以从数据中心中下载新版本的容器镜像，并将本地保存的旧版本的容器镜像升级到新版本的容器镜像。
图1所示的网络架构是一种硬件拓扑结构，本申请还提供了图2所示的软件架构图，该软件架构图对图1所示的网络架构中的数据中心3的软件架构和边缘计算节点1的软件架构进行详细说明。如图2所示的软件架构，该软件架构是一种K8S架构的示意图。参见图2，在K8S架构中，数据中心3中包括服务端模块31、调度模块32和数据仓库33等功能模块，每个边缘计算节点1包括客户端模块11和容器12等功能模块。数据中心3和边缘计算节点1可以采用客户端服务器(client/server，CS)工作模式，数据中心3通过运行服务端模块与边缘计算节点1进行交互，边缘计算节点1通过运行客户端模块与数据中心3进行交互，且在交互有过程中，数据中心3充当服务端角色，边缘计算节点1充当客户端角色。数据仓库用于存储用户开发的新版本的容器镜像，调度模块用于调度需要升级容器镜像的边缘计算集群1；被调度的边缘计算集群1中的边缘计算节点1可以从数据中心3中的数据仓库中下载容器镜像并将该容器镜像以镜像的方式部署在容器中，实现升级。
图3为本申请基于图2所述的软件架构提供的一种边缘计算节点的软件栈的结构示意图。如图所示，边缘计算节点1中包括容器、用于运行容器镜像的软件平台和用于供软件平台运行的硬件平台，容器包括容器镜像，该容器镜像可以为算法、软件或应用等。该软件平台包括容器引擎、K8S代理和轻量化操作系统(operating system，OS)等功能模块。该硬件平台包括处理器、存储器和网卡等硬件资源。
其中，轻量化OS可以用于为容器引擎和K8S代理分配硬件资源，该硬件资源可以为是硬件平台的处理器、存储器和/或网卡等硬件资源。容器引擎可以用于运行容器的容器镜像，通过该容器镜像处理数据得到处理结果。K8S代理是一种客户端模块的实例，其可以用于与数据中心3进行交互，例如可以向数据中心3发送该处理结果，或者，从数据中心3下载新版本的容器镜像，将该新版本的容器镜像部署在容器中，以实现升级容器镜像等操作。
其中，由于边缘计算集群1中的每个边缘计算节点1连接至网络交换设备2，边缘计算集群1中的每个边缘计算节点1从数据中心3中下载容器镜像所需要的时间取决于网络交换设备2与数据中心3之间的网络带宽。也就是说：网络交换设备2与数据中心3之间的网络带宽越大，边缘计算集群1中的每个边缘计算节点1下载容器镜像所需要的时间就越短；反之，网络交换设备2与数据中心3之间的网络带宽越小，边缘计算集群1中的每个边缘计算节点1下载容器镜像所需要的时间就越长。例如，需要下载的容器镜像为200MB的大小，网络交换设备2与数据中心3之间的网络带宽为4Mbps，边缘计算集群1中包括四个边缘计算节点1，这样该四个边缘计算节点1下载完该容器镜像所需要的时间T1＝(200*8*4)/4＝1600S。当某个边缘计算集群1对应的网络交换设备2与数据中心3之间通过无线网络连接或者当某个边缘计算集群1对应的网络交换设备2与数据中心3之间的有线连接的网络带宽较小，此时网络交换设备2与数据中心3之间的网络带宽受限，边缘计算集群1中的每个边缘计算节点1下载的容器镜像所需要的时间较长，为了解决该技术问题，可以通过如下任一实施方式来解决。
接下来，结合图4进一步介绍本申请提供的处理数据的方法。如图所示，该方法可以应用于在图1-1所述的网络架构中，包括：
步骤201：数据中心向边缘计算集群发送容器镜像更新指令，该容器镜像更新指令包括待更新的容器镜像的标识。
用户可以开发新版本的容器镜像，将该新版本的容器镜像保存在数据中心中，该新版本的容器镜像为待更新的容器镜像。容器镜像可以软件、应用或数据分析算法模型等，所以待更新的容器镜像可以是新版本的软件、应用或数据分析算法模型等。
用户开发新版本的容器镜像后，将新版本的容器镜像保存在数据中心的数据仓库中。数据中心中的服务端模块可以检测到保存到数据仓库中的该容器镜像，将该容器镜像作为待更新的容器镜像，向数据中心的调度模块发送调度指令；或者，用户在将新版本的容器镜像保存在数据中心的数据仓库后，可以向数据中心的服务端模块输入包括该容器镜像的标识的升级命令，数据中心接收该升级命令后，向数据中心的调度模块发送调度指令。
然后，数据中心中的调度模块可以调度至少一个边缘计算集群，服务端模块生成容器镜像指令，向调度的每个边缘计算集群发送该容器镜像指令，该容器镜像指令包括待更新的容器镜像的标识。
可选地，数据中心向调度的边缘计算集群发送该容器镜像指令的方式，可以采用以下方式中任意一种：
第一种、可以同时向调度的每个边缘计算集群发送该容器镜像指令。
第二种、可以按照时间的先后分批向调度的边缘计算集群发送该容器镜像指令。任意相邻两次发送容器镜像指令的时间间隔可以相等或不等。
例如，假设被调度的边缘计算集群包括9个且分三次发送，第一次向三个被调度的边缘计算集群发送该容器镜像更新指令，等待一段时间后，第二次向另外三个被调度的边缘计算集群发送该容器镜像更新指令，再等待一段时间后，第三次向剩下的三个被调度的边缘计算集群发送该容器镜像更新指令。
可选地，每次等待的一段时间的时间长度可以相等也可以不相等。在每次等待的一段时间的时间长度相等时，该时间长度可以是预设的时间长度或者是数据中心设置的时间长度。
相比第一种方式，第二种方式可以减小同时向数据中心的数据仓库中请求下载的边缘计算节点数目，这样可以减小数据中心的压力，由其减小数据仓库的压力。
第三种、可以根据被调度的边缘计算集群的负载大小向被调度的边缘计算节点发送该容器镜像指令。
例如，可以按照被调度的边缘计算集群的负载大小从低到高的顺序，向被调度的边缘计算节点发送该容器镜像指令。即先向负载低的边缘计算集群发送该容器镜像指令。这样可以使负载低的边缘计算集群先下载待更新的容器镜像，该边缘计算集群可以快速地从数据中心中下载待更新的容器镜像。当数据中心向负载较高的边缘计算集群发送该容器镜像指令时，由于负载较高的边缘计算集群已经过一段时间对自身的负载进行处理，在此时该边缘计算集群的负载可能变的较低，此时该边缘计算集群也能快速地从数据中心中下载待更新的容器镜像。
可选地，每个边缘计算节点在其负载发生变化时可以向数据中心发送其负载大小，数据中心确定属于同一个边缘计算集群中的各边缘计算节点，根据属于同一个边缘计算集群中的各边缘计算节点的负载大小，获取该边缘计算集群的负载大小。
属于同一个边缘计算集群中的各边缘计算节点，该边缘计算节点向该边缘计算集群对应的网络交换设备发送负载大小，该网络交换设备向数据中心发送消息，该消息包括该网络交换设备的地址和该边缘计算节点的负载大小。因此数据中心可以根据该网络交换设备的地址确定属于该边缘计算集群中的各边缘计算节点。
可选地，该容器镜像更新指令中还可以包括已请求向数据中心下载待更新的容器镜像的边缘计算节点的标识。
对于被调度的每个边缘计算集群，该边缘计算集群对应的网络交换设备接收该容器镜像更新指令，向该边缘计算集群中的每个边缘计算节点发送该容器镜像更新指令。
网络交换设备发送的方式包括广播、单播和组播。当采用单播时，网络交换设备分别向每个边缘计算节点一一发送该容器镜像更新指令。当采用组播时，网络交换设备将该边缘计算集群中的边缘计算节点分成一组或多组，向每组边缘计算节点组播该容器镜像更新指令。
步骤202：第一边缘计算节点接收该容器镜像更新指令，获取其所在边缘计算集群中的每个边缘计算节点的性能参数，边缘计算节点的性能参数用于指示该边缘计算节点的资源使用率。
第一边缘计算节点为其所在边缘计算集群中的任一边缘计算节点，第一边缘计算节点在接收该容器镜像更新指令时，可以获取其性能参数，然后向该边缘计算集群中的其他边缘计算节点广播其性能参数。该边缘计算集群中的其他每个边缘计算节点同第一边缘计算节点一样在接收到容器镜像更新指令后就获取自身的性能参数和广播其自身的性能参数，所以第一边缘计算节点可以接收到该边缘计算集群中的其他每个边缘计算节点的性能参数。
可选地，第一边缘计算节点的性能参数包括第一边缘计算节点的中央处理器(Central Processing Unit，CPU)空闲率、内存空闲率和与数据中心的时延中的至少一个。
可选地，第一边缘计算节点在接收到容器镜像更新指令后会在一段时间内持续接收该边缘计算集群中的其他边缘计算节点发送的性能参数，在该段时间结束后执行如下步骤203的操作。该段时间的起始时刻为第一边缘计算节点接收该容器镜像更新指令的时间，该段时间的时间长度等于预设时间长度。第一边缘计算节点可以通过计时器来实现该段时间，在实现时第一边缘计算节点在接收该容器镜像更新指令时启动一个计时器，该计时器从零开始计时，在计时的时间达到预设时间长度时，确定该段时间结束并执行如下步骤203的操作。其中，由于该边缘计算集群对应的网络交换设备在接收到该容器镜像更新指令后向该边缘计算集群中的每个边缘计算节点发送该容器镜像更新指令，又由于该边缘计算集群与该网络交换设备组成局域网，所以该边缘计算集群中的每个边缘计算节点与该网络交换设备之间的网络带宽较高，该边缘计算集群中的每个边缘计算节点接收该容器镜像更新指令的时间相差较小，基本可以忽略不计。因此可以认为该边缘计算集群中的每个边缘计算节点同时接收该容器镜像更新指令，这样该边缘计算集群中的每个边缘计算节点同时启动计时器计时，并同时结束计时。
步骤203：第一边缘计算节点根据同一边缘计算集群内各个边缘计算节点的性能参数确定每个边缘计算节点的负载。
例如，对于每个边缘计算节点，假设该边缘计算节点的性能参数包括该边缘计算节点的CPU空闲率、内存空闲率和与数据中心的时延，则第一边缘计算节点根据该边缘计算节点的CPU空闲率、内存空闲率和与数据中心的时延，按如下第一公式确定该边缘计算节点的负载。
Figure BDA0001797327800000061
在第一公式中，Score为该边缘计算节点的负载，CPUidle为CPU空闲率，MEMidle为内存空闲率，LAT为与数据中心的时延，Wcpu为CPU空闲率的权重，Wmem为内存空闲率的权重，Wlat为时延权重，*为乘法运算。
步骤204：第一边缘计算节点按照同一边缘计算集群中各个边缘计算节点的负载进行排序，选择负载最低的的边缘计算节点作为代理节点。
可选地，第一边缘计算节点可以按照每个边缘计算节点的负载从大到小的顺序对每个边缘计算节点进行排序，选择排在末尾的一个边缘计算节点作为代理节点，也就是在同一集群中选择当前时刻负载最低的边缘极端节点作为代理节点。或者，第一边缘计算节点可以按照每个边缘计算节点的负载从小到大的顺序对每个边缘计算节点进行排序，选择排在首位的一个边缘计算节点作为代理节点。
可选地，除了按上述202至204中介绍的选择代理节点的方式外，还可以有其他选择代理节点的方式。
作为一种可能的实现方式，第一边缘计算节点获取边缘计算集群中的每个边缘计算节点的标识，按照每个边缘计算节点的标识选择一个边缘计算节点作为代理节点。该种实施方式的详细实现过程为：第一边缘计算节点在接收到容器镜像更新指令时获取其自身的标识，向边缘计算集群中的其他每个边缘计算节点广播其标识。其他边缘计算节点和第一边缘计算节点一样在接收到容器镜像更新指令时获取并广播其自身的标识。第一边缘计算节点接收其他每个边缘计算节点的标识，可以根据该边缘计算集群中的每个边缘计算节点的标识选择一个边缘计算节点作为代理节点。
作为一种可能的实现方式，可以选择标识最小的一个边缘计算节点或选择标识最大的一个边缘计算节点作为代理节点，对于其他选择的方式就不再一一列举。
作为一种可能的实现方式，第一边缘计算节点在接收到容器镜像更新指令时也持续接收一段时间，在第一时间段结束前根据边缘计算集群中的每个边缘计算节点的标识选择一个边缘计算节点作为代理节点。
作为一种可能的实现方式，第一边缘计算节点在选择代理节点时，第一边缘计算节点不属于图1或图2所示系统中任意一个边缘计算集群，第一边缘计算节点是边缘计算集群中的具有选择代理节点功能的边缘计算节点，而边缘计算集群中的其他边缘计算节点不具有选择代理节点功能。这样，第一边缘计算节点在接收到镜像更新指令时选择一个边缘计算节点作为代理节点，例如，可以随机选择一个边缘计算节点作为代理节点。在该种实现方式中，当第一边缘计算节点不是代理节点时，第一边缘计算节点还需要向被选中的边缘计算节点发送通知消息，以通知该边缘计算节点其被选中作为代理节点
步骤205：在第一边缘计算节点是代理节点时，第一边缘计算节点从数据中心中获取待更新的容器镜像的标识对应的容器镜像，向边缘计算集群的其他边缘计算节点发送该容器镜像。
可选地，第一边缘计算节点可以从数据中心的数据仓库中下载待更新的容器镜像。或者，在容器镜像更新指令中包括已下载的边缘计算节点的标识时，第一边缘计算节点可以从该边缘计算节点的标识对应的边缘计算节点中下载待更新的容器镜像。
由于第一边缘计算节点和其他边缘计算节点位于同一个局域网内，所以第一边缘计算节点与其他边缘计算节点之间的带宽较大，所以第一边缘计算节点向边缘计算集群的其他边缘计算节点发送该容器镜像所需要的时间较短。
步骤206(可选地)：在第一边缘计算节点不是代理节点时，第一边缘计算节点接收代理节点发送的容器镜像。
其中，代理节点从数据中心中下载待更新的容器镜像的标识对应的容器镜像，向边缘计算集群的其他边缘计算节点发送该容器镜像。相应的，第一边缘计算节点接收该容器镜像。
由于第一边缘计算节点和代理边缘计算节点位于同一个局域网内，所以第一边缘计算节点与代理节点之间的带宽较大，所以第一边缘计算节点接收代理节点发送的容器镜像所需要的时间较短。
例如，假设需要下载的容器镜像为200MB的大小，网络交换设备与数据中心之间的网络带宽为4Mbps，边缘计算集群中包括四个边缘计算节点，边缘计算集群中的任意两个边缘计算节点之间的网络带宽为400Mbps，这样第一边缘计算节点从数据中心中下载容器镜像所需要的时间t1＝(200*8)/4＝400S，第一边缘计算节点向其他三个边缘计算节点发送该容器镜像所需要的时间t2＝(200*8)/400＝4S，所以该边缘计算集群中的每个边缘计算节点获取容器镜像所需要的时间为404S，远小于1600S的时间。
第一边缘计算节点和边缘计算集群中的其他边缘计算节点在获取到容器镜像后，就可以根据该容器镜像进行升级。
可选地，对于该边缘计算集群中的除代理节点以外的其他边缘计算节点，其他边缘计算节点在完成容器镜像的更新后，可以向代理节点发送更新完成消息。代理节点在接收到其他每个边缘计算节点发送的更新完成消息且其也完成容器镜像的更新时，向数据中心发送更新完成消息，数据中心接收该更新完成消息，从而确定该边缘计算集群完成待更新的容器镜像的升级。
在本申请中，由于选择一个代理节点，通过该代理节点从数据中心中获取容器镜像，这样代理节点可以全占网络交换设备与数据中心之间的网络带宽，所以获取镜像数据所需要的时间较短。又由于代理节点所在的边缘计算集群是一个局域网，代理节点与边缘计算集群中的其他边缘计算节点之间的带宽较大，这样代理节点向其他边缘计算节点发送容器镜像所需要的时间也较短，从而解决了边缘计算节点和数据中心网络带宽受限导致容器镜像下载过程耗时长的问题。
上文中结合图1至图4，详细描述了根据本申请所提供的数据处理的方法，下面将结合图5至图6，描述根据申请所提供的数据处理的装置和边缘计算节点。
图5为本申请提供的一种数据处理装置300的结构示意图。参见图3，本申请提供了一种数据处理的装置300，所述装置300包括：
接收单元301，用于接收容器镜像更新指令，该装置300为边缘计算集群中任意一个边缘计算节点，边缘计算集群中包括至少两个边缘计算节点，该容器镜像更新指令用于指示边缘计算集群中至少两个边缘计算节点更新容器镜像；
处理单元302，用于根据接收单元301接收的所述容器镜像更新指令获取待更新的容器镜像；
发送单元303，用于根据处理单元302获取的所述待更新的容器镜像，向边缘计算集群中其他边缘计算节点发送待更新的容器镜像。
可选地，处理单元302，还用于：
在接收单元301接收该容器镜像更新指令后，从边缘计算集群中选择一个边缘计算节点作为代理节点。
可选地，处理单元302，用于：
获取边缘计算集群中每个边缘计算节点的性能参数，该性能参数用于指示每个边缘计算节点资源使用率；
根据每个边缘计算节点的性能参数确定每个边缘计算节点的负载；
按照每个边缘计算节点的负载对每个边缘计算节点进行排序，选择负载最低的边缘计算节点作为代理节点。
可选地，处理单元302选择代理节点的详细内容可以参见上述步骤202至204中的第一边缘计算节点选择代理节点的相关内容，在此不再详细说明。
可选地，处理单元302，用于：
在该装置300作为边缘计算集群中代理节点时，获取待更新的容器镜像，该装置300为负载最低的边缘计算节点。
可选地，处理单元302获取容器镜像的详细内容可以参见上述步骤205中的第一边缘计算节点获取容器镜像的相关内容，在此不再详细说明。
可选地，处理单元302，用于：
在边缘计算集群中随机选择一个边缘计算节点作为代理节点；或者，
在边缘计算集群中按照边缘计算节点的标识选择一个边缘计算节点作为代理节点。
可选地，处理单元302，用于：
在代理节点不是该装置300时，从代理节点中获取待更新的容器镜像，待更新的容器镜像是代理节点从数据中心中获取的。
可选地，处理单元302从代理节点获取容器镜像的详细内容可以参见上述步骤206中的第一边缘计算节点从代理节点获取容器镜像的相关内容，在此不再详细说明。
可选地，边缘计算集群中的每个边缘计算节点通过网络交换设备连接至数据中心。
应理解的是，本申请的装置300可以通过专用集成电路(application-specificintegrated circuit，ASIC)实现，或可编程逻辑器件(programmable logic device，PLD)实现，上述PLD可以是复杂程序逻辑器件(complex programmable logical device，CPLD)，现场可编程门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic，GAL)或其任意组合。也可以通过软件实现图4所示的数据处理方法时，装置300及其各个模块也可以为软件模块。
根据本申请的装置300可对应于执行本发明实施例中描述的方法，并且装置300中的各个单元的上述和其它操作和/或功能分别为了实现图4中所述方法的相应流程，为了简洁，在此不再赘述。
在本申请中，由处理单元选择一个代理节点，通过该代理节点从数据中心中获取容器镜像，由于代理节点所在的边缘计算集群是一个局域网，代理节点与边缘计算集群中的其他边缘计算节点之间的带宽较大，这样代理节点向其他边缘计算节点发送容器镜像所需要的时间也较短，从而解决了边缘计算节点和数据中心网络带宽受限导致容器镜像下载过程耗时长的问题。
图6为本申请提供的一种计算节点600的结构示意图。如图所示，所述计算节点600包括处理器601、存储器602、通信接口603和总线604。其中，处理器601、存储器602、通信接口603通过总线604进行通信，也可以通过无线传输等其他手段实现通信。该存储器602用于存储指令，该处理器601用于执行该存储器602存储的指令。该计算节点600为图1或图2所示边缘计算集群中任意一个边缘计算节点，该存储器602存储程序代码，且处理器601可以调用存储器602中存储的程序代码执行以下操作：
接收容器镜像更新指令，边缘计算集群中包括至少两个边缘计算节点，该容器镜像更新指令用于指示边缘计算集群中该至少两个边缘计算节点更新容器镜像；
获取待更新的容器镜像；
通过通信接口603向边缘计算集群中其他边缘计算节点发送待更新的容器镜像。
应理解，在本申请中，该处理器601可以是CPU，该处理器601还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
该存储器602可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器602还可以包括非易失性随机存取存储器。例如，存储器602还可以存储设备类型的信息。
该存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
该总线604除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线604。
在本申请中，由该计算节点中的处理器获取待更新的容器镜像，由于该计算节点所在的边缘计算集群是一个局域网，该计算节点与边缘计算集群中的其他边缘计算节点之间的带宽较大，这样该计算节点的处理器通过通信接口向其他边缘计算节点发送容器镜像所需要的时间也较短，从而解决了边缘计算节点和数据中心网络带宽受限导致容器镜像下载过程耗时长的问题。
本申请提供一种数据处理的系统，该系统包括图1或图2所述数据中心和至少一个边缘计算节点，所述边缘计算节点用于实现图5所述装置或图6所述计算节点的功能，所述数据中心和所述边缘计算节点用于执行图4所述数据处理方法中相应主体的操作步骤，为了简介在此不再赘述。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive，SSD)。
本领域普通技术人员可以理解实现上述实施方式的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施方式，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种数据处理的方法，其特征在于，所述方法包括：
第一边缘计算节点接收容器镜像更新指令，所述第一边缘计算节点为边缘计算集群中任意一个边缘计算节点，所述边缘计算集群中包括至少两个边缘计算节点，所述容器镜像更新指令用于指示所述边缘计算集群中所述至少两个边缘计算节点更新容器镜像；
所述第一边缘计算节点获取待更新的容器镜像；
所述第一边缘计算节点向所述边缘计算集群中其他边缘计算节点发送所述待更新的容器镜像。
2.根据权利要求1所述的方法，其特征在于，在所述第一边缘计算节点获取待更新的容器镜像之前，所述方法还包括：
在所述第一边缘计算节点接收所述容器镜像更新指令后，所述第一边缘计算节点从所述边缘计算集群中选择一个边缘计算节点作为代理节点。
3.根据权利要求2所述的方法，其特征在于，所述第一边缘计算节点从所述边缘计算集群中选择一个边缘计算节点作为代理节点，包括：
所述第一边缘计算节点获取所述边缘计算集群中每个边缘计算节点的性能参数，所述性能参数用于指示所述每个边缘计算节点资源使用率；
所述第一边缘计算节点根据所述每个边缘计算节点的性能参数确定所述每个边缘计算节点的负载；
所述第一边缘计算节点按照所述每个边缘计算节点的负载对所述每个边缘计算节点进行排序，选择负载最低的边缘计算节点作为代理节点。
4.根据权利要求3所述的方法，其特征在于，所述第一边缘计算节点获取待更新的容器镜像，包括：
在所述第一边缘计算节点作为所述边缘计算集群中代理节点时，获取所述待更新的容器镜像，所述第一边缘计算节点为所述负载最低的边缘计算节点。
5.根据权利要求2所述的方法，其特征在于，所述第一边缘计算节点从所述边缘计算集群中选择一个边缘计算节点作为代理节点，包括：
所述第一边缘计算节点在所述边缘计算集群中随机选择一个边缘计算节点作为代理节点；或者，
所述第一边缘计算节点在所述边缘计算集群中按照边缘计算节点的标识选择一个边缘计算节点作为代理节点。
6.根据权利要求3或5所述的方法，其特征在于，所述第一边缘计算节点获取待更新的容器镜像，包括：
在所述代理节点不是所述第一边缘计算节点时，所述第一边缘计算节点从所述代理节点中获取待更新的容器镜像，所述待更新的容器镜像是所述代理节点从数据中心中获取的。
7.一种数据处理的装置，其特征在于，所述装置包括：
接收单元，用于接收容器镜像更新指令，所述装置为边缘计算集群中任意一个边缘计算节点，所述边缘计算集群中包括至少两个边缘计算节点，所述容器镜像更新指令用于指示所述边缘计算集群中所述至少两个边缘计算节点更新容器镜像；
处理单元，用于根据所述接收单元接收的所述容器镜像更新指令获取待更新的容器镜像；
发送单元，用于根据所述处理单元获取的所述待更新的容器镜像，向所述边缘计算集群中其他边缘计算节点发送所述待更新的容器镜像。
8.根据权利要求7所述的装置，其特征在于，
所述处理单元，还用于在所述接收单元接收所述容器镜像更新指令后，从所述边缘计算集群中选择一个边缘计算节点作为代理节点。
9.根据权利要求8所述的装置，其特征在于，
所述处理单元，还用于获取所述边缘计算集群中每个边缘计算节点的性能参数，所述性能参数用于指示所述每个边缘计算节点资源使用率；根据所述每个边缘计算节点的性能参数确定所述每个边缘计算节点的负载；按照所述每个边缘计算节点的负载对所述每个边缘计算节点进行排序，选择负载最低的边缘计算节点作为代理节点。
10.根据权利要求9所述的装置，其特征在于，
所述处理单元，还用于在所述装置作为所述边缘计算集群中代理节点时，获取所述待更新的容器镜像，所述装置为所述负载最低的边缘计算节点。
11.根据权利要求8所述的装置，其特征在于，
所述处理单元，还用于在所述边缘计算集群中随机选择一个边缘计算节点作为代理节点；或者，在所述边缘计算集群中按照边缘计算节点的标识选择一个边缘计算节点作为代理节点。
12.根据权利要求9或11所述的装置，其特征在于，
所述处理单元，还用于在所述代理节点不是所述装置时，从所述代理节点中获取待更新的容器镜像，所述待更新的容器镜像是所述代理节点从数据中心中获取的。
13.一种计算节点，其特征在于，所述计算节点包括处理器和存储器，所述存储器中用于存储计算机指令，所述计算节点运行时，所述处理器执行所述存储器中计算机指令以执行权利要求1至6所述方法的操作步骤。
CN201811061918.1A 2018-09-12 2018-09-12 数据处理的方法、装置和计算节点 Active CN110896404B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811061918.1A CN110896404B (zh) 2018-09-12 2018-09-12 数据处理的方法、装置和计算节点
PCT/CN2019/094143 WO2020052322A1 (zh) 2018-09-12 2019-07-01 数据处理的方法、装置和计算节点
EP19861097.4A EP3840296B1 (en) 2018-09-12 2019-07-01 Data processing method, device and computing node
JP2021513834A JP7192103B2 (ja) 2018-09-12 2019-07-01 データ処理方法及び装置、及び、コンピューティングノード
US17/198,367 US11558253B2 (en) 2018-09-12 2021-03-11 Data processing method and apparatus, and computing node for updating container images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811061918.1A CN110896404B (zh) 2018-09-12 2018-09-12 数据处理的方法、装置和计算节点

Publications (2)

Publication Number Publication Date
CN110896404A true CN110896404A (zh) 2020-03-20
CN110896404B CN110896404B (zh) 2021-09-14

Family

ID=69778160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811061918.1A Active CN110896404B (zh) 2018-09-12 2018-09-12 数据处理的方法、装置和计算节点

Country Status (5)

Country Link
US (1) US11558253B2 (zh)
EP (1) EP3840296B1 (zh)
JP (1) JP7192103B2 (zh)
CN (1) CN110896404B (zh)
WO (1) WO2020052322A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611054A (zh) * 2020-05-21 2020-09-01 网宿科技股份有限公司 一种应用部署方法及装置
CN111897537A (zh) * 2020-06-29 2020-11-06 飞诺门阵(北京)科技有限公司 一种应用部署方法、装置、系统及电子设备
CN113535324A (zh) * 2021-06-25 2021-10-22 杭州朗澈科技有限公司 边缘侧拉取镜像的方法和系统
CN114697308A (zh) * 2020-12-14 2022-07-01 中国移动通信有限公司研究院 边缘节点应用更新方法及装置
CN115208872A (zh) * 2021-04-09 2022-10-18 顺丰科技有限公司 边缘云镜像数据处理方法、装置、计算机设备和存储介质
CN115408329A (zh) * 2022-08-26 2022-11-29 上海玫克生储能科技有限公司 即插即用型边缘计算终端硬件系统架构
CN115499671A (zh) * 2022-09-20 2022-12-20 上海哔哩哔哩科技有限公司 直播推流服务滚动发布方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302483B (zh) * 2018-10-17 2021-02-02 网宿科技股份有限公司 一种应用程序的管理方法及系统
US11620254B2 (en) * 2020-06-03 2023-04-04 International Business Machines Corporation Remote direct memory access for container-enabled networks
US20220327003A1 (en) 2021-04-09 2022-10-13 Oracle International Corporation Cloud edge device virtualization
CN114884880B (zh) * 2022-04-06 2024-03-08 阿里巴巴（中国）有限公司 数据传输方法以及系统
CN115618265A (zh) * 2022-11-04 2023-01-17 广州魔番网络科技有限公司 基于大数据和边缘计算的数据整合方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265568A (zh) * 2011-06-13 2011-11-30 华为技术有限公司 一种通信方法及负载均衡器
CN103095597A (zh) * 2011-10-28 2013-05-08 华为技术有限公司 一种用于负载均衡的方法和装置
CN105553737A (zh) * 2015-12-25 2016-05-04 浪潮(北京)电子信息产业有限公司 一种节点管理方法与系统
CN105827678A (zh) * 2015-01-07 2016-08-03 中国移动通信集团山东有限公司 一种基于高可用架构下的通信方法和节点
US20170075892A1 (en) * 2010-12-30 2017-03-16 Facebook, Inc. Distributed Cache for Graph Data
CN106888254A (zh) * 2017-01-20 2017-06-23 华南理工大学 一种基于Kubernetes的容器云架构及其各模块之间的交互方法
CN107105029A (zh) * 2017-04-18 2017-08-29 北京友普信息技术有限公司 一种基于Docker技术的CDN动态内容加速方法及系统
CN107577475A (zh) * 2017-08-22 2018-01-12 清华大学 一种数据中心集群系统的软件包管理方法及系统
CN107819802A (zh) * 2016-09-13 2018-03-20 华为软件技术有限公司 一种在节点集群中的镜像获取方法、节点设备及服务器
CN108509276A (zh) * 2018-03-30 2018-09-07 南京工业大学 一种边缘计算环境中的视频任务动态迁移方法

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681389B1 (en) * 2000-02-28 2004-01-20 Lucent Technologies Inc. Method for providing scaleable restart and backout of software upgrades for clustered computing
JP2001306949A (ja) * 2000-04-26 2001-11-02 Gaiax Co Ltd 顧客情報収集方法及びシステム
US7814474B2 (en) * 2000-11-17 2010-10-12 Hewlett-Packard Development Company, L.P. Updatable mobile handset based on Linux with compression and decompression techniques
JP3842549B2 (ja) * 2000-12-14 2006-11-08 株式会社東芝 情報収集システム、情報収集方法及び記憶媒体
US20030110248A1 (en) * 2001-02-08 2003-06-12 Ritche Scott D. Automated service support of software distribution in a distributed computer network
US20020156650A1 (en) * 2001-02-17 2002-10-24 Klein Michael V. Secure distribution of digital healthcare data using an offsite internet file server
US6845394B2 (en) * 2001-04-16 2005-01-18 Sun Microsystems, Inc. Software delivery method with enhanced batch redistribution for use in a distributed computer network
EP1283464A1 (en) * 2001-08-06 2003-02-12 Hewlett-Packard Company A boot process for a computer, a boot ROM and a computer having a boot ROM
US8245218B2 (en) * 2004-03-12 2012-08-14 Microsoft Corporation Application programming interface for administering the distribution of software updates in an update distribution system
US7925729B2 (en) * 2004-12-07 2011-04-12 Cisco Technology, Inc. Network management
US20060085564A1 (en) * 2004-10-14 2006-04-20 Bomhoff Matthew D Flash mirroring
US7362758B2 (en) * 2005-01-14 2008-04-22 1E Limited Data distribution apparatus and method
EP1955151B1 (en) * 2005-12-01 2018-10-17 CA, Inc. Automated deployment and configuration of applications in an autonomically controlled distributed computing system
US9392078B2 (en) * 2006-06-23 2016-07-12 Microsoft Technology Licensing, Llc Remote network access via virtual machine
US8024724B2 (en) * 2006-08-31 2011-09-20 Itron, Inc. Firmware download
WO2008069439A1 (en) * 2006-12-05 2008-06-12 Electronics And Telecommunications Research Institute Method for grouping sensor nodes in heterogeneous wireless sensor networks
US8429286B2 (en) * 2007-06-28 2013-04-23 Apple Inc. Methods and systems for rapid data acquisition over the internet
US8214470B2 (en) * 2007-11-02 2012-07-03 Telefonaktiebolaget L M Ericsson (Publ) Upgrading software in radio base station nodes
US20090119177A1 (en) * 2007-11-05 2009-05-07 John Thomas K Outdoor and out of home advertising method and system
GB0721861D0 (en) * 2007-11-07 2007-12-19 Ie Ltd Data distribution system
US9167034B2 (en) * 2007-11-12 2015-10-20 International Business Machines Corporation Optimized peer-to-peer file transfers on a multi-node computer system
US10558948B2 (en) * 2008-09-15 2020-02-11 Oath Inc. Targeted instant messenger behaviors employed for optimization of a client
WO2010071884A2 (en) 2008-12-19 2010-06-24 Watchguard Technologies, Inc. Self-monitoring cluster of network security devices
US9003387B2 (en) * 2009-09-25 2015-04-07 Fisher-Rosemount Systems, Inc. Automated deployment of computer-specific software updates
US20110161468A1 (en) * 2009-12-31 2011-06-30 Schneider Electric USA, Inc. Method and system for cascading peer-to-peer configuration of large systems of ieds
US8898668B1 (en) * 2010-03-31 2014-11-25 Netapp, Inc. Redeploying baseline virtual machine to update a child virtual machine by creating and swapping a virtual disk comprising a clone of the baseline virtual machine
US8381211B2 (en) * 2010-04-26 2013-02-19 International Business Machines Corporation Virtual image overloading for solution deployment
WO2011135629A1 (ja) * 2010-04-28 2011-11-03 株式会社日立製作所 計算機システムにおけるソフトウェアの配布管理方法、及び、ソフトウェアの配布管理のための計算機システム
US9323775B2 (en) * 2010-06-19 2016-04-26 Mapr Technologies, Inc. Map-reduce ready distributed file system
US8601129B2 (en) * 2010-06-30 2013-12-03 International Business Machines Corporation Hypervisor selection for hosting a virtual machine image
US20120054734A1 (en) * 2010-08-31 2012-03-01 Apple Inc. Device software upgrade using a dynamically sized partition
US9158525B1 (en) * 2010-10-04 2015-10-13 Shoretel, Inc. Image upgrade
US9021465B2 (en) * 2010-12-15 2015-04-28 Red Hat Israel, Ltd. Downloading guest software updates by a hypervisor
US20120266170A1 (en) * 2011-04-15 2012-10-18 Roy William Zimmerman Virtual Machine Image Management System and Methods
US10630559B2 (en) * 2011-09-27 2020-04-21 UST Global (Singapore) Pte. Ltd. Virtual machine (VM) realm integration and management
US9292319B2 (en) * 2012-03-28 2016-03-22 Google Inc. Global computing interface
US9385918B2 (en) * 2012-04-30 2016-07-05 Cisco Technology, Inc. System and method for secure provisioning of virtualized images in a network environment
US8782632B1 (en) * 2012-06-18 2014-07-15 Tellabs Operations, Inc. Methods and apparatus for performing in-service software upgrade for a network device using system virtualization
US9081643B2 (en) * 2012-09-21 2015-07-14 Silver Sring Networks, Inc. System and method for efficiently updating firmware for nodes in a mesh network
WO2014100754A1 (en) * 2012-12-20 2014-06-26 Robert Hunter Methods and systems for a power firewall
WO2014098688A1 (en) * 2012-12-21 2014-06-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and cloud management node for enabling a virtual machine
US9645811B2 (en) * 2013-04-01 2017-05-09 Oc Acquisition Llc Fault tolerance for a distributed computing system
CN104601622B (zh) * 2013-10-31 2018-04-17 国际商业机器公司 一种部署集群的方法和系统
WO2015105502A1 (en) * 2014-01-10 2015-07-16 Hewlett Packard Development Company, L.P. Call home cluster
US9960964B2 (en) * 2014-02-18 2018-05-01 Cellos Software Ltd System, method and apparatus to manage services in a network
US9300535B2 (en) * 2014-02-20 2016-03-29 Dell Products L.P. Peer-assisted deployment of resources in a network
US20150271014A1 (en) * 2014-03-21 2015-09-24 Onyx Ccs Automatic configuration of new components by infrastructure management software
US9507566B2 (en) * 2014-04-01 2016-11-29 Oracle International Corporation Entropy generation for a distributed computing system
CN104903857A (zh) * 2014-04-16 2015-09-09 华为技术有限公司 软件升级方法和终端
US9733958B2 (en) * 2014-05-15 2017-08-15 Nutanix, Inc. Mechanism for performing rolling updates with data unavailability check in a networked virtualization environment for storage management
TWI522960B (zh) * 2014-05-26 2016-02-21 三竹資訊股份有限公司 具強制性回覆之行動問卷系統與方法
GB2527130B (en) * 2014-06-13 2016-08-24 1E Ltd Deploying software in a computer network
CN105337904B (zh) * 2014-08-05 2018-11-27 新华三技术有限公司 控制器集群的升级方法及装置
WO2016058006A1 (en) * 2014-10-10 2016-04-14 Visa International Service Association Methods and systems for partial personalization during mobile application update
US10833940B2 (en) * 2015-03-09 2020-11-10 Vapor IO Inc. Autonomous distributed workload and infrastructure scheduling
WO2016181462A1 (ja) 2015-05-11 2016-11-17 株式会社日立製作所 情報処理システムおよびクラスタ管理方法
US9710254B2 (en) * 2015-10-28 2017-07-18 International Business Machines Corporation Replacing an accelerator firmware image without operating system reboot
US20170142228A1 (en) * 2015-11-12 2017-05-18 International Business Machines Corporation Server cluster patch tracking to facilitate code level matching of added servers
US10007509B1 (en) * 2015-12-08 2018-06-26 Amazon Technologies, Inc. Container handover for device updates
US9753718B1 (en) * 2015-12-29 2017-09-05 EMC IP Holding Company LLC Non-disruptive upgrade including rollback capabilities for a distributed file system operating within a cluster of nodes
CN107431720B (zh) * 2015-12-31 2019-11-29 华为技术有限公司 镜像部署方法和装置
US10057366B2 (en) * 2015-12-31 2018-08-21 Hughes Network Systems, Llc Accurate caching in adaptive video streaming based on collision resistant hash applied to segment contents and ephemeral request and URL data
US10455028B2 (en) * 2016-01-20 2019-10-22 Hewlett Packard Enterprise Development Lp Allocating edge services with large-scale processing framework clusters
CN107040399B (zh) * 2016-02-04 2022-03-15 京东方科技集团股份有限公司 一种升级文件下载方法、设备及系统
US10482108B2 (en) * 2016-02-26 2019-11-19 Red Hat, Inc. Container clustering in a container-based architecture
US10581637B2 (en) * 2016-03-01 2020-03-03 Paypal, Inc. Computational node adaptive correction system
CN107241374B (zh) * 2016-03-28 2020-01-31 财团法人工业技术研究院 负载平衡系统、负载平衡装置及拓朴管理方法
US10432709B2 (en) * 2016-03-28 2019-10-01 Industrial Technology Research Institute Load balancing method, load balancing system, load balancing device and topology reduction method
WO2017179537A1 (ja) * 2016-04-15 2017-10-19 日本電気株式会社 ソフトウェア更新制御装置、ソフトウェア更新制御システム、ソフトウェア更新制御方法、及び、ソフトウェア更新制御プログラムが格納された記録媒体
US10218780B2 (en) * 2016-04-20 2019-02-26 Wyse Technology L.L.C. Cloud based peer assisted updates in a device management environment
US10362058B2 (en) * 2016-05-13 2019-07-23 Vmware, Inc Secure and scalable data transfer using a hybrid blockchain-based approach
WO2018020610A1 (ja) 2016-07-27 2018-02-01 株式会社オプティム コンテナイメージ配信システム、コンテナイメージ配信方法及びプログラム
US10505830B2 (en) * 2016-08-11 2019-12-10 Micro Focus Llc Container monitoring configuration deployment
US10241777B2 (en) 2016-08-16 2019-03-26 Conduent Business Services, Llc Method and system for managing delivery of analytics assets to users of organizations using operating system containers
CN107769949B (zh) * 2016-08-19 2021-02-12 华为技术有限公司 一种应用组件部署方法及部署节点
US10360044B2 (en) * 2016-09-13 2019-07-23 Nutanix, Inc. Massively parallel autonomous reimaging of nodes in a computing cluster
US10033730B2 (en) * 2016-11-22 2018-07-24 Vmware, Inc. Cached credentials for offline domain join and login without local access to the domain controller
US20200026505A1 (en) * 2016-11-23 2020-01-23 Nutanix, Inc. Scheduling firmware operations in distributed computing systems
US10127078B2 (en) * 2016-11-28 2018-11-13 Microsoft Technology Licensing, Llc Automatic cross-data center rotation of active processes
EP3330816A1 (de) * 2016-12-05 2018-06-06 Siemens Aktiengesellschaft Verfahren zur softwareaktualisierung bei cloud-gateways, computerprogramm mit einer implementation des verfahrens und verarbeitungseinheit zur ausführung des verfahrens
US10887102B2 (en) * 2016-12-15 2021-01-05 Nutanix, Inc. Intent framework
US11023215B2 (en) * 2016-12-21 2021-06-01 Aon Global Operations Se, Singapore Branch Methods, systems, and portal for accelerating aspects of data analytics application development and deployment
US10572226B2 (en) * 2016-12-21 2020-02-25 Aon Global Operations Ltd (Singapore Branch) Methods, systems, and portal using software containers for accelerating aspects of data analytics application development and deployment
US10609118B2 (en) * 2017-03-14 2020-03-31 International Business Machines Corporation Adaptive communication control device
US11006482B2 (en) * 2017-03-15 2021-05-11 Hewlett Packard Enterprise Development Lp Upgrading access points
US10614117B2 (en) * 2017-03-21 2020-04-07 International Business Machines Corporation Sharing container images between mulitple hosts through container orchestration
CN110520843B (zh) * 2017-03-23 2023-08-29 Dh2I公司 集群环境中高度可用的有状态容器
US11366744B2 (en) * 2017-04-07 2022-06-21 Microsoft Technology Licensing, Llc Partitioning and orchestrating infrastructure software deployments for safety and agility across diverse configurations and hardware types
KR101826498B1 (ko) * 2017-05-02 2018-02-07 나무기술 주식회사 클라우드 플랫폼 시스템
US10691514B2 (en) * 2017-05-08 2020-06-23 Datapipe, Inc. System and method for integration, testing, deployment, orchestration, and management of applications
US10747568B2 (en) * 2017-05-30 2020-08-18 Magalix Corporation Systems and methods for managing a cloud computing environment
CN109104451A (zh) * 2017-06-21 2018-12-28 阿里巴巴集团控股有限公司 Docker镜像的下载方法及节点、Docker镜像的预热方法及节点
US10601917B2 (en) * 2017-06-27 2020-03-24 Red Hat, Inc. Containerized high-performance network storage
US10481896B2 (en) * 2017-06-28 2019-11-19 Ford Global Technologies, Llc Charger storage for cached vehicle updates
US10574524B2 (en) * 2017-07-15 2020-02-25 Vmware, Inc. Increasing reusability of and reducing storage resources required for virtual machine images
US10285033B2 (en) * 2017-07-26 2019-05-07 Dell Products, Lp System and method for propagation of server information in a data center with master system election
CA3049032A1 (en) * 2017-09-21 2019-03-28 Oracle International Corporation Systems and methods for updating multi-tier cloud-based application stacks
US10705880B2 (en) * 2017-09-22 2020-07-07 Vmware, Inc. Cluster updating using temporary update-monitor pod
US10001990B2 (en) * 2017-10-26 2018-06-19 Iomaxis, Llc Method and system for enhancing application container and host operating system security in a multi-tenant computing environment
WO2019113308A1 (en) * 2017-12-05 2019-06-13 Franchitti Jean Claude Active adaptation of networked compute devices using vetted reusable software components
US10545750B2 (en) * 2017-12-06 2020-01-28 Vmware, Inc. Distributed upgrade in virtualized computing environments
US10841152B1 (en) * 2017-12-18 2020-11-17 Pivotal Software, Inc. On-demand cluster creation and management
GB2569651A (en) * 2017-12-22 2019-06-26 Veea Systems Ltd Edge computing system
US10642603B2 (en) * 2018-01-16 2020-05-05 Nutanix, Inc. Scheduling upgrades in distributed computing systems
US10885018B2 (en) * 2018-05-07 2021-01-05 Microsoft Technology Licensing, Llc Containerization for elastic and scalable databases
US10922118B2 (en) * 2018-05-11 2021-02-16 International Business Machines Corporation Distributed container image repository service
US10587426B2 (en) * 2018-05-17 2020-03-10 At&T Intellectual Property I, L.P. System and method for optimizing revenue through bandwidth utilization management
US11329885B2 (en) * 2018-06-21 2022-05-10 International Business Machines Corporation Cluster creation using self-aware, self-joining cluster nodes
US10803025B2 (en) * 2018-09-06 2020-10-13 At&T Intellectual Property I, L.P. System and process for scalable and secure content delivery

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170075892A1 (en) * 2010-12-30 2017-03-16 Facebook, Inc. Distributed Cache for Graph Data
CN102265568A (zh) * 2011-06-13 2011-11-30 华为技术有限公司 一种通信方法及负载均衡器
CN103095597A (zh) * 2011-10-28 2013-05-08 华为技术有限公司 一种用于负载均衡的方法和装置
CN105827678A (zh) * 2015-01-07 2016-08-03 中国移动通信集团山东有限公司 一种基于高可用架构下的通信方法和节点
CN105553737A (zh) * 2015-12-25 2016-05-04 浪潮(北京)电子信息产业有限公司 一种节点管理方法与系统
CN107819802A (zh) * 2016-09-13 2018-03-20 华为软件技术有限公司 一种在节点集群中的镜像获取方法、节点设备及服务器
CN106888254A (zh) * 2017-01-20 2017-06-23 华南理工大学 一种基于Kubernetes的容器云架构及其各模块之间的交互方法
CN107105029A (zh) * 2017-04-18 2017-08-29 北京友普信息技术有限公司 一种基于Docker技术的CDN动态内容加速方法及系统
CN107577475A (zh) * 2017-08-22 2018-01-12 清华大学 一种数据中心集群系统的软件包管理方法及系统
CN108509276A (zh) * 2018-03-30 2018-09-07 南京工业大学 一种边缘计算环境中的视频任务动态迁移方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611054A (zh) * 2020-05-21 2020-09-01 网宿科技股份有限公司 一种应用部署方法及装置
CN111611054B (zh) * 2020-05-21 2023-05-16 网宿科技股份有限公司 一种应用部署方法及装置
CN111897537A (zh) * 2020-06-29 2020-11-06 飞诺门阵(北京)科技有限公司 一种应用部署方法、装置、系统及电子设备
CN114697308A (zh) * 2020-12-14 2022-07-01 中国移动通信有限公司研究院 边缘节点应用更新方法及装置
CN115208872A (zh) * 2021-04-09 2022-10-18 顺丰科技有限公司 边缘云镜像数据处理方法、装置、计算机设备和存储介质
CN113535324A (zh) * 2021-06-25 2021-10-22 杭州朗澈科技有限公司 边缘侧拉取镜像的方法和系统
CN113535324B (zh) * 2021-06-25 2024-04-05 深圳软通动力信息技术有限公司 边缘侧拉取镜像的方法和系统
CN115408329A (zh) * 2022-08-26 2022-11-29 上海玫克生储能科技有限公司 即插即用型边缘计算终端硬件系统架构
CN115499671A (zh) * 2022-09-20 2022-12-20 上海哔哩哔哩科技有限公司 直播推流服务滚动发布方法及装置
CN115499671B (zh) * 2022-09-20 2024-02-06 上海哔哩哔哩科技有限公司 直播推流服务滚动发布方法及装置

Also Published As

Publication number Publication date
US11558253B2 (en) 2023-01-17
WO2020052322A1 (zh) 2020-03-19
EP3840296A4 (en) 2021-10-13
US20210203554A1 (en) 2021-07-01
CN110896404B (zh) 2021-09-14
JP2021536642A (ja) 2021-12-27
JP7192103B2 (ja) 2022-12-19
EP3840296A1 (en) 2021-06-23
EP3840296B1 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
CN110896404B (zh) 数据处理的方法、装置和计算节点
CN111464355B (zh) Kubernetes容器集群的伸缩容控制方法、装置和网络设备
US11032210B2 (en) Software load balancer to maximize utilization
CN110096336B (zh) 数据监控方法、装置、设备和介质
US8635263B2 (en) Node processing device and its processing method
CN108121511B (zh) 一种分布式边缘存储系统中的数据处理方法、装置及设备
US11080404B2 (en) Firmware upgrade method, slave station of robot, and machine readable storage medium
WO2021238796A1 (zh) 下载任务异步处理方法、装置、系统和存储介质
CN112965817B (zh) 资源管理方法、装置和电子设备
CN111338787B (zh) 一种数据处理方法及装置、存储介质、电子装置
CN109327499B (zh) 业务接口的管理方法及装置、存储介质、终端
CN108595195B (zh) 一种应用程序更新方法、装置、终端和储存介质
CN117579611A (zh) 数据传输方法、装置、存储介质及电子装置
US11431795B2 (en) Method, apparatus and storage medium for resource configuration
CN111376255B (zh) 机器人数据采集方法、装置及终端设备
CN111831408A (zh) 异步任务处理方法、装置、电子设备及介质
CN115981670A (zh) 容器集群业务部署方法、装置、服务器及存储介质
CN108833532B (zh) 基于物联网的服务处理方法、装置和系统
KR102074387B1 (ko) 임베디드 소프트웨어의 자가 적응형 설계 방법
CN111143033A (zh) 基于可伸缩操作系统的操作执行方法及装置
CN112136104A (zh) 数据包写入方法及装置、控制终端和可移动平台
CN111431951A (zh) 一种数据处理方法、节点设备、系统及存储介质
CN115220993A (zh) 进程监控方法、装置、车辆及存储介质
CN105511932A (zh) 一种应用的卸载方法和装置
CN116089020B (zh) 虚拟机运行方法、扩容方法、扩容系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant