CN114721827A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN114721827A CN114721827A CN202210378729.7A CN202210378729A CN114721827A CN 114721827 A CN114721827 A CN 114721827A CN 202210378729 A CN202210378729 A CN 202210378729A CN 114721827 A CN114721827 A CN 114721827A
- Authority
- CN
- China
- Prior art keywords
- node
- task
- control unit
- task file
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/161—Computing infrastructure, e.g. computer clusters, blade chassis or hardware partitioning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
申请实施例提供了一种数据处理方法及装置，对于具有至少一个边缘节点和控制单元的分布式数据处理系统，在获取到第一任务文件之后，控制单元可以先判断所述第一任务文件是否包括第一标签。其中，第一任务文件用于指示执行目标处理任务，第一标签表示目标任务文件用于指示边缘节点执行目标处理任务。如果第一任务文件包括第一标签，说明该第一任务文件需要边缘节点执行，那么控制单元可以根据第一任务文件确定至少一个目标节点，并指示至少一个目标节点执行目标处理任务。其中，目标节点为第一任务文件所指示的边缘节点，即执行目标处理任务的边缘节点。如此，只需对标签进行调整和修改，即可实现应用在边缘节点的统一分发与调度。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法及装置。
背景技术
随着计算机技术的发展，容器技术虚拟化技术已经成为一种广泛应用到的容器技术服务器资源共享方式，可以在按需构建容器技术操作系统实例的过程当中为系统管理员提供极大的灵活性。容器技术可以改善虚拟机监视器技术(hypervisor)存在的性能和资源使用效率方面的问题，为用户提供了一种高效地使用计算资源。
将容器技术与分布式处理技术相结合，可以得到容器集群。容器集群可以依赖一个或多个实体计算机设备，每个计算机设备上可以运行一个或多个容器，每个容器均可以相对独立地执行任务。在容器集群中，每个容器可以被称为一个节点，表示该容器可以相对独立地对数据进行处理。
如果组成容器集群的实体计算机设备处于不同的地理位置，那么容器集群中不可避免地会存在位于地域边缘的边缘节点，边缘节点之间可能存在网络不互通的问题，导致在边缘节点上配置任务较为困难。
发明内容
有鉴于此，本申请实施例提供了一种数据处理方法及装置，旨在提供一种能够高效地在边缘节点上部署任务的技术方案。
第一方面，本申请实施例提供了一种数据处理方法，所述方法应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点，包括：
控制单元获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；
所述控制单元判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；
响应于所述第一任务文件包括第一标签，所述控制单元根据所述第一任务文件确定至少一个目标节点，所述目标节点属于所述至少一个边缘节点；
所述控制单元指示所述至少一个目标节点执行所述目标处理任务。
可选地，所述至少一个目标节点包括第一节点，所述控制单元指示所述至少一个目标节点执行所述目标处理任务包括：
所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件，所述第二任务文件用于指示所述第一节点执行所述目标处理任务；
所述控制单元基于所述第二任务文件，在所述第一节点上创建目标处理任务。
可选地，在控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件之前，所述方法还包括：
所述控制单元解析所述第一任务文件，得到第二标签信息；
所述控制单元根据所述第二标签信息确定所述第一节点的信息。
可选地，所述第一节点的信息包括所述第一节点的拒绝调度参数，所述拒绝调度参数用于指示所述第一节点拒绝执行不具有与所述拒绝调度参数对应的容忍参数的任务；
所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件包括：
所述控制单元根据所述第一节点的拒绝调度参数确定与所述拒绝调度参数对应的容忍参数；
所述控制单元根据所述与所述拒绝调度参数对应的容忍参数和所述第一任务文件生成第二任务文件。
可选地，所述多个节点包括第二节点，所述方法还包括：
所述控制单元获取所述第二节点的相关信息；
响应于所述第二节点的相关信息包括所述第一标签，所述控制单元将所述第二节点确定为边缘节点；或，
响应于所述第二节点的相关信息不包括所述第一标签，所述控制单元将所述第二节点确定为非边缘节点。
可选地，所述分布式数据处理系统基于Kubernetes引擎实现。
可选地，所述方法还包括：
响应于第三节点加入所述分布式数据处理系统，获取所述第三节点的第一位置信息；
响应于所述第三节点的地理位置信息与所述第一节点的地理位置信息相同，且所述第三节点为边缘节点，为所述第三节点添加所述第一标签。
可选地，所述至少一个目标节点还包括第三节点，所述第三节点与所述第一节点属于不同的地域，所述方法还包括：
确定所述第一任务文件具有应用于所述第一节点对应的地域和所述第二节点对应的地域的功能。
第二方面，本申请实施例提供了一种数据处理装置，所述装置应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点；所述装置包括：
获取模块，用于获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；
判断模块，用于判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；
确定模块，用于响应于所述第一任务文件包括第一标签，根据所述第一任务文件确定至少一个目标节点，所述目标节点属于所述至少一个边缘节点；
指示模块，用于指示所述至少一个目标节点执行所述目标处理任务。
可选地，所述至少一个目标节点包括第一节点；
所述指示模块，用于根据所述第一任务文件和所述第一节点的信息生成第二任务文件，所述第二任务文件用于指示所述第一节点执行所述目标处理任务；基于所述第二任务文件，在所述第一节点上创建目标处理任务。
可选地，所述装置还包括第二确定模块；
所述第二确定模块，用于解析所述第一任务文件，得到第二标签信息；根据所述第二标签信息确定所述第一节点的信息。
可选地，所述第一节点的信息包括所述第一节点的拒绝调度参数，所述拒绝调度参数用于指示所述第一节点拒绝执行不具有与所述拒绝调度参数对应的容忍参数的任务；
所述指示模块，用于根据所述第一节点的拒绝调度参数确定与所述拒绝调度参数对应的容忍参数；根据所述与所述拒绝调度参数对应的容忍参数和所述第一任务文件生成第二任务文件。
可选地，所述多个节点包括第二节点，所述装置还包括调整模块；
所述调整模块，用于获取所述第二节点的相关信息；响应于所述第二节点的相关信息包括所述第一标签，将所述第二节点确定为边缘节点；或，响应于所述第二节点的相关信息不包括所述第一标签，所述控制单元将所述第二节点确定为非边缘节点。
第三方面，本申请实施例还提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述存储器存储的所述指令，以使所述设备执行前述第一方面所述的数据处理方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储机制用于存储计算机程序，所述计算机程序用于控制计算机执行前述第一方面所述的数据处理方法。
本申请实施例提供了一种数据处理方法及装置，对于具有至少一个边缘节点和控制单元的分布式数据处理系统，在获取到第一任务文件之后，控制单元可以先判断所述第一任务文件是否包括第一标签。其中，第一任务文件用于指示执行目标处理任务，第一标签表示目标任务文件用于指示边缘节点执行目标处理任务。如果第一任务文件包括第一标签，说明该第一任务文件需要边缘节点执行，那么控制单元可以根据第一任务文件确定至少一个目标节点，并指示至少一个目标节点执行目标处理任务。其中，目标节点为第一任务文件所指示的边缘节点，即执行目标处理任务的边缘节点。这样，在执行数据处理任务的过程中，控制单元可以自动对任务文件进行分析，通过第一标签判断该任务是否需要边缘节点执行。如果任务需要边缘节点执行，控制单元可以确定任务并控制边缘节点执行。如此，只需对标签进行调整和修改，即可实现应用在边缘节点的统一分发与调度。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理方法的一种应用场景的示意图；
图2为本申请实施例提供的数据处理方法的方法流程图；
图3为本申请实施例提供的数据处理装置的一种结构示意图。
具体实施方式
容器集群技术具有灵活、资源利用率高等有点，得到了广泛的应用。例如，Kubernetes(简称k8s)等容器引擎采用linux语言编写，具有完备的集群管理能力，和强大的故障发现和自我修复能力、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制以及多粒度的资源配额管理能力。同时k8s还可以提供完善的管理工具，涵盖了包括开发、部署测试、运维监控在内的各个环节。由于容器相对于虚拟机更轻量，因此可以节约存储空间，简化操作。
但是，受限于实体计算机设备的安装位置，在不同的低于之间，容器集群中不可避免地会出现边缘节点。这些边缘节点之间往往存在网络不互通、资源不共享、资源异构、应用独立等明显的隔离属性，导致边缘节点容器集群中其他节点之间的通信较为困难。
特别地，对于采用k8s等引擎的容器集群，边缘节点大多没有独立的操作界面，需要用户通过命令行或者基于YAML(YAML Ain't a Markup Language)语言编写的任务文件为边缘节点配置任务。因此，当边缘节点的数量较为庞大时，用户需要依次手动对边缘节点进行维护，效率低下确工作量大。
为了给出能够对容器集群中的边缘节点进行配置的技术方案，本申请实施例提供了一种数据处理方法及装置。以下结合说明书附图进行详细介绍。首先对本申请实施例提供的数据处理方法的应用场景进行介绍。
参见图1，该图为本申请实施例提供的数据转移方法的一种应用场景示意图，包括控制单元110、第一节点121、第二节点122、第三节点123和第四节点124。其中，控制单元110分别与第一节点121、第二节点122、第三节点123和第四节点124连接。其中，第一节点121和第四节点124属于边缘节点，无法相互进行通信。
以下结合说明书附图，从图1中控制单元110的角度对本申请实施例提供的数据迁移方法进行说明。需要说明的是，所述控制单元可以是用于对容器集群进行管理的软件程序，可以运行与一台或多台计算机或服务器上，本申请实施例所述的计算机设备既包括电脑，也包括服务器或其他具有数据处理功能的实体设备。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图2，图2为本申请实施例提供的数据处理方法的方法流程图，包括：
S201：控制单元获取第一任务文件。
在执行目标处理任务之前，控制单元可以先获取到第一任务文件，该第一任务文件为所述目标处理任务对应的描述文件，可以用于指示节点执行目标处理任务。例如，当技术人员需要在集群创建某个应用时，可以在集群的控制单元中设置任务文件。这样，集群可以确定目标处理任务的相关参数，从而根据参数执行目标处理任务。
需要说明的是，本申请实施例中所述的“第一任务文件”也可以不是传统意义上的文件，而是与目标处理任务相关的参数集合。即，第一任务文件可以是用于处理目标处理任务的相关参数所组成的参数集合。
在K8s等分布式处理系统中，第一任务文件等资源文件只能由一种容器使用。为了适应不同地域节点的使用，可以在的资源文件中增加对应的annotation，“edge.kubernetes.io/origin”＝‘true’该annotation表示该资源文件为边缘的源应用，并在资源文件中第一定义patch对象。每个patch对象中有两个子对象，子对象为边缘节点中的标识，以及需要patch的对象参数标识。也就是说，如果第一任务文件支持不同地域的不同节点使用，控制单元可以向不同地域的多个节点发送第一任务文件。
S202：控制单元判断第一任务文件是否包括第一标签。
在获取到第一任务文件之后，控制单元可以判断第一任务文件是否包括第一标签。可选地，如果集群是基于K8s引擎创建的，标签可以指用来为资源进行标识的属性，可以通过键值对的方式表示。也就是说，标签可以通过“key＝value”的方式进行表示。
在本申请实施例中，第一标签为标识目标处理任务需要集群中边缘节点进行执行的标签。也就是说，如果任务对应的文件或者具有第一标签，则说明该任务的执行需要被集群中的边缘节点执行。
在一种可能的实现方式中，第一标签可以表示为“‘edge.kubernetes.io/origin’＝‘true’”，表示具有第一标签的文件需要被边缘(edge)节点执行。相应地，为了让边缘节点执行目标处理任务，技术人员可以在目标处理任务对应的第一任务文件中添加第一标签，以使集群的目标单元采用相应的处理流程使得集群中的边缘节点执行目标处理任务。
如果第一任务文件不包括第一标签，说明目标处理任务无需集群中边缘节点执行，那么控制单元可以按照传统的处理流程控制节点执行目标处理任务。如果第一任务文件包括第一标签，说明目标处理任务需要集群中的边缘节点执行，那么控制单元可以继续执行后续步骤S203。
S203：响应于所述第一任务文件包括第一标签，控制单元根据第一任务文件确定至少一个目标节点。
在确定第一任务文件包括第一标签之后，控制单元可以根据第一任务文件确定至少一个目标节点。其中，目标节点为边缘节点中需要执行目标处理任务的节点。也就是说，在一些可能的实现方式中，即使第一任务文件包括第一标签，但是第一任务文件可能只需部分边缘节点执行，并不需要全部边缘节点执行。因此，控制单元可以根据第一任务文件确定需要执行目标处理任务的至少一个目标节点。可选地，至少一个目标节点也可以包括全部边缘节点，即目标处理任务可以由全部边缘节点执行。
可选地，控制单元根据第一任务文件所包括的标签确定至少一个目标节点。具体地，如果第一任务文件包括标签“‘edge.kubernetes.io/origin’＝‘true’”，那么控制单元可以解析第一任务文件，并找到第一任务文件中包括的标签“edge.kubernetes.io/pool”，并根据该标签对应的值(value)确定目标节点。
例如，第一任务文件中可能包括标签“‘edge.kubernetes.io/pool’＝‘A,B’”。那么根据该标签，控制单元可以确定目标处理任务需要由节点池A和节点池B这两个节点池中的节点执行。这样，控制单元可以将节点池A和节点池B中的节点确定为目标节点。其中，节点池A和节点池B可以是预先对边缘节点划分得到的，例如可以是根据边缘节点所处的地理位置对边缘节点进行划分得到的。
S204：控制单元指示至少一个目标节点执行目标处理任务。
在确定至少一个目标节点之后，控制单元可以指示至少一个目标节点中每个目标节点执行目标处理任务。下面以至少一个目标节点包括第一节点为例进行详细介绍。
具体地，控制单元可以根据第一任务文件和第一节点的信息生成第二任务文件，该第二任务文件为第一节点所述的区域的边缘节点执行所述目标处理任务所需的任务文件。接着，控制单元可以基于第二任务文件，在第一节点上创建目标处理任务。这样，可以根据第一节点所属的区域对第一任务文件进行调整，以使得到的第二任务文件能够较好地适应第一节点所属的区域的情况，从而在第一节点上创建相应的任务。
在一些可能的实现方式中，第一节点的信息可以是控制单元对第一任务文件进行解析得到的。具体地，控制单元可以解析第一任务文件，得到第二标签信息，接着再根据第二标签信息确定第一节点的信息。可选地，所述第二标签信息可以是根据前述标签“edge.kubernetes.io/pool”得到的，例如可以是节点池A和节点池B的信息。
在一些可能的实现方式中，可以为第一节点设置拒绝调度参数(Taints)，拒绝调度参数用于指示第一节点拒接执行相应的任务。这样，在接收到任务对应的任务文件时，第一节点可以判断该任务文件是否包括与拒绝调度参数对应的容忍参数。如果任务文件包括容忍参数，第一节点可以执行任务文件对应的任务。如果任务文件不包括容忍参数，第一节点可以拒绝执行任务文件对应的任务。
那么，为了使得第一节点能够执行目标处理任务，前述第一节点的信息还可以包括第一节点的拒绝调度参数。那么在生成第二任务文件的过程中，控制单元可以根据第一节点的拒绝调度参数确定第一节点对应的容忍参数，从而根据容忍参数和第一任务文件生成对应的第二任务文件。
本申请实施例提供了一种数据处理方法，对于具有至少一个边缘节点和控制单元的分布式数据处理系统，在获取到第一任务文件之后，控制单元可以先判断所述第一任务文件是否包括第一标签。其中，第一任务文件用于指示执行目标处理任务，第一标签表示目标任务文件用于指示边缘节点执行目标处理任务。如果第一任务文件包括第一标签，说明该第一任务文件需要边缘节点执行，那么控制单元可以根据第一任务文件确定至少一个目标节点，并指示至少一个目标节点执行目标处理任务。其中，目标节点为第一任务文件所指示的边缘节点，即执行目标处理任务的边缘节点。这样，在执行数据处理任务的过程中，控制单元可以自动对任务文件进行分析，通过第一标签判断该任务是否需要边缘节点执行。如果任务需要边缘节点执行，控制单元可以确定任务并控制边缘节点执行。如此，只需对标签进行调整和修改，即可实现应用在边缘节点的统一分发与调度。
根据前文介绍可知，控制单元可以预先将集群中的边缘节点划分到节点池中。具体地，控制单元可以为集群中每个节点添加标签，该标签例如可以是标签“topology.kubernetes.io/pool”，表示节点所属的节点池。另外，控制单元还可以监听节点的属性变化，并判断节点是否加入某些已有的节点值。也就是说，控制单元可以将标签“topology.kubernetes.io/pool”对应的value相同的节点加入同一节点池。这样，技术人员只需为集群中的边缘节点添加标签，即可实现标签的自动分类。可选地，技术人员还可以通过控制单元对节点的标签进行修改，从而将节点从一个节点池转移到其他的节点池。
在一些可能的实现中，控制单元可以根据边缘节点的地域对边缘节点进行管理。具体地，在新的边缘节点加入分布式数据处理系统时，控制单元可以根据该边缘节点的地域信息将该边缘节点加入对应的边缘节点池。每个边缘节点池中包括一个或多个地域信息相匹配的边缘节点。
以上为本申请实施例提供数据处理方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍。
参见图3所示的数据处理装置的结构示意图，所述装置300应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点；所述装置300包括：
获取模块310，用于获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；
判断模块320，用于判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；
确定模块330，用于响应于所述第一任务文件包括第一标签，根据所述第一任务文件确定至少一个目标节点，所述目标节点属于所述至少一个边缘节点；
指示模块340，用于指示所述至少一个目标节点执行所述目标处理任务。
本申请实施例提供了一种数据处理装置，对于具有至少一个边缘节点和控制单元的分布式数据处理系统，在获取到第一任务文件之后，控制单元可以先判断所述第一任务文件是否包括第一标签。其中，第一任务文件用于指示执行目标处理任务，第一标签表示目标任务文件用于指示边缘节点执行目标处理任务。如果第一任务文件包括第一标签，说明该第一任务文件需要边缘节点执行，那么控制单元可以根据第一任务文件确定至少一个目标节点，并指示至少一个目标节点执行目标处理任务。其中，目标节点为第一任务文件所指示的边缘节点，即执行目标处理任务的边缘节点。这样，在执行数据处理任务的过程中，控制单元可以自动对任务文件进行分析，通过第一标签判断该任务是否需要边缘节点执行。如果任务需要边缘节点执行，控制单元可以确定任务并控制边缘节点执行。如此，只需对标签进行调整和修改，即可实现应用在边缘节点的统一分发与调度。
可选地，在一些可能的实现中，所述至少一个目标节点包括第一节点；所述指示模块340，用于根据所述第一任务文件和所述第一节点的信息生成第二任务文件，所述第二任务文件用于指示所述第一节点执行所述目标处理任务；基于所述第二任务文件，在所述第一节点上创建目标处理任务。
可选地，在一些可能的实现中，所述装置300还包括第二确定模块；所述第二确定模块，用于解析所述第一任务文件，得到第二标签信息；根据所述第二标签信息确定所述第一节点的信息。
可选地，在一些可能的实现中，所述第一节点的信息包括所述第一节点的拒绝调度参数，所述拒绝调度参数用于指示所述第一节点拒绝执行不具有与所述拒绝调度参数对应的容忍参数的任务；所述指示模块340，用于根据所述第一节点的拒绝调度参数确定与所述拒绝调度参数对应的容忍参数；根据所述与所述拒绝调度参数对应的容忍参数和所述第一任务文件生成第二任务文件。
可选地，在一些可能的实现中，所述多个节点包括第二节点，所述装置400还包括调整模块；所述调整模块，用于获取所述第二节点的相关信息；响应于所述第二节点的相关信息包括所述第一标签，将所述第二节点确定为边缘节点；或，响应于所述第二节点的相关信息不包括所述第一标签，所述控制单元将所述第二节点确定为非边缘节点。
此外，本申请实施例还提供了对应的设备和计算机存储介质，用于实现本申请任一实施例所述的数据处理方法。
本申请实施例中提到的“第一标签”、“第二标签”等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点，包括：
控制单元获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；
所述控制单元判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；
响应于所述第一任务文件包括第一标签，所述控制单元根据所述第一任务文件确定至少一个目标节点，所述目标节点为边缘节点；
所述控制单元指示所述至少一个目标节点执行所述目标处理任务。
2.根据权利要求1所述的方法，其特征在于，所述至少一个目标节点包括第一节点，所述控制单元指示所述至少一个目标节点执行所述目标处理任务包括：
所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件，所述第二任务文件用于指示所述第一节点执行所述目标处理任务；
所述控制单元基于所述第二任务文件，在所述第一节点上创建目标处理任务。
3.根据权利要求2所述的方法，其特征在于，在控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件之前，所述方法还包括：
所述控制单元解析所述第一任务文件，得到第二标签信息；
所述控制单元根据所述第二标签信息确定所述第一节点的信息。
4.根据权利要求3所述的方法，其特征在于，所述第一节点的信息包括所述第一节点的拒绝调度参数，所述拒绝调度参数用于指示所述第一节点拒绝执行不具有与所述拒绝调度参数对应的容忍参数的任务；
所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件包括：
所述控制单元根据所述第一节点的拒绝调度参数确定与所述拒绝调度参数对应的容忍参数；
所述控制单元根据所述与所述拒绝调度参数对应的容忍参数和所述第一任务文件生成第二任务文件。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述多个节点包括第二节点，所述方法还包括：
所述控制单元获取所述第二节点的相关信息；
响应于所述第二节点的相关信息包括所述第一标签，所述控制单元将所述第二节点确定为边缘节点；或，
响应于所述第二节点的相关信息不包括所述第一标签，所述控制单元将所述第二节点确定为非边缘节点。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于第三节点加入所述分布式数据处理系统，获取所述第三节点的第一位置信息；
响应于所述第三节点的地理位置信息与所述第一节点的地理位置信息相同，且所述第三节点为边缘节点，为所述第三节点添加所述第一标签。
7.根据权利要求1所述的方法，其特征在于，所述至少一个目标节点还包括第三节点，所述第三节点与所述第一节点属于不同的地域，所述方法还包括：
确定所述第一任务文件具有应用于所述第一节点对应的地域和所述第二节点对应的地域的功能。
8.一种数据处理装置，其特征在于，所述装置应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点；所述装置包括：
获取模块，用于获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；
判断模块，用于判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；
确定模块，用于响应于所述第一任务文件包括第一标签，根据所述第一任务文件确定至少一个目标节点，所述目标节点属于所述至少一个边缘节点；
指示模块，用于指示所述至少一个目标节点执行所述目标处理任务。
9.一种设备，其特征在于，所述设备包括存储器和处理器，
所述存储器用于存储指令；
所述处理器用于运行所述存储器存储的所述指令，以使所述设备执行如权利要求1-6任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储机制用于存储计算机程序，所述计算机程序用于控制计算机执行如权利要求1-6任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210378729.7A CN114721827A (zh) | 2022-04-08 | 2022-04-08 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210378729.7A CN114721827A (zh) | 2022-04-08 | 2022-04-08 | 一种数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114721827A true CN114721827A (zh) | 2022-07-08 |
Family
ID=82244601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210378729.7A Pending CN114721827A (zh) | 2022-04-08 | 2022-04-08 | 一种数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114721827A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737371A (zh) * | 2023-06-08 | 2023-09-12 | 北京百度网讯科技有限公司 | 批量管理边缘节点的方法、装置及系统 |
-
2022
- 2022-04-08 CN CN202210378729.7A patent/CN114721827A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737371A (zh) * | 2023-06-08 | 2023-09-12 | 北京百度网讯科技有限公司 | 批量管理边缘节点的方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11146453B2 (en) | Method and apparatus for creating network slice, and communications system | |
| US10326653B2 (en) | Method for upgrading network functions virtualization application, service forwarding method, and apparatus | |
| CN108924217B (zh) | 一种分布式云系统自动化部署方法 | |
| CN112187545B (zh) | 一种网络切片的部署方法及装置 | |
| CN111385114B (zh) | Vnf服务实例化方法及装置 | |
| US20170141944A1 (en) | Verifier for network function virtualization resource allocation | |
| CN111858054B (zh) | 一种异构环境下基于边缘计算的资源调度系统及方法 | |
| CN107005426B (zh) | 一种虚拟网络功能的生命周期管理方法及装置 | |
| CN111880902A (zh) | 一种pod创建方法、装置、设备及可读存储介质 | |
| CN111245634B (zh) | 一种虚拟化管理方法及装置 | |
| WO2021003677A1 (zh) | 一种分布式系统中的业务升级方法、装置及分布式系统 | |
| CN111641515A (zh) | Vnf的生命周期管理方法及装置 | |
| CN111970354A (zh) | 一种边缘计算中的应用管理方法以及相关装置 | |
| CN110633085B (zh) | 基于微服务架构的继电保护整定计算方法及装置 | |
| US12035156B2 (en) | Communication method and apparatus for plurality of administrative domains | |
| CN114721827A (zh) | 一种数据处理方法及装置 | |
| CN110912726B (zh) | 服务的提供方法、装置、系统、存储介质及电子装置 | |
| CN113835834A (zh) | 一种基于k8s容器集群计算节点的扩容方法及系统 | |
| CN114443059A (zh) | Kubernetes集群的部署方法、装置及设备 | |
| US12058001B2 (en) | Control device, control method, control program and control system | |
| CN114554504B (zh) | 网络切片规划的方法以及相关设备 | |
| CN114745377A (zh) | 边缘云集群服务系统及实现方法 | |
| CN111581203B (zh) | 信息处理方法、装置及存储介质 | |
| Chen et al. | A Deployment Management of High-Availability Microservices for Edge Computing | |
| CN113098705B (zh) | 网络业务的生命周期管理的授权方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |