CN116227585B - 集群任务的并行执行方法、装置、计算机设备和存储介质 - Google Patents

集群任务的并行执行方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116227585B
CN116227585B CN202310519360.1A CN202310519360A CN116227585B CN 116227585 B CN116227585 B CN 116227585B CN 202310519360 A CN202310519360 A CN 202310519360A CN 116227585 B CN116227585 B CN 116227585B
Authority
CN
China
Prior art keywords
attribute
target
tensor
dimension
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310519360.1A
Other languages
English (en)
Other versions
CN116227585A (zh
Inventor
王宏升
陈�光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310519360.1A priority Critical patent/CN116227585B/zh
Publication of CN116227585A publication Critical patent/CN116227585A/zh
Application granted granted Critical
Publication of CN116227585B publication Critical patent/CN116227585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请涉及一种集群任务的并行执行方法、装置、计算机设备和存储介质。所述方法包括：确定逻辑张量的配置信息；对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量；针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。采用本方法能够在满足多层级关系的计算节点下分布式训练场景的需求的同时，提高分布式训练的效率。

Description

集群任务的并行执行方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种集群任务的并行执行方法、装置、计算机设备和存储介质。
背景技术
随着人工智能大模型技术的发展，在多个计算设备上部署深度学习模型是训练大模型的一种方式，一般在模型训练时会采用更大规模的模型参数或更大规模的训练数据。因此分布式训练作为超大模型高效训练的必要手段，得到了越来越广泛的应用。在命名实体识别的应用中，利用中文命名实体识别模型，可以准确地从文本信息中获取目标文本特征。中文命名实体识别模型可以应用在不同的领域，例如医疗领域、交通领域。以医疗领域为例，基于命名实体识别模型通过对记录治疗的电子病历进行实体识别，提取出不同症状、治疗、药物、手术和解析部位等实体，根据提取的实体构建知识图谱。
然而，现有的神经网络模型是在单层级分布式训练场景下训练的，在具有多层级关系的计算节点下分布式训练场景下，通过对单层级分布式训练进行拼接或嵌套的方式进行训练，导致分布式训练的训练效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种在满足多层级关系的计算节点下分布式训练场景的需求的同时，提高分布式训练的训练效率的集群任务的并行执行方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种集群任务的并行执行方法。所述方法包括：
确定逻辑张量的配置信息；
对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；
针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
在其中一个实施例中，所述确定逻辑张量的配置信息，包括：
根据跨层级设备集群的划分属性，确定所述逻辑张量的层级属性；以及
从预配置数据中确定所述逻辑张量对应的基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，得到所述逻辑张量的配置信息。
在其中一个实施例中，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型不同，则对所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型进行预设数量次转换，得到跨层级分布的转换子图；
其中，所述第一维的维数小于所述第二维的维数，所述预设数量为所述源层级属性的第一维对应的节点数量。
在其中一个实施例中，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型相同，以及
所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中仅存在一个与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型，则获取所述源层级属性的第一维对应的节点数量和所述源层级属性的第二维对应的设备数量，建立所述节点数量乘以所述设备数量个节点之间的全连接，对所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图。
在其中一个实施例中，所述方法还包括：
若所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中不存在与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型，则在预设数量个节点的每个节点之间构建基础划分属性转换子图，对所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图；所述预设数量为所述源层级属性的第一维对应的节点个数。
在其中一个实施例中，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型不同，则根据变换策略数据确定所述第一维上的基础划分类型和所述第二维上的基础划分类型的转换优先级；
基于所述转换优先级，依次对所述第一维上的基础划分类型和所述第二维的基础划分类型进行转换，得到跨层级分布的转换子图。
在其中一个实施例中，所述方法还包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，若所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性不同，则确定所述源层级属性的第一维数和源属性信息，以及所述目标层级属性的第二维数和目标属性信息；
根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性。
在其中一个实施例中，所述根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性，包括：
若所述第一维数和所述第二维数不同，则根据所述张量集群划分维度的约减处理对所述源集群划分属性进行约减处理，将所述源层级属性转换为所述目标层级属性。
在其中一个实施例中，所述根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性，包括：
若所述第一维数和所述第二维数相同，且所述源属性信息和所述目标属性信息不同，则根据所述张量集群划分维度的约减处理和所述物理计算图的约减逻辑数据对所述源层级属性和所述源集群划分属性进行约减处理，将所述源层级属性转换为所述目标层级属性。
第二方面，本申请还提供了一种集群任务的并行执行装置。所述装置包括：
配置模块，用于确定逻辑张量的配置信息；
跨层级分布模块，用于对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；
转换子图确定模块，用于针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
确定逻辑张量的配置信息；
对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；
针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
确定逻辑张量的配置信息；
对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；
针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
确定逻辑张量的配置信息；
对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；
针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
上述集群任务的并行执行方法、装置、计算机设备、存储介质和计算机程序产品，通过确定逻辑张量的配置信息，在对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量；针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。以集群任务中全局流动的张量数据为研究对象，确定张量的配置信息和张量跨层级分布的转换子图，在算子的输入和输出的张量数据层面实现了集群任务跨层级设备的部署，满足了大规模分布式训练的要求，缩短了大规模分布式训练的训练时长，操作简单，进而提高了分布式训练的效率。
附图说明
图1为一个实施例中集群任务的并行执行方法的应用环境图；
图2为一个实施例中集群任务的并行执行方法的流程示意图；
图3为一个实施例中确定逻辑张量的配置信息步骤的流程示意图；
图4为一个实施例中基础划分属性转换示意图；
图5为另一个实施例中基础划分属性转换示意图；
图6为另一个实施例中基础划分属性转换示意图；
图7为另一个实施例中基础划分属性转换示意图；
图8为另一个实施例中基础划分属性转换示意图；
图9为一个实施例中集群任务的并行执行方法装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的集群任务的并行执行方法，可以应用于如图1所示的应用环境中。服务器102和集群组104通过网络进行通讯，集群组104中包括多个集群，每个集群包括多台分布式设备。服务器102确定逻辑张量的配置信息；对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量；针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图，在服务器上完成跨层级分布式操作系统的部署；跨层级的分布式操作系统可以理解为是一种深度学习框架。基于部署好的分布式操作系统，将待训练的神经网络模型以及训练样本数据输入至分布式操作系统，基于分布式操作系统对待训练的神经网络模型进行分布式训练，得到训练好的神经网络模型。基于训练好的神经网络模型可以对待识别数据进行识别，得到识别结果。例如，待训练的神经网络模型可以是图像识别模型、中文命名实体识别模型等。
在一个实施例中，如图2所示，提供了一种集群任务的并行执行方法，以该方法应用于图1所示应用环境为例进行说明，包括以下步骤：
步骤202，确定逻辑张量的配置信息。
其中，逻辑张量可以是集群任务中全局流动的张量数据，逻辑张量可以用多维数组进行表示。配置信息是预先配置的，配置信息包括逻辑张量的层级属性、基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据等。
步骤204，对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量。
其中，源逻辑张量和目标逻辑张量存在相应的配置信息。逻辑张量的属性决定算子的实际分布。
步骤206，针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
可以理解的是，通过对输入输出的张量添加属性，指导算子在物理设备上实际分布。其中，目标属性至少包括层级属性和集群划分属性中的一种。层级属性和集群划分属性可以通过数组的形式进行表示。例如，层级属性和集群划分属性可以是二元数组。源逻辑张量的目标属性至少包括源层级属性和源集群划分属性中的一种。目标逻辑张量的目标属性至少包括目标层级属性和目标集群划分属性中的一种。
层级属性，描述具体的张量放置信息。层级属性的每一维度的大小代表对当前设备集合如何划分。逻辑张量的基础划分类型，可以是逻辑概念意义上的张量按照基础划分类型进行划分，然后将所划分好的逻辑张量分量部署到分布式设备上。所有基础划分类型组成的集合涵盖了全部的并行部署的情形。
分布式训练通常在计算集群上进行，集群的每个节点分别执行一部分计算。不同节点的计算之间有数据依赖和共享，需要将数据在不同节点间传输。若跨层级分布张量的目标属性不同，则跨层级分布的张量无法进行通讯。为了实现跨层级设备之间的并行任务，需要对跨层级设备之间进行分布的张量的不同属性进行转换，进而实现张量之间的通信。
在层级属性不同的情况下，需要对源逻辑张量和目标逻辑张量的层级属性进行转换实现通信。在集群划分属性不同的情况下，需要对源逻辑张量和目标逻辑张量的集群划分属性进行转换。在层级属性和集群划分属性都不同的情况下，可以先对源逻辑张量和目标逻辑张量的层级属性进行转换后，再对源逻辑张量和目标逻辑张量的集群划分属性进行转换。属性转换可以理解为通讯操作，通讯操作可以通过现有的分布式训练的通信原语来实现，例如，通信原语ALLReduce、ALL2ALL等。
上述集群任务的并行执行方法中，通过确定逻辑张量的配置信息，在对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量；针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。以集群任务中全局流动的张量数据为研究对象，确定张量的配置信息和张量跨层级分布的转换子图，在算子的输入和输出的张量数据层面实现了集群任务跨层级设备的部署，满足了大规模分布式训练的要求，缩短了大规模分布式训练的训练时长，操作简单，进而提高了分布式训练的效率。
在一个实施例中，如图3所示，确定逻辑张量的配置信息包括以下：
步骤302，根据跨层级设备集群的划分属性，确定逻辑张量的层级属性。
其中，跨层级设备集群的划分属性可以理解为有多个设备集群，每个集群可以划分为多个节点，每个节点上部署有多台设备，每台设备上部署有多张显卡。即每个集群per_cluster可以划分为多个节点nodes，每个节点可以上可以部署有多台设备devices，每台设备上可以部署多张显卡。在创建字符串类型的设备名称成员变量后创建层级属性。
层级属性，描述具体的张量放置信息。层级属性的每一维度的大小代表对当前设备集合如何划分。例如，集群的节点数目为，每个节点的设备数目为，集群的层级属性为由集群的节点数目和每个节点的设备数目组成的二元组（/>，/>），也就是说，二元组表示的设备划分策略为：将集群划分为/>个节点，每个节点有/>个设备，其中按照节点-设备的层级划分策略要求满足对称原则，也就是说，每次划分的组内的设备总数必须是相同的。
步骤304，从预配置数据中确定逻辑张量对应的基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，确定逻辑张量的配置信息。
其中，逻辑张量的基础划分类型，可以是逻辑概念意义上的张量按照基础划分类型进行划分，然后将所划分好的逻辑张量分量部署到分布式设备上。所有基础划分类型组成的集合涵盖了全部的并行部署的情形。也就是说，所有基础划分类型对于张量并行分布的情形构成一个完备事件组。可以理解的是，考虑到集群任务的并行执行方法所划分的张量分量对用户无感知，用户不参与分布式训练系统层面的设计和实现，所以逻辑概念意义上的张量是指面向用户业务层面编程所感知到的全局张量而言的。基础划分类型包括张量广播属性、张量切分属性和张量局部规约属性等。其中：
张量广播属性可以是描述并行情形时的算子进行计算时，一个设备上的张量被广播至多个设备，使每台设备上有相同的张量。张量广播属性可以标记为B。例如，同一层级有三台设备，A算子对应的输入张量1的属性为广播属性，同一层级上的三台设备都要生成输入张量1，则需要将A算子分别赋值到这三台设备上。
张量切分属性可以是按照某维度对张量进行切分，也可以自定义张量分解算法，根据算法对张量进行分解。当并行情形的算子进行计算时，张量被切分为多个张量分量。不同的算子运算符允许张量在不同的维度上进行拆分。集群任务的并行执行方法将自动处理一个张量在多种算子操作下在不同维度上切分的情况。张量切分属性可以标记为S。
张量局部规约属性可以是指张量分量的形状与全局逻辑张量的形状一致，只是对应位置分布着全局张量的部分数值。如果将关于局部规约属性的所有张量分量的对应位置元素进行规约操作，就可以还原成为全局逻辑张量。张量局部规约属性可以标记为P。
进一步地，张量局部规约属性用于以下情形：例如，在模型并行的分布式训练中，在计算图前向并行计算结束后，前向计算所得结果分布在不同设备上的张量分量中，每个设备上的子图进行后向计算时，当前设备上的张量分量需要将其他设备上的所有张量分量进行规约聚合。此时，如果将分布在不同设备上的张量分量指定局部规约属性，那么在后向计算时就可以直接对所有设备上的张量分量进行规约汇聚，得到全局的逻辑张量，也就是说，可以获取其他设备的正向结果，根据其它设备上的正向结果进行反向传播，提高自身模型的性能。进一步地，减少了规约前对各个设备上的张量分量的形状的判断和转换操作，提高了编译效率。
逻辑张量的集群划分属性，用于指导如何根据逻辑张量的层级属性和基础划分类型对逻辑张量的每一维度进行划分的描述。集群划分属性可以是由张量的基础划分类型和维度信息组成的二元组，例如，可以表示为（S0，S1）。集群划分属性是用来指导张量如何分布到集群的所有设备上，其中每一维度代表张量在当前维度上是如何分配的。例如，集群的层级属性为（，/>）的张量的集群划分属性为（S0，S1），表示将张量沿着第0维进行切分，切分成/>等份，并将每份张量分量分布到每个节点上面。进一步地，将每个节点所分配到的张量分量沿着第1维进行分割，分割成/>等份，并将每份张量分量分布到每个设备上面。
张量集群划分维度的约减处理可以是指张量的层级属性的每个维度可以展开成多个基础划分类型的子过程。若逻辑张量的集群划分属性只存在一个维度，则对一个基础划分类型的维度的进行升维处理，得到至少两个维度上的张量数据分布。例如，逻辑张量以S0为集群划分属性分布到个设备上，可以转换为张量以（S0，S0）为集群划分属性分布到以层级属性为（/>，/>）的并行设备上，其中=/>×/>。
若集群划分属性存在至少两个维度上且至少两个维度上的基础划分类型相同，则对至少两个维度进行降维处理，得到降维后的张量数据分布。如果张量集群划分属性各个维度的基础划分类型相同，那么可以将各个维度的基础划分类型进行合并，获取到约减所得的集群划分属性。比如，以层级属性为（2，5，6）和集群划分属性为（S0，S0，B）分布的张量可以约减为以层级属性为（10，6）和集群划分属性为（S0，B）进行分布的张量。由此可知，张量集群划分维度的约减处理可以将跨层级并行子图上的张量分布的复杂度从跨层级分布约减为同一层级上的分布。也就是说，将张量以层级属性为（，/>）的跨层级分布约减为以层级属性为/>×/>的同一层级下跨设备分布，将张量的层级属性从二维降为一维的约减过程。通过张量集群划分维度的约减处理后，构建子图过程中，张量可以从原来的跨层级的关于层级属性为二维分布的复杂度降低为同一集群下的跨设备的一维分布复杂度，简化了构图过程，加快了编译效率。
进一步地，在由逻辑张量构建物理计算图时，会根据上下游节点的信息构建子图，根据传入的张量的层级属性和集群划分属性信息，进行多维张量的基础划分类型的转换来构建子图，因此需要确定物理计算图的约减逻辑数据。
考虑到逻辑张量在跨层级设备之间进行分布的情形，对于将张量从当前所在的层级设备分布到目标层级设备的情形，可以将当前层级设备对应的张量的层级属性和集群划分属性称作源层级属性和源集群划分属性。相应地，将目标层级设备对应的张量的层级属性和集群划分属性可以称作目标层级属性和目标集群划分属性。对于将张量从源层级设备分布到目标层级设备过程中，构建子图过程中约减逻辑数据包括：
第一种情况，在张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量的源层级属性和源集群划分属性，以及目标层级设备对应的张量的目标源层级属性和目标集群划分属性；若源层级属性的维数和目标层级属性的维数不同，则可以对源层级属性、源集群划分属性、目标层级属性和目标集群划分属性中的至少一个进行约减处理，得到约减处理后的张量数据分布。
也就是说，对于张量的源层级属性与目标层级属性的维度数量不同的情形，则可以分别对张量的源层级属性、源集群划分属性或目标层级属性、目标集群划分属性进行约减，以达到约减子图的构建过程。例如，以源层级属性为（10），源集群划分属性为（S0）的张量分布为以目标层级属性为（2，5），目标集群划分属性为（B，B）的张量, 则约减后子图构建过程所对应的张量分布过程是：以源层级属性为（10），源集群划分属性为（S0）的张量分布为以目标层级属性为（10），目标集群划分属性为（B）的张量。
第二种情况，若源层级属性的维数和目标层级属性的维数相同，源集群划分属性在各维度上的基础划分类型相同，以及目标集群划分属性在各维度上的基础划分类型相同，则对源层级属性、目标层级属性、源集群划分属性和源目标集群划分属性进行约减处理，得到约减处理后的张量数据分布。
也就是说，对于张量的源层级属性与目标层级属性的维度数量相同的情形，若源层级属性与目标层级属性每一维度对应的数值不同，且源集群划分属性和目标集群划分属性的每个维度的基础划分类型相同，则对源层级属性、源集群划分属性、目标层级属性以及目标集群划分属性进行同时约减，避免约减后维度不同以及降低构建子图的复杂度。例如，以源层级属性为（2，5），源集群划分属性为（S0，S0）的张量分布为以目标层级属性为（5，2），目标集群划分属性为（B，B）的张量，则约减后子图构建过程所对应的张量分布过程是：以源层级属性为（10），源集群划分属性为（S0）的张量分布为以目标层级属性为（10），目标集群划分属性为（B）的张量。又如，以源层级属性为（2，5），源集群划分属性为（S0，S0）的张量分布为以目标层级属性为（5，2），目标集群划分属性为（B，S0）的张量，此时源层级属性和源集群划分属性可以约减，但是因为目标集群划分属性不能约减，因此不做维度约减操作。
上述实施例中，以集群任务中全局流动的张量数据为研究对象，确定各逻辑张量的层级属性、基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，对算子的输入和输出的张量数据实现了部署在跨层级的部署，提高了模型训练的编译效率，简化操作，提高利用大规模集群计算资源训练大模型的效率。
在源逻辑张量以源层级属性分布为目标层级属性的过程中，存在源层级属性和目标层级属性相同的情况，源集群划分属性和目标集群划分属性不同的情况，还存在源层级属性和目标层级属性不相同的情况，且源集群划分属性和目标集群划分属性不同的情况。针对上述情况，需要层级属性和/或集群划分划分属性进行转换。在一个实施例中，针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到跨层级分布的转换子图包括以下几种情况：
第一种情况：针对于配置信息中的层级属性和集群划分属性，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，若源逻辑张量的源集群划分属性的第一维上的基础划分类型和目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型不同，则对源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型进行预设数量次转换，得到跨层级分布的转换子图；其中，第一维的维数小于第二维的维数，预设数量为源层级属性的第一维对应的节点个数。
其中，层级属性和集群划分属性均为二元数组，源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同可以理解为数组的维数相同，且每一维对应的数值也相同。
例如，以源层级属性（n，m），源集群划分属性为（S0，P）的源逻辑张量分布为以目标层级属性（n，m），目标集群划分属性为（S0，B）的目标逻辑张量。源逻辑张量的源集群划分属性的第一维上的基础划分类型和目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型不同。根据层级属性可知，集群有n个节点，每个节点内有m个设备，则需要将n个节点内的m个设备对应的基础划分属性进行转换，即构建n个一维的将基础划分属性P转换为集群划分属性B的过程，也就是说，需要转换n次，转换的方式的可以通过现有的转换工具进行转换，例如，可以应用中间通信原语ALLReduce进行转换。如图4所示，以n个节点中源节点和目标节点为例来进行说明，源节点对应的源集群划分属性的第二维上的基础划分类型和目标节点对应的目标集群划分属性的第二维上的基础划分类型不同，则对第二维上的基础划分类型进行转换。
第二种情况：针对于配置信息中的层级属性和集群划分属性，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，若源逻辑张量的源集群划分属性的第一维上的基础划分类型和目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不相同，源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型相同，以及源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型中仅存在一个与目标集群划分属性的第二维上的基础划分类型相同的基础划分类型，则获取源层级属性的第一维对应的节点数量和源层级属性的第二维对应的设备数量，建立节点数量乘以设备数量个节点之间的全连接，对源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图。
其中，建立节点数量乘以设备数量个节点之间的全连接，根据源集群划分属性和目标集群划分属性的张量数据分布情况，从需要的位置搬运数据，以完成源集群划分属性和目标集群划分属性之间的转换。例如，以源层级属性（n，m），源集群划分属性为（P，S0）的源逻辑张量分布为以目标层级属性（n，m），目标集群划分属性为（S0，S0）的目标逻辑张量。源逻辑张量的源集群划分属性的第一维上的基础划分类型为P，目标逻辑张量的目标集群划分属性的第一维上的基础划分类型为S0，两者不同。源层级属性的第一维对应的节点数量为n，源层级属性的第二维对应的设备数量为m，建立n×m个节点之间的全连接，对源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型进行转换。张量跨层级的基础划分属性转换部分示意图如图5所示，以源节点和目标节点为进行说明，根据数据分布的对应关系，根据目标节点上对应的目标逻辑张量的基础划分属性，从源节点的张量数据中搬运目标节点对应位置所需的数据。
例如，以源层级属性（n，m），源集群划分属性为（S1，S1）的源逻辑张量分布为以目标层级属性（n，m），目标集群划分属性为（B，S1）的目标逻辑张量。源逻辑张量的源集群划分属性的第一维上的基础划分类型为S1，目标逻辑张量的目标集群划分属性的第一维上的基础划分类型为B，两者不同。源层级属性的第一维对应的节点数量为n，源层级属性的第二维对应的设备数量为m，建立n×m个节点之间的全连接，从需要的位置搬运张量数据，对源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型进行转换。如图6所示，以源节点和目标节点为进行说明，根据数据分布的对应关系，根据目标节点上对应的目标逻辑张量的基础划分属性，从源节点的张量数据中搬运目标节点对应位置所需的数据。
第三种情况：针对于配置信息中的层级属性和集群划分属性，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，若源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型中不存在与目标集群划分属性的第二维上的基础划分类型相同的基础划分类型，则在预设数量个节点的每个节点之间构建基础划分属性转换子图，对源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图。其中，预设数量为源层级属性的第一维对应的节点个数。
例如，对于源集群划分属性与目标集群划分属性的第0维上基础划分属性不同，第1维上基础划分属性相同的情形，则n个节点的每个节点之间构建基础划分属性转换子图，如node 0到node n的第i个节点之间构建子图，其中i=0，1，......，m-1共构建m个基础划分属性的转换子图。例如，以源集群划分属性为（P，S1）的张量分布为以目标集群划分属性为（B，S1）的张量，则n个节点的每个节点之间构建转换子图，如node 0到node n的第0个节点之间构建子图，node 0到node n的第1个节点之间构建子图，node 0到node n的第m-1个节点之间构建子图，共构建m个子图。如图7所示，为部分源集群划分属性与目标集群划分属性的第0维上基础划分属性不同的数据搬运示意图，在源节点和目标节点之间对张量数据进行搬运。
第四种情况：针对于配置信息中的层级属性和集群划分属性，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，若源逻辑张量的源集群划分属性的第一维上的基础划分类型和目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不同，源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型不同，则根据变换策略数据确定第一维上的基础划分类型和第二维上的基础划分类型的转换优先级；基于转换优先级，依次对第一维上的基础划分类型和第二维的基础划分类型进行转换，得到跨层级分布的转换子图。
其中，变换策略数据包括基础划分属性转换次数最少。例如，基于基础划分属性转换次数最少的变换策略数据，确定集群划分属性第一维基础划分属性转换的优先级高于集群划分属性第二维的基础划分属性转换的优先级。例如，源集群划分属性与目标集群划分属性的第0维和第1维的上基础划分属性都不同的情形，以源集群划分属性为（B，S1）的张量分布为以目标集群划分属性为（S0，B）的张量，基于基础划分属性转换次数最少的变换策略数据，可以先对第0维上的基础划分属性进行变换，再对第1维上的基础划分属性进行变换。如图8所示，为部分源集群划分属性与目标集群划分属性各维度基础划分属性不同的数据搬运示意图，在源节点和目标节点之间对张量数据进行搬运。
第五种情况：针对于配置信息中的层级属性和集群划分属性，若源逻辑张量的源层级属性和目标逻辑张量的目标层级属性不同，则确定源层级属性的第一维数和源属性信息，以及目标层级属性的第二维数和目标属性信息；根据第一维数、源属性信息、第二维数和目标属性信息，利用张量集群划分维度的约减处理，和/或物理计算图的约减逻辑数据，将源层级属性转换为目标层级属性。
在一个实施例中，若第一维数和第二维数不同，则根据张量集群划分维度的约减处理对源集群划分属性进行约减处理，将源层级属性转换为目标层级属性。
例如，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性不同的情况下，第一维数和第二维数不同，且第一维的维数为1，第二维的维数为2。源层级属性为（10），源集群划分属性为（S0）的张量分布为以目标层级属性为（2，5），目标集群划分属性为（B，B）的张量，由于源层级属性为（10），源集群划分属性为（S0）的张量和目标层级属性为（2，5）目标集群划分属性为（S0，S0）的张量等价，则可以直接将源层级属性为（10），源集群划分属性为（S0）的张量等价变换为源层级属性为（2，5），源集群划分属性为（S0，S0）的张量，确保源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同。在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，可以基于上述步骤判断源集群划分属性和目标集群划分属性是否相同，具体步骤通过上述方式实现，在此不做赘述。
在一个实施例中，若第一维数和第二维数相同，且源属性信息和目标属性信息不同，则根据张量集群划分维度的约减处理和物理计算图的约减逻辑数据对源层级属性和源集群划分属性进行约减处理，将源层级属性转换为目标层级属性。
其中，第一维数和第二维数可以是两维。进一步地，在第一维数和第二维数相同，且源属性信息和目标属性信息不同的情况下，对源层级属性和源集群划分属性进行约减处理的先后顺序可以根据数据的处理量以及数据处理效率来确定。例如，为了减少数据的处理量以及提高数据的处理效率，源层级属性为（5，2），源集群划分属性为（S0，S1）的张量分布为以目标层级属性为（2，5），目标集群划分属性为（B，S0）的张量。
根据张量集群划分维度的约减处理和物理计算图的约减逻辑数据，可以确定源层级属性为（5，2），源集群划分属性为（S0，S0） 的张量与源层级属性为（2，5），源集群划分属性为（S0，S0）的张量等价，则可以先将源层级属性为（5，2），源集群划分属性为（S0，S1）的张量转换为源层级属性为（5，2），源集群划分属性为（S0，S0）的张量。由于源层级属性为（5，2），源集群划分属性为（S0，S0）的张量等价于源层级属性为（2，5），源集群划分属性为（S0，S0）的张量，所以接下来就将源层级属性为（2，5），源集群划分属性为（S0，S0）的张量转换为以目标层级属性为（2，5），目标集群划分属性为（B，S0）的张量。在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，可以基于上述步骤判断源集群划分属性和目标集群划分属性是否相同，具体步骤通过上述方式实现，在此不做赘述。
可以理解的是上述实施例中，S0代表的是张量沿着横轴切分所得张量分量的散播属性，S1代表沿着纵轴切分所得张量分量的散播属性。第一维的维数小于第二维的维数。
上述跨层级分布的转换子图的构建方法中，在源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，通过目标属性进行转换，实现跨层级分布张量的通信。这一过程对业务端用户无感知，降低了算法工程师对于分布式训练技术的使用门槛，加快了利用大规模集群计算资源生产通用人工智能大模型的效率。
在一个实施例中，基于上述集群任务的并行执行方法完成分布式操作系统的设计，以待训练的神经网络模型为中文命名实体识别模型进行说明，中文命名实体识别模型可以从文本中识别出具有特定意义的命名实体的任务，将文本中的命名实体定位并分类为预先定义的类型。中文命名实体识别模型可以应用在不同场景中，例如，可以识别医疗电子病历中的文本信息，构建知识图谱；还可以识别在POI的实体名称，搜索的实体的确定，还可以确定资源转移的转移主题的确定。
基于分布式操作系统，输入待训练的中文命名实体识别模型和训练文本数据，对待训练的中文命名实体识别模型进行训练，输出训练好的中文命名实体识别模型。获取待识别的中文文本数据，通过训练好的中文命名实体识别模型对待识别的中文文本数据进行识别，输出识别的命名实体。基于上述的集群任务的并行执行方法，加快了利用大规模集群计算资源训练中文命名实体识别模型的效率，以及提高了模型的性能，进而提高了中文命名实体识别模型的识别准确性。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的集群任务的并行执行方法的集群任务的并行执行装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个集群任务的并行执行装置实施例中的具体限定可以参见上文中对于集群任务的并行执行方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种集群任务的并行执行装置，包括：配置模块902、跨层级分布模块904和转换子图确定模块906，其中：
配置模块902，用于确定逻辑张量的配置信息。
跨层级分布模块904，用于对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量。
转换子图确定模块906，用于针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
上述集群任务的并行执行装置，通过确定逻辑张量的配置信息，在对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量；针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。以集群任务中全局流动的张量数据为研究对象，确定张量的配置信息和张量跨层级分布的转换子图，在算子的输入和输出的张量数据层面实现了集群任务跨层级设备的部署，满足了大规模分布式训练的要求，缩短了大规模分布式训练的训练时长，操作简单，进而提高了分布式训练的效率。
可选地，在一个实施例中，配置模块902还用于根据跨层级设备集群的划分属性，确定逻辑张量的层级属性；以及从预配置数据中确定逻辑张量的基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，确定逻辑张量的配置信息。
可选地，在一个实施例中，转换子图确定模块906还用于针对于配置信息中的层级属性和集群划分属性，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，若源逻辑张量的源集群划分属性的第一维上的基础划分类型和目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型不同，则对源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型进行预设数量次转换，得到跨层级分布的转换子图；其中，第一维的维数小于第二维的维数，预设数量次为源层级属性的第一维对应的节点数量。
在一个实施例中，转换子图确定模块906还用于针对于配置信息中的层级属性和集群划分属性，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，若源逻辑张量的源集群划分属性的第一维上的基础划分类型和目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不相同，源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型相同，以及源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型中仅存在一个与目标集群划分属性的第二维上的基础划分类型相同的基础划分类型，则获取源层级属性的第一维对应的节点数量和源层级属性的第二维对应的设备数量，建立节点数量乘以设备数量个节点之间的全连接，对源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图。
在一个实施例中，转换子图确定模块906还用于若源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型中不存在与目标集群划分属性的第二维上的基础划分类型相同的基础划分类型，则在预设数量个节点的每个节点之间构建基础划分属性转换子图，对源集群划分属性的第一维上的基础划分类型和目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图；预设数量为源层级属性的第一维对应的节点个数。
在一个实施例中，转换子图确定模块906还用于针对于配置信息中的层级属性和集群划分属性，在源逻辑张量的源层级属性和目标逻辑张量的目标层级属性相同的情况下，若源逻辑张量的源集群划分属性的第一维上的基础划分类型和目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不同，源集群划分属性的第二维上的基础划分类型和目标集群划分属性的第二维上的基础划分类型不同，则根据变换策略数据确定第一维上的基础划分类型和第二维上的基础划分类型的转换优先级；基于转换优先级，依次对第一维上的基础划分类型和第二维的基础划分类型进行转换，得到跨层级分布的转换子图。
在一个实施例中，转换子图确定模块906还用于针对于配置信息中的层级属性和集群划分属性，若源逻辑张量的源层级属性和目标逻辑张量的目标层级属性不同，则确定源层级属性的第一维数和源属性信息，以及目标层级属性的第二维数和目标属性信息；根据第一维数、源属性信息、第二维数和目标属性信息，利用张量集群划分维度的约减处理，和/或物理计算图的约减逻辑数据，将源层级属性转换为目标层级属性。
在一个实施例中，转换子图确定模块906还用于若第一维数和第二维数不同，则根据张量集群划分维度的约减处理对源集群划分属性进行约减处理，将源层级属性转换为目标层级属性。
在一个实施例中，转换子图确定模块906还用于若第一维数和第二维数相同，且源属性信息和目标属性信息不同，则根据张量集群划分维度的约减处理和物理计算图的约减逻辑数据对源层级属性和源集群划分属性进行约减处理，将源层级属性转换为目标层级属性。
上述集群任务的并行执行装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储张量数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种集群任务的并行执行方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种集群任务的并行执行方法，其特征在于，所述方法包括：
根据跨层级设备集群的划分属性，确定逻辑张量的层级属性；以及
从预配置数据中确定所述逻辑张量对应的基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，得到所述逻辑张量的配置信息；
对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；
针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图；
其中，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，
若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型不同，则对所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型进行预设数量次转换，得到跨层级分布的转换子图；
其中，所述第一维的维数小于所述第二维的维数，所述预设数量为所述源层级属性的第一维对应的节点数量。
2.根据权利要求1所述的方法，其特征在于，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型相同，以及
所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中仅存在一个与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型，则获取所述源层级属性的第一维对应的节点数量和所述源层级属性的第二维对应的设备数量，建立所述节点数量乘以所述设备数量个节点之间的全连接，对所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中不存在与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型，则在预设数量个节点的每个节点之间构建基础划分属性转换子图，对所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图；所述预设数量为所述源层级属性的第一维对应的节点个数。
4.根据权利要求1所述的方法，其特征在于，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型不同，则根据变换策略数据确定所述第一维上的基础划分类型和所述第二维上的基础划分类型的转换优先级；
基于所述转换优先级，依次对所述第一维上的基础划分类型和所述第二维的基础划分类型进行转换，得到跨层级分布的转换子图。
5.根据权利要求1至权利要求4任意一项所述的方法，其特征在于，所述方法还包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，若所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性不同，则确定所述源层级属性的第一维数和源属性信息，以及所述目标层级属性的第二维数和目标属性信息；
根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性，包括：
若所述第一维数和所述第二维数不同，则根据所述张量集群划分维度的约减处理对所述源集群划分属性进行约减处理，将所述源层级属性转换为所述目标层级属性。
7.根据权利要求5所述的方法，其特征在于，所述根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性，包括：
若所述第一维数和所述第二维数相同，且所述源属性信息和所述目标属性信息不同，则根据所述张量集群划分维度的约减处理和所述物理计算图的约减逻辑数据对所述源层级属性和所述源集群划分属性进行约减处理，将所述源层级属性转换为所述目标层级属性。
8.一种集群任务的并行执行装置，其特征在于，所述装置包括：
配置模块，用于根据跨层级设备集群的划分属性，确定逻辑张量的层级属性；以及
从预配置数据中确定所述逻辑张量对应的基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，得到所述逻辑张量的配置信息；
跨层级分布模块，用于对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；
转换子图确定模块，用于针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图；所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述转换子图确定模块还用于针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，
若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型不同，则对所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型进行预设数量次转换，得到跨层级分布的转换子图；
其中，所述第一维的维数小于所述第二维的维数，所述预设数量为所述源层级属性的第一维对应的节点数量。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310519360.1A 2023-05-10 2023-05-10 集群任务的并行执行方法、装置、计算机设备和存储介质 Active CN116227585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310519360.1A CN116227585B (zh) 2023-05-10 2023-05-10 集群任务的并行执行方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310519360.1A CN116227585B (zh) 2023-05-10 2023-05-10 集群任务的并行执行方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN116227585A CN116227585A (zh) 2023-06-06
CN116227585B true CN116227585B (zh) 2023-07-25

Family

ID=86570025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310519360.1A Active CN116227585B (zh) 2023-05-10 2023-05-10 集群任务的并行执行方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116227585B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764940A (zh) * 2021-04-12 2021-05-07 北京一流科技有限公司 多级分布式数据处理部署系统及其方法
CN113961351A (zh) * 2021-10-28 2022-01-21 北京百度网讯科技有限公司 深度学习模型的分布式训练方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449857B (zh) * 2020-03-27 2022-08-19 华为技术有限公司 一种数据处理方法和数据处理设备
US20230004365A1 (en) * 2021-06-24 2023-01-05 Marvell Asia Pte Ltd Multistage compiler architecture
CN114186687B (zh) * 2022-02-17 2022-05-17 之江实验室 一种面向神经网络模型计算的中间表示方法和装置
CN114598631B (zh) * 2022-04-28 2022-08-09 之江实验室 面向神经网络计算的分布式数据路由的建模方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764940A (zh) * 2021-04-12 2021-05-07 北京一流科技有限公司 多级分布式数据处理部署系统及其方法
CN113961351A (zh) * 2021-10-28 2022-01-21 北京百度网讯科技有限公司 深度学习模型的分布式训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116227585A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
De Floriani et al. Morse complexes for shape segmentation and homological analysis: discrete models and algorithms
CN112132287B (zh) 一种分布式的量子计算仿真方法和装置
CN110728317A (zh) 决策树模型的训练方法、系统、存储介质及预测方法
WO2022068663A1 (zh) 内存分配方法、相关设备及计算机可读存储介质
CN111400555B (zh) 图数据查询任务处理方法、装置、计算机设备和存储介质
CN114579584B (zh) 数据表处理方法、装置、计算机设备和存储介质
CN112163601A (zh) 图像分类方法、系统、计算机设备及存储介质
WO2015180340A1 (zh) 一种数据挖掘方法及装置
Chew et al. Large-scale 3D point-cloud semantic segmentation of urban and rural scenes using data volume decomposition coupled with pipeline parallelism
CN115293919A (zh) 面向社交网络分布外泛化的图神经网络预测方法及系统
CN115223662A (zh) 数据处理方法、装置、设备及存储介质
US10482130B2 (en) Three-dimensional tree diagrams
KR102039244B1 (ko) 반딧불 알고리즘을 이용한 데이터 클러스터링 방법 및 시스템
CN116227585B (zh) 集群任务的并行执行方法、装置、计算机设备和存储介质
Wang et al. Deep Learning of Partial Graph Matching via Differentiable Top-K
US20220343146A1 (en) Method and system for temporal graph neural network acceleration
CN111553374B (zh) 道路场景划分方法、装置、电子设备及存储介质
Marques et al. A cloud computing based framework for general 2D and 3D cellular automata simulation
CN116755714B (zh) 深度神经网络模型的运行方法、装置、设备和存储介质
CN117056088B (zh) 一种基于MapReduce的多模态测图数据分布式并行计算方法及系统
Recaido et al. Visual Explainable Machine Learning for High-Stakes Decision-Making with Worst Case Estimates
CN110456985B (zh) 面向多模态网络大数据的层次型存储方法及系统
US20240104790A1 (en) Optimizing grid-based compute graphs
KR102273868B1 (ko) 비지도학습에서의 사용자의도 반영 방법 및 그 장치
Shivalkar et al. Rough set based green cloud computing in emerging markets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant