CN113836386B - 一种并行模式搜索空间构造系统和方法 - Google Patents
一种并行模式搜索空间构造系统和方法 Download PDFInfo
- Publication number
- CN113836386B CN113836386B CN202111410689.1A CN202111410689A CN113836386B CN 113836386 B CN113836386 B CN 113836386B CN 202111410689 A CN202111410689 A CN 202111410689A CN 113836386 B CN113836386 B CN 113836386B
- Authority
- CN
- China
- Prior art keywords
- tensor
- parallel mode
- logic
- physical
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
Abstract
本发明提供了一种并行模式搜索空间构造系统和方法,该方法为:初始化输入逻辑张量;计算并输出逻辑张量真值;构造所有候选并行模式,确定输入和输出张量并行模式迭代内容;结合输入张量并行模式迭代内容,切分输入逻辑张量为物理张量;判断物理张量计算合法性,若合法,计算物理张量结果并输出;若非法,继续输入张量并行模式迭代过程;结合输出张量并行模式迭代内容,合并物理张量运算结果为逻辑张量;对比逻辑张量真值和逻辑张量,若相等,将该并行模式添加到合法并行模式搜索空间中,并直接继续输入张量并行模式迭代过程;若不相等,继续输出张量并行模式迭代过程,直到迭代完成后,重复所述以上步骤,直到所述输入张量并行模式迭代过程完成。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种并行模式搜索空间构造系统和方法。
背景技术
随着分布式计算的普及,大型作业或大型逻辑张量会通过分割方式将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理,在各个计算过程中会进行中间参数的交互,这将引起计算设备之间的数据传输开销。随着数据量的增大,这种不同计算设备之间的数据传输开销对于分布式数据处理系统而言将造成极大的计算负担。
在申请号为“202010090335.2”, 公告号CN110955734B ,发明名称为“逻辑节点的分布式签名决策系统及其方法”的发明申请中,提出一种SBP分布式签名决策系统能够从全局角度讲静态分布式数据处理系统在处理数据过程中的不同计算设备之间的数据交换量最小化,从而减少的数据交互过程产生的开销。但该发明申请要求系统设计师基于分布式描述符根据自身经验事先在系统中定义有效并行模式搜索空间,这要求系统设计工程师具有全面的数学理论和丰富的系统分析经验。因此,在支持数据并行、模型并行和混合并行、流水并行的分布式数据处理系统中,如何自动化的生成并行模式搜索空间是提高分布式计算系统正确性、降低开发难度的关键问题。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提出了一种并行模式搜索空间构造系统和方法,其具体技术方案如下:
一种并行模式搜索空间构造系统,包括:
初始化器,用于初始化输入逻辑张量;
迭代器,包括输入张量并行模式迭代器和输出张量并行模式迭代器,用于迭代并行模式搜索空间中的每一个候选并行模式;
计算器,包括逻辑算子计算引擎和物理算子计算引擎,所述逻辑算子计算引擎用于计算逻辑算子张量运算结果,输出逻辑张量真值,所述物理算子计算引擎计算物理算子张量运算结果,输出物理张量;
张量转换器,包括张量合并器和张量切分器,所述张量切分器用于结合输入逻辑张量和输入张量并行模式迭代器,将逻辑张量转换为物理张量,所述张量合并器用于结合输出物理张量和输出张量并行模式迭代器,将物理张量转换为逻辑张量;
张量对比器,用于比较两个或多个张量是否相等;
合法并行模式添加器,用于将判断合法的并行模式添加到合法并行模式搜索空间中。
进一步的,所述并行模式搜索空间中的每个候选并行模式,指定了其所属节点的每个输入张量的分布式描述符,以及每个输出张量的分布式描述符,并且每个已经确定并行模式的上游节点的输出端的分布式描述符,针对当前节点的每一个候选并行模式,都有确定的当前节点的输出并行模式。
进一步的,所述分布式描述符包括:分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符,且所述分布式描述符构成了所述张量转换器内容。
进一步的,所述计算器基于张量相乘运算以启动逻辑算子计算引擎和物理算子计算引擎,计算器的计算内容的表达式为:
进一步的,所述张量对比器具体的,用于对比逻辑张量真值和所述转换后逻辑张量是否相等,对比内容不限于逻辑张量形状、数值、数值类型,还包括其他张量固定属性。
一种并行模式搜索空间构造方法,包括如下步骤:
步骤1、利用初始化器初始化输入逻辑张量;
步骤2、将所述输入逻辑张量输入并启动逻辑算子计算引擎,输出逻辑张量真值;
步骤3、构造并行模式搜索空间,从而确定输入张量并行模式迭代器迭代分布式签名和输出张量并行模式迭代器迭代分布式签名;
步骤4、结合输入张量并行模式迭代器迭代分布式签名,利用张量切分器将所述输入逻辑张量转换为物理张量,并输出;
步骤5、判断物理张量,计算合法性,若合法,则将物理张量输入并启动物理算子计算引擎,输出物理张量运算结果;若非法,则将物理张量继续输入张量并行模式迭代器的迭代过程,直到迭代完成;
步骤6、结合输出张量并行模式迭代器迭代分布式签名,利用张量合并器将所述输出物理张量运算结果转换为逻辑张量,并输出;
步骤7、利用张量对比器判断所述逻辑张量真值和所述转换后逻辑张量是否相等,若相等,则利用合法并行模式添加器将该并行模式添加到合法并行模式搜索空间中,并直接继续所述输入张量并行模式迭代器的迭代过程;若不相等,继续所述输出张量并行模式迭代器的迭代过程,直到迭代完成后,继续所述输入张量并行模式迭代器迭代过程。
步骤8、重复所述1至7步骤,直到所述输入张量并行模式迭代器迭代完成,此时合法并行模式搜索空间构造完毕。
进一步的,所述初始化过程包括初始化张量的所有固定属性。
本发明的优点:
本发明的一种并行模式搜索空间构造系统和方法,能够通过自动化的方式,自动构造有效的并行模式搜索空间,降低了要求设计者具有丰富经验的要求,提升了数据处理效率。
附图说明
图1是本发明的一种并行模式搜索空间构造系统的结构图;
图2是本发明的一种并行模式搜索空间构造方法的流程图;
其中,S101-初始化器,S201-迭代器,S202-输入张量并行模式迭代器,S203-输出张量并行模式迭代器,S301-计算器,S302-算子计算引擎,S303-物理算子计算引擎,S401-张量转换器,S402-张量合并器,S403-张量切分器,S501-张量对比器,S601-合法并行模式添加器。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白,以下结合说明书附图和实施例,对本发明作进一步详细说明。
如图1所示,本发明的一种并行模式搜索空间构造系统,包括:
初始化器S101,用于初始化输入逻辑张量,生成用于分布式数据处理系统的初始逻辑节点拓扑图;
迭代器S201,包括输入张量并行模式迭代器S202和输出张量并行模式迭代器S203,用于迭代并行模式搜索空间中的每一个候选并行模式。
所述并行模式搜索空间大小与非限定分布式描述符相关,所述并行模式搜索空间中的每个候选并行模式,指定了其所属节点的每个输入张量的分布式描述符,以及每个输出张量的分布式描述符;根据所述候选并行模式,可将逻辑张量通过切分转换为物理张量,也可将物理张量通过合并转换为逻辑张量。并且每个已经确定并行模式的上游节点的输出端的分布式描述符,针对当前节点的每一个候选并行模式,都有确定的当前节点的输出并行模式。
所述分布式描述符不限定于现有张量的分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符,且所述分布式描述符构成了所述张量转换器内容。
计算器S301,包括逻辑算子计算引擎S302和物理算子计算引擎S303,分别用于计算逻辑算子和物理算子张量运算结果;
张量转换器S401,包括张量合并器S402和张量切分器S403,所述张量切分器S403用于将输入逻辑张量结合输入张量并行模式迭代器S202将逻辑张量转换为物理张量,所述张量合并器S402用于将输出物理张量结合输出张量并行模式迭代器S203将物理张量转换为逻辑张量;
张量对比器S501,用于对比两个逻辑张量是否相等;
合法并行模式添加器S601,用于将判断合法的并行模式添加到合法并行模式搜索空间中。
作为一种可选的实施方式,本发明的所述迭代器S201的迭代内容,候选并行模式不限于申请号为“202010090335.2”名称为“逻辑节点的分布式签名决策系统及其方法”的发明申请中所提供的SBP分布式描述符,如:分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符。
为了使本发明特点更加详细易懂,本部分基于所述SBP分布式描述符所构成的并行模式搜索空间加以具体描述。因此张量切分器S403将输入逻辑张量结合输入张量并行模式迭代器S202所迭代的SBP分布式描述符,将逻辑张量转换为物理张量,张量合并器S402将输出物理张量结合输出张量并行模式迭代器S203所迭代的SBP分布式描述符将物理张量转换为逻辑张量。
作为一种可选的实施方式,计算器S301计算内容不限于张量的各种基础运算和高级运算。为了方便详细推导描述,本部分基于张量相乘运算以启动逻辑算子计算引擎S302和物理算子计算引擎S303。
作为一种可选的实施方式,张量对比器S501的对比内容不限于逻辑张量形状、数值、数值类型,还包括其他张量固定属性。
如图2所示,本发明的一种并行模式搜索空间构造方法,包括如下步骤:
步骤1、利用初始化器S101初始化输入逻辑张量,初始化过程包括初始化张量的所有固定属性;
步骤2、启动逻辑算子计算引擎S302输出逻辑张量真值;
步骤3、构造并行模式搜索空间,从而确定输入张量并行模式迭代器S202迭代分布式签名和输出张量并行模式迭代器S203迭代分布式签名;
步骤4、结合输入张量并行模式迭代器S202迭代分布式签名,利用张量切分器S403将所述输入逻辑张量转换为物理张量,并输出;
步骤5、判断输出物理张量,计算合法性,为合法计算判断物理张量的任意数学计算合法性和物理性质合法性。若合法,则启动物理算子计算引擎S303并输出物理张量运算结果;若非法,则继续输入张量并行模式迭代器S202的迭代过程,直到迭代完成;
步骤6、结合输出张量并行模式迭代器S203迭代分布式签名,利用张量合并器S402将所述输出物理张量运算结果转换为逻辑张量,并输出;
步骤7、利用张量对比器S501判断所述逻辑张量真值和所述转换后逻辑张量是否相等。若相等,则利用合法并行模式添加器S601将该并行模式添加到合法并行模式搜索空间中,并直接继续所述输入张量并行模式迭代器S202的迭代过程;若不相等,继续所述张量并行模式迭代器S203的迭代过程,直到迭代完成后,继续所述输入张量并行模式迭代器S202迭代过程;
步骤8、重复所述1至7步骤,直到所述输入张量并行模式迭代器S202迭代完成,此时合法并行模式搜索空间构造完毕。
即X和W分别为m, n 维张量,即, ,其中dk和ek分别为X或
W第k维的大小。因此基于SBP分布式描述符,及分割张量分布式描述符、广播张量分布式描
述符和部分和张量分布式描述符,可以得到大小为的输入张量并行模
式迭代器S202的分布式签名搜索空间。
具体而言,因为分割张量分布式描述符就是描述一个张量的分割方面,如,将一个
大型张量根据用户的描述在指定的维度上进行分割,并分布到不同的计算设备上进行指定
的计算处理。如果张量维度为,则对应有中维度选择,即分割方式选择。再加上广播张
量分布式描述符及部分和张量分布式描述符,则维张量有种SBP分布式描述符选
择方式,每一种方式都可以利用张量切分器S403将逻辑张量转换为物理张量。同理可得,每
一种方式都可以利用张量合并器S402将物理张量转换为逻辑张量。
作为一种可选的实施方式,在所述步骤7中,张量对比器S501的对比内容不限于对比所述步骤2输出逻辑张量真值和所述步骤6输出逻辑张量的维度、形状、数值、数值类型。
通过根据本发明的一种并行模式搜索空间构造系统和方法,能够通过自动化的方式,自动构造有效的并行模式搜索空间,降低了要求设计者具有丰富经验的要求,提升了数据处理效率。
本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。同时,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述方案,仅为本发明较佳的几个实施方式的描述,但本发明的保护范围不仅限于此,任何熟悉该技术的人能在本发明描述的范围内轻易实现,而不改变权利要求涉及基本原理的变化或替换,都应涵盖在本发明的保护范围之内,即本发明保护范围应以权利要求保护范围为准。
Claims (6)
1.一种并行模式搜索空间构造系统,其特征在于,包括:
初始化器,用于初始化输入逻辑张量;
迭代器,包括输入张量并行模式迭代器和输出张量并行模式迭代器,用于迭代并行模式搜索空间中的每一个候选并行模式;
计算器,包括逻辑算子计算引擎和物理算子计算引擎,所述逻辑算子计算引擎用于计算逻辑算子张量运算结果,输出逻辑张量真值,所述物理算子计算引擎计算物理算子张量运算结果,输出物理张量;
张量转换器,包括张量合并器和张量切分器,所述张量切分器用于结合输入逻辑张量和输入张量并行模式迭代器,将逻辑张量转换为物理张量,所述张量合并器用于结合输出物理张量和输出张量并行模式迭代器,将物理张量转换为逻辑张量;
张量对比器,用于比较两个或多个张量是否相等,具体的,用于对比逻辑张量真值和转换后逻辑张量是否相等,对比内容不限于逻辑张量形状、数值、数值类型,还包括其他张量固定属性;
合法并行模式添加器,用于将判断合法的并行模式添加到合法并行模式搜索空间中,其中,所述判断合法的并行模式具体为:利用张量对比器判断所述逻辑张量真值和转换后逻辑张量相等的并行模式。
2.如权利要求1所述的一种并行模式搜索空间构造系统,其特征在于,所述并行模式搜索空间中的每个候选并行模式,指定了其所属节点的每个输入张量的分布式描述符,以及每个输出张量的分布式描述符,并且每个已经确定并行模式的上游节点的输出端的分布式描述符,针对当前节点的每一个候选并行模式,都有确定的当前节点的输出并行模式。
3.如权利要求2所述的一种并行模式搜索空间构造系统,其特征在于,所述分布式描述符包括:分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符,且所述分布式描述符构成了所述张量转换器内容。
5.一种采用权利要求1-4之一所述的并行模式搜索空间构造系统的并行模式搜索空间构造方法,包括如下步骤:
步骤1、利用初始化器初始化输入逻辑张量;
步骤2、将所述输入逻辑张量输入并启动逻辑算子计算引擎,输出逻辑张量真值;
步骤3、构造并行模式搜索空间,从而确定输入张量并行模式迭代器迭代分布式签名和输出张量并行模式迭代器迭代分布式签名;
步骤4、结合输入张量并行模式迭代器迭代分布式签名,利用张量切分器将所述输入逻辑张量转换为物理张量,并输出;
步骤5、判断物理张量,计算合法性,若合法,则将物理张量输入并启动物理算子计算引擎,输出物理张量运算结果;若非法,则将物理张量继续输入张量并行模式迭代器的迭代过程,直到迭代完成;
步骤6、结合输出张量并行模式迭代器迭代分布式签名,利用张量合并器将所述输出物理张量运算结果转换为逻辑张量,并输出;
步骤7、利用张量对比器判断所述逻辑张量真值和转换后逻辑张量是否相等,若相等,则利用合法并行模式添加器将该并行模式添加到合法并行模式搜索空间中,并直接继续所述输入张量并行模式迭代器的迭代过程;若不相等,继续所述输出张量并行模式迭代器的迭代过程,直到迭代完成后,继续所述输入张量并行模式迭代器迭代过程;
步骤8、重复步骤1至7,直到所述输入张量并行模式迭代器迭代完成,此时合法并行模式搜索空间构造完毕。
6.如权利要求5所述的一种并行模式搜索空间构造方法,其特征在于,所述利用初始化器初始化输入逻辑张量包括初始化张量的所有固定属性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111410689.1A CN113836386B (zh) | 2021-11-25 | 2021-11-25 | 一种并行模式搜索空间构造系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111410689.1A CN113836386B (zh) | 2021-11-25 | 2021-11-25 | 一种并行模式搜索空间构造系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113836386A CN113836386A (zh) | 2021-12-24 |
CN113836386B true CN113836386B (zh) | 2022-03-25 |
Family
ID=78971766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111410689.1A Active CN113836386B (zh) | 2021-11-25 | 2021-11-25 | 一种并行模式搜索空间构造系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113836386B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111145076A (zh) * | 2019-12-27 | 2020-05-12 | 深圳鲲云信息科技有限公司 | 数据并行化处理方法、系统、设备及存储介质 |
US10936569B1 (en) * | 2012-05-18 | 2021-03-02 | Reservoir Labs, Inc. | Efficient and scalable computations with sparse tensors |
CN113128702A (zh) * | 2021-04-15 | 2021-07-16 | 杭州电子科技大学 | 一种基于强化学习的神经网络自适应分布式并行训练方法 |
CN113487029A (zh) * | 2021-08-05 | 2021-10-08 | 杭州电子科技大学 | 一种可移植的神经网络分布式并行策略搜索方法 |
-
2021
- 2021-11-25 CN CN202111410689.1A patent/CN113836386B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10936569B1 (en) * | 2012-05-18 | 2021-03-02 | Reservoir Labs, Inc. | Efficient and scalable computations with sparse tensors |
CN111145076A (zh) * | 2019-12-27 | 2020-05-12 | 深圳鲲云信息科技有限公司 | 数据并行化处理方法、系统、设备及存储介质 |
CN113128702A (zh) * | 2021-04-15 | 2021-07-16 | 杭州电子科技大学 | 一种基于强化学习的神经网络自适应分布式并行训练方法 |
CN113487029A (zh) * | 2021-08-05 | 2021-10-08 | 杭州电子科技大学 | 一种可移植的神经网络分布式并行策略搜索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113836386A (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Barenboim et al. | Distributed (δ+ 1)-coloring in linear (in δ) time | |
Barenboim et al. | Sublogarithmic distributed MIS algorithm for sparse graphs using Nash-Williams decomposition | |
US9262484B2 (en) | Method for identifying network similarity by matching neighborhood topology | |
WO2017181866A1 (en) | Making graph pattern queries bounded in big graphs | |
US8381199B2 (en) | Modular and/or demand-driven string analysis of a computer program | |
US11630983B2 (en) | Graph conversion method | |
Kumm et al. | Optimization of constant matrix multiplication with low power and high throughput | |
CN113158685A (zh) | 文本的语义预测方法、装置、计算机设备和存储介质 | |
CN115358397A (zh) | 一种基于数据采样的并行图规则挖掘方法及装置 | |
CN107463671B (zh) | 路径查询的方法和装置 | |
CN113836386B (zh) | 一种并行模式搜索空间构造系统和方法 | |
US20210089904A1 (en) | Learning method of neural network model for language generation and apparatus for performing the learning method | |
JP2023123636A (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
Lau et al. | Efficient edge splitting-off algorithms maintaining all-pairs edge-connectivities | |
CN103678545A (zh) | 进行网络资源聚类的方法及装置 | |
CN113760380A (zh) | 网络模型的运行代码的确定方法、装置、设备及存储介质 | |
CN114091686A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
De Stefani | On the I/O complexity of hybrid algorithms for Integer Multiplication | |
US20070061115A1 (en) | Symbolic computation using an inverted match | |
CN111626044A (zh) | 文本生成方法、装置、电子设备及计算机可读存储介质 | |
CN116737777B (zh) | 对目标算子进行搜索的方法、计算设备和计算机可读存储介质 | |
CN112183567A (zh) | Birch算法的优化方法、装置、设备及存储介质 | |
CN113064854B (zh) | 一种硬件计算重构方法、装置、计算机设备及存储介质 | |
Bliznets et al. | Parameterized algorithms for partitioning graphs into highly connected clusters | |
US8549464B2 (en) | Reusing expression graphs in computer programming languages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |