CN117555695B - 一种基于并行计算实现异构计算的优化方法及系统 - Google Patents
一种基于并行计算实现异构计算的优化方法及系统 Download PDFInfo
- Publication number
- CN117555695B CN117555695B CN202410034651.6A CN202410034651A CN117555695B CN 117555695 B CN117555695 B CN 117555695B CN 202410034651 A CN202410034651 A CN 202410034651A CN 117555695 B CN117555695 B CN 117555695B
- Authority
- CN
- China
- Prior art keywords
- data
- computing
- energy
- heterogeneous
- parallel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000003993 interaction Effects 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims description 77
- 238000005259 measurement Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000011524 similarity measure Methods 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 4
- 230000006837 decompression Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据处理技术领域，提供了一种基于并行计算实现异构计算的优化方法及系统，包括：分析计算任务之间的任务从属关系，确定计算任务对应的任务优先级；调度异构计算任务对应的异构数据，提取异构数据对应的数据特征，计算数据特征之间的相似性度量值，提取出异构数据中的并行异构数据；查询异构计算系统中的计算能源，对计算能源进行能源匹配处理，得到目标计算能源，计算出目标计算能源对应的能源可用率；提取并行异构数据对应的数据参数，计算并行异构数据中每个数据在目标计算能源之间的交互速度，计算目标计算能源对应的能源平衡率，执行并行异构数据的并行计算处理，得到计算结果。本发明在于提高异构计算的优化效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于并行计算实现异构计算的优化方法及系统。
背景技术
异构计算指的是利用多种不同类型的硬件资源进行计算的一种方式，异构计算的优势在于可以根据不同的应用需求和数据特性选择最适合的硬件资源，从而提高计算效率，例如，在科学计算、深度学习和大规模数据处理等领域，使用GPU进行并行计算可以显著加速计算速度。同时，异构计算还可以减少能耗，提高能源利用效率。
现有的异构计算的优化方法主要是采用数据映射和迁移相结合的方法，该方法主要是根据数据访问模式和存储体系结构，将数据映射到最合适的存储层级，以减少数据传输时间和能耗，该方法使用时需要考虑多个因素，如数据访问模式、存储层级、数据大小等，从而导致整体方案的设计和管理的复杂性提高了，进而导致异构计算的优化效率降低，因此需要一种能够提高异构计算的优化效率的方法。
发明内容
本发明提供一种基于并行计算实现异构计算的优化方法及系统，其主要目的在于提高异构计算的优化效率。
为实现上述目的，本发明提供的一种基于并行计算实现异构计算的优化方法，包括：
获取异构计算系统中的计算任务和任务要求，提取所述计算任务对应的任务属性，根据所述任务属性，分析所述计算任务之间的任务从属关系，根据所述任务从属关系，确定所述计算任务对应的任务优先级；
调度所述异构计算任务对应的异构数据，提取所述异构数据对应的数据特征，根据所述数据特征，计算所述数据特征之间的相似性度量值，根据所述相似性度量值，提取出所述异构数据中的并行异构数据；
查询所述异构计算系统中的计算能源，根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，计算出所述目标计算能源对应的能源可用率；
提取所述并行异构数据对应的数据参数，根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，根据所述任务要求，确定所述并行异构数据对应的数据计算负载；
根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，根据所述能源平衡率和所述任务优先级，执行所述并行异构数据的并行计算处理，得到计算结果。
可选地，所述根据所述任务属性，分析所述计算任务之间的任务从属关系，包括：
挖掘所述任务属性对应的属性信息，计算所述属性信息中每个信息对应的信息重要度；
根据所述信息重要度，提取出所述属性信息中的关键信息；
根据所述关键信息，分析所述计算任务对应的输入变量和输出变量；
根据所述输入变量和所述输出变量，分析所述计算任务之间的任务从属关系。
可选地，计算所述属性信息中每个信息对应的信息重要度，包括：
通过下述公式计算所述属性信息中每个信息对应的信息重要度：其中，A表示属性信息中每个信息对应的信息重要度，/>表示属性信息中第a个信息对应的信息熵值，|Bab|表示属性信息中第a个信息取值为b样本的信息数量，/>表示属性信息中第a个信息的总数量，Entropy(Bab)表示属性信息中第a个信息取值为b样本的信息熵。
可选地，所述根据所述数据特征，计算所述数据特征之间的相似性度量值，包括：
通过下述公式计算所述数据特征之间的相似性度量值：其中，D表示数据特征之间的相似性度量值，Ed表示数据特征中以第d个特征为中心点的高斯分布的方差值，d表示数据特征的特征序列号，/>表示数据特征中以第d个特征为中心点的高斯分布的方差值，βd表示数据特征中第d个特征对应的特征值。
可选地，所述根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，包括：
提取所述并行异构数据对应的数据标签；
对所述数据标签进行标签去噪处理，得到目标数据标签；
计算所述目标数据标签之间的标签关联度；
根据所述标签关联度，确定所述并行异构数据中的关联异构数据；
根据所述关联异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源。
可选地，所述计算所述目标数据标签之间的标签关联度，包括：
通过下述公式计算所述目标数据标签之间的标签关联度：其中，F表示目标数据标签之间的标签关联度，/>表示目标数据标签的标签维度，t表示目标数据标签的标签数量，e和/>均表示目标数据标签的序列号，/>表示目标数据标签中第e个标签对应的标签向量，/>表示第e个标签对应的标签向量的对数值，/>表示目标数据标签中第/>个标签对应的标签向量，/>表示第/>个标签对应的标签向量的对数值，/>表示取最大值函数，/>表示取最小值函数。
可选地，所述根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，包括：
通过下述公式计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度：其中，G表示并行异构数据中每个数据在所述目标计算能源之间的交互速度，Mf表示数据参数中关于第f个数据对应的数据量参数，f表示并行异构数据对应的数据序列号，/>表示并行异构数据中第f个数据压缩后对应的传输周期，/>表示并行异构数据中第f个数据的压缩周期，/>表示并行异构数据中第f个数据的解压周期。
可选地，所述根据所述任务要求，确定所述并行异构数据对应的数据计算负载，包括：
识别所述任务要求中的要求字符，对所述要求字符进行语义分析，得到要求释义；
根据所述要求释义，分析所述并行异构数据对应的数据计算要求；
根据所述数据计算要求，确定所述并行异构数据对应的计算单元，计量所述并行异构数据对应的数据量；
根据所述计算单元和所述数据量，确定所述并行异构数据对应的数据计算负载。
可选地，所述根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，包括：
通过下过公式计算所述目标计算能源对应的能源平衡率：其中，H表示目标计算能源对应的能源平衡率，Nj表示第j个数据对应的数据计算负载，/>表示第e个目标计算能源，/>表示第e个能源可用率，/>表示第j个数据对应的交互速度。
一种基于并行计算实现异构计算的优化系统，其特征在于，所述系统包括：
任务优先级计算模块，用于获取异构计算系统中的计算任务和任务要求，提取所述计算任务对应的任务属性，根据所述任务属性，分析所述计算任务之间的任务从属关系，根据所述任务从属关系，确定所述计算任务对应的任务优先级；
并行异构数据提取模块，用于调度所述异构计算任务对应的异构数据，提取所述异构数据对应的数据特征，根据所述数据特征，计算所述数据特征之间的相似性度量值，根据所述相似性度量值，提取出所述异构数据中的并行异构数据；
能源可用率计算模块，用于查询所述异构计算系统中的计算能源，根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，计算出所述目标计算能源对应的能源可用率；
计算负载确定模块，用于提取所述并行异构数据对应的数据参数，根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，根据所述任务要求，确定所述并行异构数据对应的数据计算负载；
并行计算模块，用于根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，根据所述能源平衡率和所述任务优先级，执行所述并行异构数据的并行计算处理，得到计算结果。
本发明根据所述任务属性，分析所述计算任务之间的任务从属关系，可以得到所述计算任务之间的依赖关系，为后续任务优先级的确定提供了依据，本发明通过提取所述异构数据对应的数据特征，可以得到所述异构数据中的数据表征，并通过计算所述数据特征之间的相似性度量值，可以了解所述数据特征之间的空间相似程度，从而便于后续并行异构数据的提取，本发明根据所述并行异构数据，对所述计算能源进行能源匹配处理，可以将所述计算能源中的并行处理的能源匹配到一起，为提高后续所述并行异构数据的处理效率提供了依据，本发明根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，可以了解所述并行异构数据中每个数据在进行交互时的传输速度，从而便于后续能源平衡率的计算，本发明通过根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，可以得到所述目标计算能源处理数据的最佳状态对应的使用程度，以此提高所述并行异构数据的处理速度，从而达到提高所述异构计算系统的计算优化效率的目的。因此，本发明实施例提供的一种基于并行计算实现异构计算的优化方法及系统，能够提高异构计算的优化效率。
附图说明
图1为本发明一实施例提供的一种基于并行计算实现异构计算的优化方法的流程示意图；
图2为本发明一实施例提供的一种基于并行计算实现异构计算的优化系统的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于并行计算实现异构计算的优化方法。本申请实施例中，所述一种基于并行计算实现异构计算的优化方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述一种基于并行计算实现异构计算的优化方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的一种基于并行计算实现异构计算的优化方法的流程示意图。在本实施例中，所述一种基于并行计算实现异构计算的优化方法包括步骤S1—S5。
S1、获取异构计算系统中的计算任务和任务要求，提取所述计算任务对应的任务属性，根据所述任务属性，分析所述计算任务之间的任务从属关系，根据所述任务从属关系，确定所述计算任务对应的任务优先级。
本发明根据所述任务属性，分析所述计算任务之间的任务从属关系，可以得到所述计算任务之间的依赖关系，为后续任务优先级的确定提供了依据，其中，所述异构计算系统是由不同类型的计算资源组成的系统，所述计算任务是所述异构计算系统的计算目标，所述任务要求是所述计算任务对应的规定，所述任务属性是所述计算任务对应的特性，所述任务从属关系是所述计算任务之间的任务关系，如并行关系，所述任务优先级是所述计算任务对应的处理优先程度，可选地，提取所述计算任务对应的任务属性可以通过数据采集工具实现，所述属性采集工具是由JAVA语言编译，可以通过所述任务从属关系确定哪些任务是必须在其他任务完成之后才能开始的，哪些任务是独立可执行的，以此确定所述计算任务对应的任务优先级。
作为本发明的一个实施例，所述根据所述任务属性，分析所述计算任务之间的任务从属关系，包括：挖掘所述任务属性对应的属性信息，计算所述属性信息中每个信息对应的信息重要度，根据所述信息重要度，提取出所述属性信息中的关键信息，根据所述关键信息，分析所述计算任务对应的输入变量和输出变量，根据所述输入变量和所述输出变量，分析所述计算任务之间的任务从属关系。
其中，所述属性信息是所述任务属性对应的相关描述信息，如属性性质或者约束条件等，所述信息重要度表示所述属性信息中每个信息对应的重要程度，所述关键信息是所述属性信息中具有代表性的信息，所述输入变量和所述输出变量是所述计算任务中的输入参数和输出参数。
可选的，挖掘所述任务属性对应的属性信息可以通过Apriori算法实现，在所述信息重要度大于预设的重要度阈值时，以此提取出所述属性信息中的关键信息，可以通过分析所述关键信息中的信息内容，以此得到所述计算任务对应的输入变量和输出变量，分析所述输入变量和所述输出变量之间的依赖关系，以此得到所述计算任务之间的任务从属关系。
进一步的，作为本发明的一个可选实施例，计算所述属性信息中每个信息对应的信息重要度，包括：
通过下述公式计算所述属性信息中每个信息对应的信息重要度：其中，A表示属性信息中每个信息对应的信息重要度，/>表示属性信息中第a个信息对应的信息熵值，/>表示属性信息中第a个信息取值为b样本的信息数量，/>表示属性信息中第a个信息的总数量，/>表示属性信息中第a个信息取值为b样本的信息熵。
S2、调度所述异构计算任务对应的异构数据，提取所述异构数据对应的数据特征，根据所述数据特征，计算所述数据特征之间的相似性度量值，根据所述相似性度量值，提取出所述异构数据中的并行异构数据。
本发明通过提取所述异构数据对应的数据特征，可以得到所述异构数据中的数据表征，并通过计算所述数据特征之间的相似性度量值，可以了解所述数据特征之间的空间相似程度，从而便于后续并行异构数据的提取，其中，所述异构数据是所述异构计算任务需要处理的数据，所述数据特征是所述异构数据对应的数据表征，所述相似性度量值表示所述数据特征之间的空间相似性，可选的，调度所述异构计算任务对应的异构数据可以通过随机调度算法实现，提取所述异构数据对应的数据特征可以通过主成分分析法实现。
作为本发明的一个实施例，所述根据所述数据特征，计算所述数据特征之间的相似性度量值，包括：
通过下述公式计算所述数据特征之间的相似性度量值：其中，D表示数据特征之间的相似性度量值，/>表示数据特征中以第d个特征为中心点的高斯分布的方差值，d表示数据特征的特征序列号，/>表示数据特征中以第d个特征为中心点的高斯分布的方差值，βd表示数据特征中第d个特征对应的特征值。
本发明根据所述相似性度量值，提取出所述异构数据中的并行异构数据，可以将所述异构数据中可以进行并行处理的数据提取出来，提高了后续数据的处理效率，其中，所述并行异构数据是所述异构数据中的可以进行并行处理的数据，可以通过left函数提取出所述异构数据中的并行异构数据。
S3、查询所述异构计算系统中的计算能源，根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，计算出所述目标计算能源对应的能源可用率。
本发明根据所述并行异构数据，对所述计算能源进行能源匹配处理，可以将所述计算能源中的并行处理的能源匹配到一起，为提高后续所述并行异构数据的处理效率提供了依据，其中，所述计算能源是所述异构计算能源中处理数据的资源，如CPU和GPU，所述目标计算能源是所述计算能源中的能源匹配到一起后得到的能源，可选地，查询所述异构计算系统中的计算能源可以通过任务调度器实现。
作为本发明的一个实施例，所述根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，包括：提取所述并行异构数据对应的数据标签，对所述数据标签进行标签去噪处理，得到目标数据标签，计算所述目标数据标签之间的标签关联度，根据所述标签关联度，确定所述并行异构数据中的关联异构数据，根据所述关联异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源。
其中，所述数据标签是所述并行异构数据对应的数据标识或对应的元数据，所述目标数据标签是所述数据标签中的错误或者噪声标签去除后得到的标签，所述标签关联度表示所述目标数据标签之间的关联程度，所述关联异构数据是所述并行异构数据中具有关联关系的数据。
可选的，提取所述并行异构数据对应的数据标签可以通过标签提取工具实现，所述标签提取工具是由脚本语言编译，对所述数据标签进行标签去噪处理可以通过相对噪声模型实现，对所述计算能源进行能源匹配处理可以通过匹配算法实现，如Boyer-Moore算法。
可选的，作为本发明的一个可选实施例，所述计算所述目标数据标签之间的标签关联度，包括：
通过下述公式计算所述目标数据标签之间的标签关联度：其中，F表示目标数据标签之间的标签关联度，/>表示目标数据标签的标签维度，t表示目标数据标签的标签数量，e和/>均表示目标数据标签的序列号，/>表示目标数据标签中第e个标签对应的标签向量，/>表示第e个标签对应的标签向量的对数值，/>表示目标数据标签中第/>个标签对应的标签向量，/>表示第/>个标签对应的标签向量的对数值，/>表示取最大值函数，/>表示取最小值函数。
本发明通过计算出所述目标计算能源对应的能源可用率，可以了解所述目标计算能源对应的利用效率，避免出现能源使用过载的情况，其中，所述能源可用率表示所述目标计算能源对应的能源可用程度，可选的，通过查询所述目标计算能源对应的能源算力参数，采集所述目标计算能源对应的能源日志，所述能源日志包括处理日志和待处理日志，根据所述处理日志和所述待处理日志，确定所述目标计算能源对应的能源使用率，根据所述能源算力参数和所述能源使用率，计算出所述目标计算能源对应的能源可用率。
S4、提取所述并行异构数据对应的数据参数，根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，根据所述任务要求，确定所述并行异构数据对应的数据计算负载。
本发明根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，可以了解所述并行异构数据中每个数据在进行交互时的传输速度，从而便于后续能源平衡率的计算，其中，所述数据参数是所述并行异构数据对应的数据信息，如数据容量，所述交互速度表示所述并行异构数据中每个数据在所述目标计算能源之间的传输效率，可选地，提取所述并行异构数据对应的数据参数可以通过机器学习模型实现，所述机器学习模型是由编程语言编译。
作为本发明的一个实施例，所述根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，包括：
通过下述公式计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度：其中，G表示并行异构数据中每个数据在所述目标计算能源之间的交互速度，Mf表示数据参数中关于第f个数据对应的数据量参数，f表示并行异构数据对应的数据序列号，/>表示并行异构数据中第f个数据压缩后对应的传输周期，Rfpac表示并行异构数据中第f个数据的压缩周期，/>表示并行异构数据中第f个数据的解压周期。
本发明根据所述任务要求，确定所述并行异构数据对应的数据计算负载，可以得到所述并行异构数据的所需要的计算容量多少，为数据计算负载的分析提供了依据，其中，所述数据计算负载是所述并行异构数据进行计算处理时所需要的算力。
作为本发明的一个实施例，所述根据所述任务要求，确定所述并行异构数据对应的数据计算负载，包括：识别所述任务要求中的要求字符，对所述要求字符进行语义分析，得到要求释义，根据所述要求释义，分析所述并行异构数据对应的数据计算要求，根据所述数据计算要求，确定所述并行异构数据对应的计算单元，计量所述并行异构数据对应的数据量，根据所述计算单元和所述数据量，确定所述并行异构数据对应的数据计算负载。
其中，所述要求字符是所述任务要求中的文本信息，所述要求释义是所述要求字符对应的字符含义和解释，所述数据计算要求是所述并行异构数据对应的计算目标，所述计算单元是所述并行异构数据中的子数据对应的处理器，如中央处理器，所述数据量是所述并行异构数据中的子数据多少。
可选的，识别所述任务要求中的要求字符可以通过ocr文本识别技术实现，对所述要求字符进行语义分析可以通过语义分析法实现，根据所述计算单元的负载乘以所述数据量得到数据计算负载。
S5、根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，根据所述能源平衡率和所述任务优先级，执行所述并行异构数据的并行计算处理，得到计算结果。
本发明通过根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，可以得到所述目标计算能源处理数据的最佳状态对应的使用程度，以此提高所述并行异构数据的处理速度，从而达到提高所述异构计算系统的计算优化效率的目的，其中，所述能源平衡率是所述目标计算能源处理数据的最佳状态对应的使用程度。
作为本发明的一个实施例，所述根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，包括：
通过下过公式计算所述目标计算能源对应的能源平衡率：其中，H表示目标计算能源对应的能源平衡率，/>表示第j个数据对应的数据计算负载，/>表示第e个目标计算能源，/>表示第e个能源可用率，/>表示第j个数据对应的交互速度。
本发明通过根据所述能源平衡率和所述任务优先级，执行所述并行异构数据的并行计算处理，从而达到提高所述并行异构数据的处理效率。
本发明根据所述任务属性，分析所述计算任务之间的任务从属关系，可以得到所述计算任务之间的依赖关系，为后续任务优先级的确定提供了依据，本发明通过提取所述异构数据对应的数据特征，可以得到所述异构数据中的数据表征，并通过计算所述数据特征之间的相似性度量值，可以了解所述数据特征之间的空间相似程度，从而便于后续并行异构数据的提取，本发明根据所述并行异构数据，对所述计算能源进行能源匹配处理，可以将所述计算能源中的并行处理的能源匹配到一起，为提高后续所述并行异构数据的处理效率提供了依据，本发明根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，可以了解所述并行异构数据中每个数据在进行交互时的传输速度，从而便于后续能源平衡率的计算，本发明通过根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，可以得到所述目标计算能源处理数据的最佳状态对应的使用程度，以此提高所述并行异构数据的处理速度，从而达到提高所述异构计算系统的计算优化效率的目的。因此，本发明实施例提供的一种基于并行计算实现异构计算的优化方法，能够提高异构计算的优化效率。
如图2所示，是本发明一实施例提供的一种基于并行计算实现异构计算的优化系统的功能模块图。
本发明所述一种基于并行计算实现异构计算的优化系统100可以安装于电子设备中。根据实现的功能，所述一种基于并行计算实现异构计算的优化系统100可以包括任务优先级计算模块101、并行异构数据提取模块102、能源可用率计算模块103、计算负载确定模块104及并行计算模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述任务优先级计算模块101，用于获取异构计算系统中的计算任务和任务要求，提取所述计算任务对应的任务属性，根据所述任务属性，分析所述计算任务之间的任务从属关系，根据所述任务从属关系，确定所述计算任务对应的任务优先级；
所述并行异构数据提取模块102，用于调度所述异构计算任务对应的异构数据，提取所述异构数据对应的数据特征，根据所述数据特征，计算所述数据特征之间的相似性度量值，根据所述相似性度量值，提取出所述异构数据中的并行异构数据；
所述能源可用率计算模块103，用于查询所述异构计算系统中的计算能源，根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，计算出所述目标计算能源对应的能源可用率；
所述计算负载确定模块104，用于提取所述并行异构数据对应的数据参数，根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，根据所述任务要求，确定所述并行异构数据对应的数据计算负载；
所述并行计算模块105，用于根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，根据所述能源平衡率和所述任务优先级，执行所述并行异构数据的并行计算处理，得到计算结果。
详细地，本申请实施例中所述一种基于并行计算实现异构计算的优化系统100中所述的各模块在使用时采用与上述图1中所述的一种基于并行计算实现异构计算的优化方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所提供的方法和系统，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (2)
1.一种基于并行计算实现异构计算的优化方法，其特征在于，所述方法包括：
获取异构计算系统中的计算任务和任务要求，提取所述计算任务对应的任务属性，根据所述任务属性，分析所述计算任务之间的任务从属关系，根据所述任务从属关系，确定所述计算任务对应的任务优先级，其中，所述根据所述任务属性，分析所述计算任务之间的任务从属关系，包括：
挖掘所述任务属性对应的属性信息，通过下述公式计算所述属性信息中每个信息对应的信息重要度：
A＝Entropy(Ba)-∑(|Bab|/|Ba|)*Entropy(Bab)
其中，A表示属性信息中每个信息对应的信息重要度，Entropy(Ba)表示属性信息中第a个信息对应的信息熵值，|Bab|表示属性信息中第a个信息取值为b样本的信息数量，|Ba|表示属性信息中第a个信息的总数量，Entropy(Bab)表示属性信息中第a个信息取值为b样本的信息熵；
根据所述信息重要度，提取出所述属性信息中的关键信息；
根据所述关键信息，分析所述计算任务对应的输入变量和输出变量；
根据所述输入变量和所述输出变量，分析所述计算任务之间的任务从属关系；
调度所述异构计算任务对应的异构数据，提取所述异构数据对应的数据特征，根据所述数据特征，计算所述数据特征之间的相似性度量值，根据所述相似性度量值，提取出所述异构数据中的并行异构数据，其中，所述根据所述数据特征，计算所述数据特征之间的相似性度量值，包括：
通过下述公式计算所述数据特征之间的相似性度量值：
其中，D表示数据特征之间的相似性度量值，Ed表示数据特征中以第d个特征为中心点的高斯分布的方差值，d表示数据特征的特征序列号，Ed+1表示数据特征中以第d个特征为中心点的高斯分布的方差值，βd表示数据特征中第d个特征对应的特征值；
查询所述异构计算系统中的计算能源，根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，计算出所述目标计算能源对应的能源可用率，其中，所述根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，包括：
提取所述并行异构数据对应的数据标签；
对所述数据标签进行标签去噪处理，得到目标数据标签；
通过下述公式计算所述目标数据标签之间的标签关联度：
其中，F表示目标数据标签之间的标签关联度，φ表示目标数据标签的标签维度，t表示目标数据标签的标签数量，e和e+1均表示目标数据标签的序列号，Qe表示目标数据标签中第e个标签对应的标签向量，ln Qe表示第e个标签对应的标签向量的对数值，Qe+1表示目标数据标签中第e+1个标签对应的标签向量，ln Qe+1表示第e+1个标签对应的标签向量的对数值，max()表示取最大值函数，min()表示取最小值函数；
根据所述标签关联度，确定所述并行异构数据中的关联异构数据；
根据所述关联异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源；
提取所述并行异构数据对应的数据参数，根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，根据所述任务要求，确定所述并行异构数据对应的数据计算负载，其中，所述根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，包括：
通过下述公式计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度：
其中，G表示并行异构数据中每个数据在所述目标计算能源之间的交互速度，Mf表示数据参数中关于第f个数据对应的数据量参数，f表示并行异构数据对应的数据序列号，表示并行异构数据中第f个数据压缩后对应的传输周期，Rfpac表示并行异构数据中第f个数据的压缩周期，Rfdepac表示并行异构数据中第f个数据的解压周期；
其中，所述根据所述任务要求，确定所述并行异构数据对应的数据计算负载，包括：
识别所述任务要求中的要求字符，对所述要求字符进行语义分析，得到要求释义；
根据所述要求释义，分析所述并行异构数据对应的数据计算要求；
根据所述数据计算要求，确定所述并行异构数据对应的计算单元，计量所述并行异构数据对应的数据量；
根据所述计算单元和所述数据量，确定所述并行异构数据对应的数据计算负载；
根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，根据所述能源平衡率和所述任务优先级，执行所述并行异构数据的并行计算处理，得到计算结果，其中，所述根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，包括：
通过下过公式计算所述目标计算能源对应的能源平衡率：
H＝(Nj/PSe)*(Te/Uj)
其中，H表示目标计算能源对应的能源平衡率，Nj表示第j个数据对应的数据计算负载，PSe表示第e个目标计算能源，Te表示第e个能源可用率，Uj表示第j个数据对应的交互速度。
2.一种基于并行计算实现异构计算的优化系统，其特征在于，所述系统包括：
任务优先级计算模块，用于获取异构计算系统中的计算任务和任务要求，提取所述计算任务对应的任务属性，根据所述任务属性，分析所述计算任务之间的任务从属关系，根据所述任务从属关系，确定所述计算任务对应的任务优先级，其中，所述根据所述任务属性，分析所述计算任务之间的任务从属关系，包括：
挖掘所述任务属性对应的属性信息，通过下述公式计算所述属性信息中每个信息对应的信息重要度：
A＝Entropy(Ba)-Σ(|Bab|/|Ba|)*Entropy(Bab)
其中，A表示属性信息中每个信息对应的信息重要度，Entropy(Ba)表示属性信息中第a个信息对应的信息熵值，|Bab|表示属性信息中第a个信息取值为b样本的信息数量，|Ba|表示属性信息中第a个信息的总数量，Entropy(Bab)表示属性信息中第a个信息取值为b样本的信息熵；
根据所述信息重要度，提取出所述属性信息中的关键信息；
根据所述关键信息，分析所述计算任务对应的输入变量和输出变量；
根据所述输入变量和所述输出变量，分析所述计算任务之间的任务从属关系；
并行异构数据提取模块，用于调度所述异构计算任务对应的异构数据，提取所述异构数据对应的数据特征，根据所述数据特征，计算所述数据特征之间的相似性度量值，根据所述相似性度量值，提取出所述异构数据中的并行异构数据，其中，所述根据所述数据特征，计算所述数据特征之间的相似性度量值，包括：
通过下述公式计算所述数据特征之间的相似性度量值：
其中，D表示数据特征之间的相似性度量值，Ed表示数据特征中以第d个特征为中心点的高斯分布的方差值，d表示数据特征的特征序列号，Ed+1表示数据特征中以第d个特征为中心点的高斯分布的方差值，βd表示数据特征中第d个特征对应的特征值；
能源可用率计算模块，用于查询所述异构计算系统中的计算能源，根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，计算出所述目标计算能源对应的能源可用率，其中，所述根据所述并行异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源，包括：
提取所述并行异构数据对应的数据标签；
对所述数据标签进行标签去噪处理，得到目标数据标签；
通过下述公式计算所述目标数据标签之间的标签关联度：
其中，F表示目标数据标签之间的标签关联度，φ表示目标数据标签的标签维度，t表示目标数据标签的标签数量，e和e+1均表示目标数据标签的序列号，Qe表示目标数据标签中第e个标签对应的标签向量，ln Qe表示第e个标签对应的标签向量的对数值，Qe+1表示目标数据标签中第e+1个标签对应的标签向量，ln Qe+1表示第e+1个标签对应的标签向量的对数值，max()表示取最大值函数，min()表示取最小值函数；
根据所述标签关联度，确定所述并行异构数据中的关联异构数据；
根据所述关联异构数据，对所述计算能源进行能源匹配处理，得到目标计算能源；
计算负载确定模块，用于提取所述并行异构数据对应的数据参数，根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，根据所述任务要求，确定所述并行异构数据对应的数据计算负载，其中，所述根据所述数据参数，计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度，包括：
通过下述公式计算所述并行异构数据中每个数据在所述目标计算能源之间的交互速度：
其中，G表示并行异构数据中每个数据在所述目标计算能源之间的交互速度，Mf表示数据参数中关于第f个数据对应的数据量参数，f表示并行异构数据对应的数据序列号，表示并行异构数据中第f个数据压缩后对应的传输周期，Rfpac表示并行异构数据中第f个数据的压缩周期，Rfdepac表示并行异构数据中第f个数据的解压周期；
其中，所述根据所述任务要求，确定所述并行异构数据对应的数据计算负载，包括：
识别所述任务要求中的要求字符，对所述要求字符进行语义分析，得到要求释义；
根据所述要求释义，分析所述并行异构数据对应的数据计算要求；
根据所述数据计算要求，确定所述并行异构数据对应的计算单元，计量所述并行异构数据对应的数据量；
根据所述计算单元和所述数据量，确定所述并行异构数据对应的数据计算负载；
并行计算模块，用于根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，根据所述能源平衡率和所述任务优先级，执行所述并行异构数据的并行计算处理，得到计算结果，其中，所述根据所述数据计算负载、所述能源可用率以及所述交互速度，计算所述目标计算能源对应的能源平衡率，包括：
通过下过公式计算所述目标计算能源对应的能源平衡率：
H＝(Nj/PSe)*(Te/Uj)
其中，H表示目标计算能源对应的能源平衡率，Nj表示第j个数据对应的数据计算负载，PSe表示第e个目标计算能源，Te表示第e个能源可用率，Uj表示第j个数据对应的交互速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410034651.6A CN117555695B (zh) | 2024-01-10 | 2024-01-10 | 一种基于并行计算实现异构计算的优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410034651.6A CN117555695B (zh) | 2024-01-10 | 2024-01-10 | 一种基于并行计算实现异构计算的优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117555695A CN117555695A (zh) | 2024-02-13 |
| CN117555695B true CN117555695B (zh) | 2024-05-14 |
Family
ID=89823509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410034651.6A Active CN117555695B (zh) | 2024-01-10 | 2024-01-10 | 一种基于并行计算实现异构计算的优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117555695B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118400073A (zh) * | 2024-06-24 | 2024-07-26 | 深圳市芯科云科技有限公司 | 用于智能手表的多电平芯片数据可靠传输方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104199826A (zh) * | 2014-07-24 | 2014-12-10 | 北京大学 | 一种基于关联分析的异构媒体相似性计算方法和检索方法 |
| CN106874113A (zh) * | 2017-01-19 | 2017-06-20 | 国电南瑞科技股份有限公司 | 一种cpu+多gpu异构模式静态安全分析计算方法 |
| CN114297041A (zh) * | 2021-11-16 | 2022-04-08 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 网络异构计算平台测试方法、装置和计算机设备 |
| CN116257427A (zh) * | 2021-12-10 | 2023-06-13 | 深圳致星科技有限公司 | 联邦学习任务的异构测试方法、系统、设备及存储介质 |
| CN116450982A (zh) * | 2023-04-17 | 2023-07-18 | 王亚婷 | 一种基于云服务推送的大数据分析方法及系统 |
| CN116701706A (zh) * | 2023-07-29 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的数据处理方法、装置、设备及介质 |
| CN116974765A (zh) * | 2023-08-02 | 2023-10-31 | 上海轴芯科技有限公司 | 一种异构计算机的存储管理系统 |
-
2024
- 2024-01-10 CN CN202410034651.6A patent/CN117555695B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104199826A (zh) * | 2014-07-24 | 2014-12-10 | 北京大学 | 一种基于关联分析的异构媒体相似性计算方法和检索方法 |
| CN106874113A (zh) * | 2017-01-19 | 2017-06-20 | 国电南瑞科技股份有限公司 | 一种cpu+多gpu异构模式静态安全分析计算方法 |
| CN114297041A (zh) * | 2021-11-16 | 2022-04-08 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 网络异构计算平台测试方法、装置和计算机设备 |
| CN116257427A (zh) * | 2021-12-10 | 2023-06-13 | 深圳致星科技有限公司 | 联邦学习任务的异构测试方法、系统、设备及存储介质 |
| CN116450982A (zh) * | 2023-04-17 | 2023-07-18 | 王亚婷 | 一种基于云服务推送的大数据分析方法及系统 |
| CN116701706A (zh) * | 2023-07-29 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的数据处理方法、装置、设备及介质 |
| CN116974765A (zh) * | 2023-08-02 | 2023-10-31 | 上海轴芯科技有限公司 | 一种异构计算机的存储管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117555695A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11915104B2 (en) | Normalizing text attributes for machine learning models | |
| CN117555695B (zh) | 一种基于并行计算实现异构计算的优化方法及系统 | |
| US10191968B2 (en) | Automated data analysis | |
| CN111814192B (zh) | 训练样本生成方法及装置、敏感信息检测方法及装置 | |
| CN111444956A (zh) | 低负载信息预测方法、装置、计算机系统及可读存储介质 | |
| CN114356712B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
| US20120323926A1 (en) | Efficient Optimization over Uncertain Data | |
| CN115935208B (zh) | 一种数据中心设备多元时间序列运行数据在线分割方法、设备及介质 | |
| CN115146653B (zh) | 对话剧本构建方法、装置、设备及存储介质 | |
| CN115314400A (zh) | 网络系统异常检测方法、装置、电子设备及存储介质 | |
| CN113010571B (zh) | 数据检测方法、装置、电子设备、存储介质和程序产品 | |
| CN115168509A (zh) | 风控数据的处理方法及装置、存储介质、计算机设备 | |
| CN114548229A (zh) | 训练数据增广方法、装置、设备和存储介质 | |
| CN111708872B (zh) | 对话方法、装置及电子设备 | |
| CN114297385A (zh) | 模型训练方法、文本分类方法、系统、设备及介质 | |
| CN113902567A (zh) | 执行任务的方法、装置和电子设备 | |
| CN112750047A (zh) | 行为关系信息提取方法及装置、存储介质、电子设备 | |
| CN117519948B (zh) | 基于云平台实现建筑施工下的计算资源调整方法及系统 | |
| CN111753111A (zh) | 图片搜索方法和装置 | |
| CN109977992A (zh) | 电子装置、批量注册行为的识别方法和存储介质 | |
| CN113569122B (zh) | 一种地图瓦片数据爬虫的识别方法及系统 | |
| CN118246346B (zh) | 一种多维立体分析的孪生建模方法 | |
| US12061878B2 (en) | Method and system for calculating minwise hash signatures from weighted sets | |
| CN117349030B (zh) | 基于云计算集群的医疗数字系统、方法及设备 | |
| CN117422484B (zh) | 一种数字化营销协同数据处理系统、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |