CN116415103B - 一种数据处理的方法、装置、存储介质以及电子设备 - Google Patents
一种数据处理的方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN116415103B CN116415103B CN202310681557.5A CN202310681557A CN116415103B CN 116415103 B CN116415103 B CN 116415103B CN 202310681557 A CN202310681557 A CN 202310681557A CN 116415103 B CN116415103 B CN 116415103B
- Authority
- CN
- China
- Prior art keywords
- data
- data splitting
- candidate
- determining
- efficiency value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 6
- 238000012545 processing Methods 0.000 claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000003062 neural network model Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 abstract description 41
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100391182 Dictyostelium discoideum forI gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Feedback Control In General (AREA)
Abstract
本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
Description
技术领域
本说明书涉及人工智能领域，尤其涉及一种数据处理的方法、装置、存储介质以及电子设备。
背景技术
矩阵乘法是神经网络模型的核心计算任务，其性能对整个神经网络模型的训练、推理都是极为关键的。要计算的矩阵数据首先会被分配到内存当中，然后读取到多级缓存，再到寄存器中，最后搬运到计算核心上进行计算，再逐层搬运回内存。
然而，目前在执行神经网络模型的计算任务时，对数据处理的效率往往较低，从而降低了任务执行效率。
发明内容
本说明书提供一种数据处理的方法、装置、存储介质以及电子设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种数据处理的方法，包括：
读取存储在指定设备内存的目标数据，并确定所述目标数据的各数据维度；
根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定所述指定设备中至少部分的数据处理单元所要处理的数据的数据维度，所述数据处理单元包括：所述指定设备中的寄存器以及各级缓存；
当监测到所述指定设备中部署的神经网络模型执行计算任务时，从所述内存中读取所述神经网络模型需要处理的数据，作为待处理数据；
根据所述目标数据拆分方式以及所述待处理数据的数据维度，确定所述指定设备中的至少部分的数据处理单元在执行所述待处理数据的数据处理任务时所要处理的数据，以对所述待处理数据进行数据处理。
可选地，根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，具体包括：
根据所述目标数据的各数据维度，确定初始数据拆分方式；
确定按照所述初始数据拆分方式执行所述目标数据的数据处理任务后的效率值，并确定至少一种候选数据拆分方式；
确定按照所述至少一种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据所述至少一个候选数据拆分方式对应的效率值以及所述初始数据拆分方式对应的效率值，继续确定其他候选数据拆分方式，直到确定出所述目标数据拆分方式为止。
可选地，根据所述至少一个候选数据拆分方式对应的效率值以及所述初始数据拆分方式对应的效率值，继续确定其他候选数据拆分方式，具体包括：
针对确定出的每个候选数据拆分方式，若确定该候选数据拆分方式对应的效率值高于作为当前最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将当前最优的数据拆分方式替换为该候选数据拆分方式，并根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式。
可选地，确定至少一种候选数据拆分方式，具体包括：
对所述初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将当前最优的数据拆分方式从所述初始数据拆分方式替换为该候选数据拆分方式，具体包括：
若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为当前最优的数据拆分方式，并将各数据维度对应的权重进行更新；
根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式，具体包括：
根据所述各数据维度对应的更新后权重，对替换后的当前最优的数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以确定其他候选数据拆分方式。
可选地，确定至少一种候选数据拆分方式，具体包括：
针对每个迭代周期，根据经过上一迭代周期的迭代后各数据维度对应的权重，确定在该迭代周期下每个数据维度对应的变换概率，并在该迭代周期下每个数据维度对应的变换概率，对该迭代周期下的初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将当前最优的数据拆分方式从所述初始数据拆分方式替换为该候选数据拆分方式，具体包括：
若确定该候选数据拆分方式对应的效率值高于该迭代周期下的初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为该迭代周期下当前最优的数据拆分方式，以及若确定该候选数据拆分方式对应的效率值高于作为全局最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将全局最优的数据拆分方式替换为该候选数据拆分方式；
根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式，具体包括：
根据替换后的当前最优的数据拆分方式，确定在该迭代周期下的其他候选数据拆分方式，并在该迭代周期结束后，根据在该迭代周期中所确定出的各候选数据拆分方式，对各数据维度的权重进行更新。
可选地，根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，具体包括：
当监测到经过预设个数的迭代周期后，将经过预设个数的迭代周期后的全局最优的数据拆分方式，确定为所述目标数据拆分方式。
可选地，根据所述目标数据的各数据维度，确定各种候选数据拆分方式，具体包括：
获取所述指定设备的硬件参数；
根据所述目标数据的各数据维度以及所述硬件参数，确定各种候选数据拆分方式。
本说明书提供了一种数据处理的装置，包括：
第一读取模块，用于读取存储在指定设备内存的目标数据，并确定所述目标数据的各数据维度；
确定模块，用于根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定所述指定设备中至少部分的数据处理单元所要处理的数据的数据维度，所述数据处理单元包括：所述指定设备中的寄存器以及各级缓存；
第二读取模块，用于当监测到所述指定设备中部署的神经网络模型执行计算任务时，从所述内存中读取所述神经网络模型需要处理的数据，作为待处理数据；
处理模块，用于根据所述目标数据拆分方式以及所述待处理数据的数据维度，确定所述指定设备中的至少部分的数据处理单元在执行所述待处理数据的数据处理任务时所要处理的数据，以对所述待处理数据进行数据处理。
可选地，所述确定模块具体用于，根据所述目标数据的各数据维度，确定初始数据拆分方式；确定按照所述初始数据拆分方式执行所述目标数据的数据处理任务后的效率值，并确定至少一种候选数据拆分方式；确定按照所述至少一种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据所述至少一个候选数据拆分方式对应的效率值以及所述初始数据拆分方式对应的效率值，继续确定其他候选数据拆分方式，直到确定出所述目标数据拆分方式为止。
可选地，所述确定模块具体用于，针对确定出的每个候选数据拆分方式，若确定该候选数据拆分方式对应的效率值高于作为当前最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将当前最优的数据拆分方式替换为该候选数据拆分方式，并根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式。
可选地，所述确定模块具体用于，对所述初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
所述确定模块具体用于，若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为当前最优的数据拆分方式，并将各数据维度对应的权重进行更新；
所述确定模块具体用于，根据所述各数据维度对应的更新后权重，对替换后的当前最优的数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以确定其他候选数据拆分方式。
可选地，所述确定模块具体用于，针对每个迭代周期，根据经过上一迭代周期的迭代后各数据维度对应的权重，确定在该迭代周期下每个数据维度对应的变换概率，并在该迭代周期下每个数据维度对应的变换概率，对该迭代周期下的初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
所述确定模块具体用于，若确定该候选数据拆分方式对应的效率值高于该迭代周期下的初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为该迭代周期下当前最优的数据拆分方式，以及若确定该候选数据拆分方式对应的效率值高于作为全局最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将全局最优的数据拆分方式替换为该候选数据拆分方式；
所述确定模块具体用于，根据替换后的当前最优的数据拆分方式，确定在该迭代周期下的其他候选数据拆分方式，并在该迭代周期结束后，根据在该迭代周期中所确定出的各候选数据拆分方式，对各数据维度的权重进行更新。
可选地，所述确定模块具体用于，当监测到经过预设个数的迭代周期后，将经过预设个数的迭代周期后的全局最优的数据拆分方式，确定为所述目标数据拆分方式。
可选地，所述确定模块具体用于，获取所述指定设备的硬件参数；根据所述目标数据的各数据维度以及所述硬件参数，确定各种候选数据拆分方式。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据处理的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
从上述内容中可以看出，本说明书提供的数据处理方法，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。当监测到指定设备中部署的神经网络模型执行计算任务时，可以从内存中读取该神经网络模型需要处理的数据，作为待处理数据，而后，根据目标数据拆分方式以及待处理数据的数据维度，确定指定设备中的至少部分的数据处理单元在执行待处理数据的数据处理任务时所要处理的数据，以对待处理数据进行数据处理。
从上述内容中可以看出，本方法用于确定神经网络模型中参与计算的数据需要如何拆分，以使拆分后的数据经过至少部分数据处理单元，以最终参与神经网络模型的计算任务，候选数据拆分方式能够明确表示出数据拆分后经过数据处理单元的数据的数据维度，从而能够确定出通过候选数据拆分方式进行数据的计算的效率值，因此可以预先通过确定出各种候选数据拆分方式的效率值，来确定出效率最优的目标数据拆分方式，从而能够提高在指定设备中神经网络模型中矩阵运算的效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种数据处理的方法的流程示意图；
图2为本说明书中提供的一种将矩阵（数据）进行拆分并搬运到寄存器的示意图；
图3为本说明书提供的一种数据处理的装置的示意图；
图4为本说明书中提供的一种对应于图1的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种数据处理的方法的流程示意图，包括以下步骤：
S100：读取存储在指定设备内存的目标数据，并确定所述目标数据的各数据维度。
S102：根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定所述指定设备中至少部分的数据处理单元所要处理的数据的数据维度，所述数据处理单元包括：所述指定设备中的寄存器以及各级缓存。
本说明书提供的数据处理的方法的执行主体可以是诸如台式电脑、笔记本电脑等终端设备，也可以是服务器，为了便于说明，本说明书以指定设备为执行主体，对所提供的数据处理的方法进行说明。
本说明书中提供的数据处理的方法主要用于机器学习中的矩阵运算所使用到的矩阵该如何拆分并从内存搬运到寄存器中，从而找到使得矩阵运算效率最优的方式。
基于此，指定设备可以读取存储在该指定设备内存的目标数据，并确定该目标数据的各数据维度。其中，目标数据可以为参与机器学习中矩阵运算的矩阵，各数据维度可以为矩阵的维度，例如，二维矩阵存在两个数据维度，矩阵的每一维是一个数据维度；三维矩阵存在三个数据维度。数据维度还可以表示数据所经过的存储位置（可以包括内存和数据处理单元）的数量。
而后，可以根据该目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式。
其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元包括：指定设备中的寄存器以及各级缓存。
也就是说，数据拆分方式，表示的是，需要将矩阵如何进行拆分从而将矩阵从内存搬运到寄存器中。
例如，对于一个矩阵来说，可以将该矩阵拆分成多个子矩阵，并将每个子矩阵从内存搬运到寄存器中使得该矩阵参与矩阵运算，首先，将该矩阵拆分成若干子矩阵的方式可以存在多种，并且，将子矩阵从内存搬运到寄存器的方式可以存在多种，可以将子矩阵从内存直接搬运到寄存器，可以将子矩阵先从内存搬运到一级缓存，再从一级缓存搬运到寄存器，还可以将子矩阵从内存搬运到一级缓存，从一级缓存搬运到二级缓存，从二级缓存搬运到三级缓存，再从三级缓存搬运到寄存器。
并且，在将子矩阵搬运寄存器的过程中，子矩阵到了一级缓存后还可以继续进行拆分，再继续进行搬运，直到拆分出的最小单元到达寄存器，进行运算，从而，表示将矩阵拆分从而将拆分后的矩阵从内存搬运到寄存器的数据拆分方式可以存在很多。
因此，可以从若干候选数据拆分方式中，尽量确定出效率最优的目标数据拆分方式，以在后续过程中按照目标数据拆分方式，在指定设备内进行矩阵运算，效率能够较高。
在上述提到的效率值可以是通过在指定设备中实际按照候选数据拆分方式执行针对目标数据的数据处理任务（包括数据拆分、从内存到寄存器的搬运以及矩阵运算）的时长得到的，时长越短，效率值越高。
其中，针对确定出的每个候选数据拆分方式，若确定该候选数据拆分方式对应的效率值高于作为当前最优的数据拆分方式的初始数据拆分方式所对应的效率值，则可以将当前最优的数据拆分方式替换为该候选数据拆分方式，并根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式。
也就是说，确定目标数据拆分方式的过程可以是迭代的，确定出初始数据拆分方式时，可以暂时将当前最优的数据拆分方式作为该初始数据拆分方式，而后，可以确定出候选数据拆分方式，可以比较初始数据拆分方式的效率值，若是候选数据拆分方式对应的效率值高于初始数据拆分方式，可以将候选数据拆分方式替换为当前最优的数据拆分方式，反之，则保持初始数据拆分方式为当前最优的数据拆分方式，而后，按照这种方式，不断迭代地确定出其他候选数据拆分方式，直到最终确定出目标候选数据拆分方式。
下面针对数据拆分方式的形式进行举例说明，在此定义数据拆分方式，其中，/>,，/>，且。其中，M、N、K分别表示矩阵中的某个数据维度，其数值为对应数据维度中包含的数的数量。可以假设M×N为一个矩阵，N×K为另一个矩阵，M、N和K均为1024，即，M×N的矩阵为1024×1024大小的矩阵，N×K的矩阵为1024×1024大小的矩阵。
图2为本说明书中提供的一种将矩阵（数据）进行拆分并搬运到寄存器的示意图。
其中，L3 Cache为三级缓存，L2 Cache为二级缓存，L1 Cache为一级缓存，图2表示两个矩阵最初处于内存中，而后，拆分成小一些的矩阵到L1 Cache中，再进行拆分到L2Cache中，最后到达L3 Cache和寄存器中。
根据经验可以定义一个d为2的初始解（初始数据拆分方式）。其中，d表示循环嵌套层数，d能够表示出矩阵拆分出的数据通过了多少个数据处理单元，例如，当d为2时，表示数据拆分方式中可以先将按照内存中存储的矩阵，拆分得到子矩阵并直接搬运到寄存器，当d为3时，可以表示数据拆分方式中可以先将按照内存中存储的矩阵，拆分得到子矩阵并将子矩阵搬运到一级缓存中，再将一级缓存中的子矩阵继续拆分得到进一步的子矩阵。搬运到寄存器中，以此类推。
而、/>和/>分别表示在对应数据维度上进行拆分的方式，如，/>为说明在M对应的数据维度上，按照[16,64]来进行划分，即，M长度为1024，可以在该数据维度上述划分16个长度为64的向量。
表示在N对应的数据维度上，按照[16,64]来进行划分，即，N长度为1024，可以在该数据维度上述划分16个长度为64的向量，/>，在K对应的数据维度上。按照[4,256]来进行划分，即，K长度为1024，可以在该数据维度上述划分4个长度为256的向量，通过将在数据维度上划分出的向量之间的组合，可以得到划分出的子矩阵。
需要说明的是，可以对初始数据拆分方式中包含的改指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式，若确定该候选数据拆分方式对应的效率值高于初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为当前最优的数据拆分方式，并将各数据维度对应的权重进行更新，可以根据各数据维度对应的更新后权重，对替换后的当前最优的数据拆分方式中包含的指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以确定其他候选数据拆分方式。
上述提到的对至少部分数据维度进行变换，可以是指从上述中选取出某个进行变换，例如，初始数据变换方式为，将/>进行变换得到/>可以作为一种候选数据拆分方式，通过不同的变换可以得到多种候选数据拆分方式。
一次m变换（针对的变换）可能将/>变换为，也可能变换为/>，n变换（针对/>的变换）和k（针对/>的变换）变换同理。当/>时，由于参数/>的范围限制，d变换只可能生成，与此同时若/>可以相应地变换为同理；当/>时，d变换还可能生成，与此同时若/>会相应地变换为同理。
上述内容中提到的各数据维度对应的权重可以是指分别对应的权重/>，在对各数据维度对应的权重更新时，对于一个数据维度来说，可以根据按照将该数据维度进行变换后所得到的候选拆分方式所对应的效率值，来对该数据维度对应的权重进行更新，该数据维度的权重越高，选取出该数据维度进行变换得到候选变换方式的概率可以越高。
具体确定权重的方式可以如下所示：
针对每个迭代周期，可以根据经过上一迭代周期的迭代后各数据维度对应的权重，确定在该迭代周期下每个数据维度对应的变换概率，并在该迭代周期下每个数据维度对应的变换概率，对该迭代周期下的初始数据拆分方式中包含的指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式。
而后，若确定该候选数据拆分方式对应的效率值高于该迭代周期下的初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为该迭代周期下当前最优的数据拆分方式，以及若确定该候选数据拆分方式对应的效率值高于作为全局最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将全局最优的数据拆分方式替换为该候选数据拆分方式。
根据替换后的当前最优的数据拆分方式，确定在该迭代周期下的其他候选数据拆分方式，并在该迭代周期结束后，根据在该迭代周期中所确定出的各候选数据拆分方式，对各数据维度的权重进行更新。
其中，一个迭代周期可以包括次迭代，/>可以为预设次数，也就是说，可以在完成一个迭代周期后，通过这个迭代周期中确定出的每个数据拆分方式所对应的效率值，可以更新各数据维度的权重，通过各数据维度的权重，可以确定出在下一迭代周期所需使用到的每个数据维度对应的变换概率，公式如下。
并且，由于不同迭代周期初始数据拆分方式可以是不同的（为了尽量求得全局最优解），可以设置全局最优的数据拆分方式，全局最优的数据拆分方式是不区分迭代周期，只要新确定出的数据拆分方式的效率值高于全局最优的数据拆分方式的效率值，就将新确定出的数据拆分方式替换为全局最优的数据拆分方式，而当前最优的数据拆分方式可以是仅在一个迭代周期内最优的数拆分方式。
举一个例子：依然以上述四种变换来说明：m变换，n变换，k变换，以及d变换；四种变换的初始权值分别为；定义最大迭代次数为/>，迭代周期为/>。本说明书中不断生成候选数据拆分方式的方法为进行不断搜索的方法。
因此，可以初始化，初始化四种搜索操作（即，针对四种数据维度的搜索）的得分/>，初始化两档奖励分数分别为/>。/>为全局最优的数据拆分方式。
搜索从初始数据拆分方式出发，每次迭代中，根据四种搜索操作（即，对四种数据维度的变换）的权重，可以采取轮盘赌的方式从四种搜索操作中选择一种操作，然后使用该操作生成当前解（当前最优的数据拆分方式）的邻域解（生成的候选数据拆分方式）/>。若该邻域解优于当前解，即/>，接受该邻域解，更新当前解，且所选用的操作得分加/>;若该邻域解也优于全局最优解（全局最优的数据拆分方式）/>，则更新全局最优解/>, 且所选用的操作得分再加/>。每迭代/>次，根据四种操作的得分更新其权重并将得分均重置为0。
以为例，/>为/>对应的权重，/>可以是通过针对/>进行变换得到的候选拆分方式的效率值，分别与全局最优的数据拆分方式和当前最优的数据拆分方式进行对比确定出的，同样的，/>，/>和/>可以是通过变换所对应的候选拆分方式的效率值，分别与全局最优的数据拆分方式和当前最优的数据拆分方式进行对比确定出的。
如此一来，上一迭代周期内表现越好的操作，在下一迭代周期内被选用的概率越高，这种操作间的相互竞争能够提高搜索效率。
当迭代次数达到最大迭代次数后，可以停止迭代。
当监测到经过预设个数的迭代周期后，可以将经过预设个数的迭代周期后的全局最优的数据拆分方式，确定为目标数据拆分方式。当然，也可以在迭代次数达到最大迭代次数时，将这一时刻的全局最优的数据拆分方式，确定出目标数据拆分方式。
还需说明的是，数据拆分方式需要与处理矩阵运算的设备相关，不能随意设置，即，拆分出的矩阵需要能够被寄存器和缓存容纳，因此，可以获取上述指定设备的硬件参数，并根据目标数据的各数据维度以及硬件参数，确定各种候选数据拆分方式。
S104：当监测到所述指定设备中部署的神经网络模型执行计算任务时，从所述内存中读取所述神经网络模型需要处理的数据，作为待处理数据。
S105：根据所述目标数据拆分方式以及所述待处理数据的数据维度，确定所述指定设备中的至少部分的数据处理单元在执行所述待处理数据的数据处理任务时所要处理的数据，以对所述待处理数据进行数据处理。
在确定出目标数据拆分方式后，可以当监测到指定设备中部署的神经网络模型执行计算任务时，从内存中读取神经网络模型需要处理的数据，作为待处理数据，并根据目标数据拆分方式以及待处理数据的数据维度，确定指定设备中的至少部分的数据处理单元在执行待处理数据的数据处理任务时所要处理的数据，以对待处理数据进行数据处理。
这里提到的根据目标数据拆分方式以及待处理数据的数据维度，确定指定设备中的至少部分的数据处理单元在执行待处理数据的数据处理任务时所要处理的数据，即是指按照目标数据拆分方式对待处理数据进行拆分，至少部分的数据处理单元在执行待处理数据的数据处理任务时所要处理的数据可以是指拆分出的数据，拆分出的数据需要达到数据处理单元，最终达到寄存器参与神经网络模型的计算任务。
从上述内容可以看出，本方法用于确定神经网络模型中参与计算的数据需要如何拆分，以使拆分后的数据经过至少部分数据处理单元，以最终参与神经网络模型的计算任务，候选数据拆分方式能够明确表示出数据拆分后经过数据处理单元的数据的数据维度，从而能够确定出通过候选数据拆分方式进行数据的计算的效率值，因此可以预先通过确定出各种候选数据拆分方式的效率值，来确定出效率最优的目标数据拆分方式，从而能够提高实际在指定设备中神经网络模型进行矩阵运算的效率。
以上为本说明书的一个或多个实施的方法，基于同样的思路，本说明书还提供了相应的数据处理的装置，如图3所示。
图3为本说明书提供的一种数据处理的装置的示意图，包括：
第一读取模块301，用于读取存储在指定设备内存的目标数据，并确定所述目标数据的各数据维度；
确定模块302，用于根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定所述指定设备中至少部分的数据处理单元所要处理的数据的数据维度，所述数据处理单元包括：所述指定设备中的寄存器以及各级缓存；
第二读取模块303，用于当监测到所述指定设备中部署的神经网络模型执行计算任务时，从所述内存中读取所述神经网络模型需要处理的数据，作为待处理数据；
处理模块304，用于根据所述目标数据拆分方式以及所述待处理数据的数据维度，确定所述指定设备中的至少部分的数据处理单元在执行所述待处理数据的数据处理任务时所要处理的数据，以对所述待处理数据进行数据处理。
可选地，所述确定模块302具体用于，根据所述目标数据的各数据维度，确定初始数据拆分方式；确定按照所述初始数据拆分方式执行所述目标数据的数据处理任务后的效率值，并确定至少一种候选数据拆分方式；确定按照所述至少一种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据所述至少一个候选数据拆分方式对应的效率值以及所述初始数据拆分方式对应的效率值，继续确定其他候选数据拆分方式，直到确定出所述目标数据拆分方式为止。
可选地，所述确定模块302具体用于，针对确定出的每个候选数据拆分方式，若确定该候选数据拆分方式对应的效率值高于作为当前最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将当前最优的数据拆分方式替换为该候选数据拆分方式，并根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式。
可选地，所述确定模块302具体用于，对所述初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
所述确定模块302具体用于，若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为当前最优的数据拆分方式，并将各数据维度对应的权重进行更新；
所述确定模块302具体用于，根据所述各数据维度对应的更新后权重，对替换后的当前最优的数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以确定其他候选数据拆分方式。
可选地，所述确定模块302具体用于，针对每个迭代周期，根据经过上一迭代周期的迭代后各数据维度对应的权重，确定在该迭代周期下每个数据维度对应的变换概率，并在该迭代周期下每个数据维度对应的变换概率，对该迭代周期下的初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
所述确定模块302具体用于，若确定该候选数据拆分方式对应的效率值高于该迭代周期下的初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为该迭代周期下当前最优的数据拆分方式，以及若确定该候选数据拆分方式对应的效率值高于作为全局最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将全局最优的数据拆分方式替换为该候选数据拆分方式；
所述确定模块302具体用于，根据替换后的当前最优的数据拆分方式，确定在该迭代周期下的其他候选数据拆分方式，并在该迭代周期结束后，根据在该迭代周期中所确定出的各候选数据拆分方式，对各数据维度的权重进行更新。
可选地，所述确定模块302具体用于，当监测到经过预设个数的迭代周期后，将经过预设个数的迭代周期后的全局最优的数据拆分方式，确定为所述目标数据拆分方式。
可选地，所述确定模块302具体用于，获取所述指定设备的硬件参数；根据所述目标数据的各数据维度以及所述硬件参数，确定各种候选数据拆分方式。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种数据处理的方法。
本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4所示，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的数据处理的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (14)
1.一种数据处理的方法，其特征在于，包括：
读取存储在指定设备内存的目标数据，并确定所述目标数据的各数据维度；
根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定所述指定设备中至少部分的数据处理单元所要处理的数据的数据维度，所述数据处理单元包括：所述指定设备中的寄存器以及各级缓存，所述根据所述目标数据的各数据维度，确定各种候选数据拆分方式，包括获取所述指定设备的硬件参数，根据所述目标数据的各数据维度以及所述硬件参数，确定各种候选数据拆分方式；
当监测到所述指定设备中部署的神经网络模型执行计算任务时，从所述内存中读取所述神经网络模型需要处理的数据，作为待处理数据；
根据所述目标数据拆分方式以及所述待处理数据的数据维度，确定所述指定设备中的至少部分的数据处理单元在执行所述待处理数据的数据处理任务时所要处理的数据，以对所述待处理数据进行数据处理。
2.如权利要求1所述的方法，其特征在于，根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，具体包括：
根据所述目标数据的各数据维度，确定初始数据拆分方式；
确定按照所述初始数据拆分方式执行所述目标数据的数据处理任务后的效率值，并确定至少一种候选数据拆分方式；
确定按照所述至少一种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据所述至少一个候选数据拆分方式对应的效率值以及所述初始数据拆分方式对应的效率值，继续确定其他候选数据拆分方式，直到确定出所述目标数据拆分方式为止。
3.如权利要求2所述的方法，其特征在于，根据所述至少一个候选数据拆分方式对应的效率值以及所述初始数据拆分方式对应的效率值，继续确定其他候选数据拆分方式，具体包括：
针对确定出的每个候选数据拆分方式，若确定该候选数据拆分方式对应的效率值高于作为当前最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将当前最优的数据拆分方式替换为该候选数据拆分方式，并根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式。
4.如权利要求3所述的方法，其特征在于，确定至少一种候选数据拆分方式，具体包括：
对所述初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将当前最优的数据拆分方式从所述初始数据拆分方式替换为该候选数据拆分方式，具体包括：
若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为当前最优的数据拆分方式，并将各数据维度对应的权重进行更新；
根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式，具体包括：
根据所述各数据维度对应的更新后权重，对替换后的当前最优的数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以确定其他候选数据拆分方式。
5.如权利要求4所述的方法，其特征在于，确定至少一种候选数据拆分方式，具体包括：
针对每个迭代周期，根据经过上一迭代周期的迭代后各数据维度对应的权重，确定在该迭代周期下每个数据维度对应的变换概率，并在该迭代周期下每个数据维度对应的变换概率，对该迭代周期下的初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将当前最优的数据拆分方式从所述初始数据拆分方式替换为该候选数据拆分方式，具体包括：
若确定该候选数据拆分方式对应的效率值高于该迭代周期下的初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为该迭代周期下当前最优的数据拆分方式，以及若确定该候选数据拆分方式对应的效率值高于作为全局最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将全局最优的数据拆分方式替换为该候选数据拆分方式；
根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式，具体包括：
根据替换后的当前最优的数据拆分方式，确定在该迭代周期下的其他候选数据拆分方式，并在该迭代周期结束后，根据在该迭代周期中所确定出的各候选数据拆分方式，对各数据维度的权重进行更新。
6.如权利要求5所述的方法，其特征在于，根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，具体包括：
当监测到经过预设个数的迭代周期后，将经过预设个数的迭代周期后的全局最优的数据拆分方式，确定为所述目标数据拆分方式。
7.一种数据处理的装置，其特征在于，包括：
第一读取模块，用于读取存储在指定设备内存的目标数据，并确定所述目标数据的各数据维度；
确定模块，用于根据所述目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定所述指定设备中至少部分的数据处理单元所要处理的数据的数据维度，所述数据处理单元包括：所述指定设备中的寄存器以及各级缓存，所述根据所述目标数据的各数据维度，确定各种候选数据拆分方式，包括获取所述指定设备的硬件参数，根据所述目标数据的各数据维度以及所述硬件参数，确定各种候选数据拆分方式；
第二读取模块，用于当监测到所述指定设备中部署的神经网络模型执行计算任务时，从所述内存中读取所述神经网络模型需要处理的数据，作为待处理数据；
处理模块，用于根据所述目标数据拆分方式以及所述待处理数据的数据维度，确定所述指定设备中的至少部分的数据处理单元在执行所述待处理数据的数据处理任务时所要处理的数据，以对所述待处理数据进行数据处理。
8.如权利要求7所述的装置，其特征在于，所述确定模块具体用于，根据所述目标数据的各数据维度，确定初始数据拆分方式；确定按照所述初始数据拆分方式执行所述目标数据的数据处理任务后的效率值，并确定至少一种候选数据拆分方式；确定按照所述至少一种候选数据拆分方式执行所述目标数据的数据处理任务后的效率值，并根据所述至少一个候选数据拆分方式对应的效率值以及所述初始数据拆分方式对应的效率值，继续确定其他候选数据拆分方式，直到确定出所述目标数据拆分方式为止。
9.如权利要求8所述的装置，其特征在于，所述确定模块具体用于，针对确定出的每个候选数据拆分方式，若确定该候选数据拆分方式对应的效率值高于作为当前最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将当前最优的数据拆分方式替换为该候选数据拆分方式，并根据替换后的当前最优的数据拆分方式，确定其他候选数据拆分方式。
10.如权利要求9所述的装置，其特征在于，所述确定模块具体用于，对所述初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
所述确定模块具体用于，若确定该候选数据拆分方式对应的效率值高于所述初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为当前最优的数据拆分方式，并将各数据维度对应的权重进行更新；
所述确定模块具体用于，根据所述各数据维度对应的更新后权重，对替换后的当前最优的数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以确定其他候选数据拆分方式。
11.如权利要求10所述的装置，其特征在于，所述确定模块具体用于，针对每个迭代周期，根据经过上一迭代周期的迭代后各数据维度对应的权重，确定在该迭代周期下每个数据维度对应的变换概率，并在该迭代周期下每个数据维度对应的变换概率，对该迭代周期下的初始数据拆分方式中包含的所述指定设备中至少部分的数据处理单元所要处理的数据的至少部分数据维度进行变换，以得到至少一种候选数据拆分方式；
所述确定模块具体用于，若确定该候选数据拆分方式对应的效率值高于该迭代周期下的初始数据拆分方式对应的效率值，则将该候选数据拆分方式确定为该迭代周期下当前最优的数据拆分方式，以及若确定该候选数据拆分方式对应的效率值高于作为全局最优的数据拆分方式的初始数据拆分方式所对应的效率值，则将全局最优的数据拆分方式替换为该候选数据拆分方式；
所述确定模块具体用于，根据替换后的当前最优的数据拆分方式，确定在该迭代周期下的其他候选数据拆分方式，并在该迭代周期结束后，根据在该迭代周期中所确定出的各候选数据拆分方式，对各数据维度的权重进行更新。
12.如权利要求11所述的装置，其特征在于，所述确定模块具体用于，当监测到经过预设个数的迭代周期后，将经过预设个数的迭代周期后的全局最优的数据拆分方式，确定为所述目标数据拆分方式。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~6任一项所述的方法。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310681557.5A CN116415103B (zh) | 2023-06-09 | 2023-06-09 | 一种数据处理的方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310681557.5A CN116415103B (zh) | 2023-06-09 | 2023-06-09 | 一种数据处理的方法、装置、存储介质以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116415103A CN116415103A (zh) | 2023-07-11 |
| CN116415103B true CN116415103B (zh) | 2023-09-05 |
Family
ID=87054653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310681557.5A Active CN116415103B (zh) | 2023-06-09 | 2023-06-09 | 一种数据处理的方法、装置、存储介质以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116415103B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738423A (zh) * | 2020-06-28 | 2020-10-02 | 湖南国科微电子股份有限公司 | 神经网络模型的编译方法、装置、存储介质及电子设备 |
| WO2021082725A1 (zh) * | 2019-11-01 | 2021-05-06 | 中科寒武纪科技股份有限公司 | Winograd卷积运算方法及相关产品 |
| CN113434813A (zh) * | 2021-06-26 | 2021-09-24 | 上海寒武纪信息科技有限公司 | 一种基于神经网络的矩阵乘运算方法及相关装置 |
| CN113868497A (zh) * | 2021-09-28 | 2021-12-31 | 绿盟科技集团股份有限公司 | 一种数据分类方法、装置和存储介质 |
| WO2023029589A1 (zh) * | 2021-08-31 | 2023-03-09 | 上海商汤智能科技有限公司 | 用于神经网络编译的方法、装置、设备及存储介质 |
| CN116150563A (zh) * | 2023-02-24 | 2023-05-23 | 之江实验室 | 一种业务执行方法、装置、存储介质及电子设备 |
-
2023
- 2023-06-09 CN CN202310681557.5A patent/CN116415103B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021082725A1 (zh) * | 2019-11-01 | 2021-05-06 | 中科寒武纪科技股份有限公司 | Winograd卷积运算方法及相关产品 |
| CN111738423A (zh) * | 2020-06-28 | 2020-10-02 | 湖南国科微电子股份有限公司 | 神经网络模型的编译方法、装置、存储介质及电子设备 |
| CN113434813A (zh) * | 2021-06-26 | 2021-09-24 | 上海寒武纪信息科技有限公司 | 一种基于神经网络的矩阵乘运算方法及相关装置 |
| WO2023029589A1 (zh) * | 2021-08-31 | 2023-03-09 | 上海商汤智能科技有限公司 | 用于神经网络编译的方法、装置、设备及存储介质 |
| CN113868497A (zh) * | 2021-09-28 | 2021-12-31 | 绿盟科技集团股份有限公司 | 一种数据分类方法、装置和存储介质 |
| CN116150563A (zh) * | 2023-02-24 | 2023-05-23 | 之江实验室 | 一种业务执行方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 面向多核向量处理器的矩阵乘法向量化方法;刘仲;田希;;计算机学报(第10期);79-92 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116415103A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108170667B (zh) | 词向量处理方法、装置以及设备 | |
| CN107957989B (zh) | 基于集群的词向量处理方法、装置以及设备 | |
| WO2018171717A1 (zh) | 面向神经网络处理器的自动化设计方法和系统 | |
| CN116663618B (zh) | 一种算子优化方法、装置、存储介质及电子设备 | |
| CN116432778B (zh) | 一种数据处理的方法、装置、存储介质及电子设备 | |
| CN115981870B (zh) | 一种数据处理的方法、装置、存储介质及电子设备 | |
| US20200090051A1 (en) | Optimization problem operation method and apparatus | |
| CN116151363B (zh) | 分布式强化学习系统 | |
| CN116860259B (zh) | 一种模型训练和编译器自动调优的方法、装置及设备 | |
| CN116521380A (zh) | 一种资源自适应协同的模型训练加速方法、装置及设备 | |
| CN116304720B (zh) | 一种代价模型训练的方法、装置、存储介质及电子设备 | |
| CN116167461B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN116822657B (zh) | 一种模型训练加速的方法、装置、存储介质及电子设备 | |
| CN116415103B (zh) | 一种数据处理的方法、装置、存储介质以及电子设备 | |
| CN116150563B (zh) | 一种业务执行方法、装置、存储介质及电子设备 | |
| CN117036829A (zh) | 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 | |
| CN115954048B (zh) | 一种针对CRISPR-Cas系统的筛选方法及装置 | |
| US10997497B2 (en) | Calculation device for and calculation method of performing convolution | |
| CN113641872B (zh) | 一种散列方法、装置、设备及介质 | |
| CN111753990B (zh) | 一种量子计算机模拟环境方法、设备及介质 | |
| CN116306855B (zh) | 一种基于存算一体系统的数据处理方法及装置 | |
| CN116107636B (zh) | 一种硬件加速方法、装置、存储介质及电子设备 | |
| CN111506522A (zh) | 数据处理设备及方法 | |
| CN117171577B (zh) | 一种高性能算子选择的动态决策方法及装置 | |
| CN116991388B (zh) | 一种深度学习编译器的图优化序列生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |