CN115759260A - 深度学习模型的推理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供了一种深度学习模型的推理方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及深度学习技术领域。具体实现方案为：响应于接收到模型推理请求，基于模型推理请求包括的目标模型的模型标识，从托管存储单元获取与目标模型关联的模型运算图和线程块配置文件，其中，模型推理请求还包括待处理数据，模型运算图包括多个节点，多个节点各自表示目标模型的多个功能模块，多个节点之间的边表示多个功能模块的运行顺序，线程块配置文件表示计算单元中的多个线程块与功能模块的对应关系；以及基于模型运算图和线程块配置文件，依次运行多个线程块来处理待处理数据，得到目标模型的模型推理结果。

Description

深度学习模型的推理方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习技术领域，可应用于音频合成场景下。更具体地，本公开提供了一种深度学习模型的推理方法、装置、电子设备、存储介质和程序产品。

背景技术

深度学习模型的模型推理可以指简化并使用深度学习模型，使模型能够快速、高效地对未知的数据进行操作，以获得预期的结果。深度学习模型的模型推理策略是深度学习模型运算性能的重要影响因素。

发明内容

本公开提供了一种深度学习模型的推理方法、装置、电子设备、存储介质和程序产品。

根据本公开的一方面，提供了一种深度学习模型的推理方法，包括：响应于接收到模型推理请求，基于上述模型推理请求包括的目标模型的模型标识，从托管存储单元获取与上述目标模型关联的模型运算图和线程块配置文件，其中，上述模型推理请求还包括待处理数据，上述模型运算图包括多个节点，上述多个节点各自表示上述目标模型的多个功能模块，上述多个节点之间的边表示多个上述功能模块的运行顺序，上述线程块配置文件表示计算单元中的多个线程块与上述功能模块的对应关系；以及基于上述模型运算图和上述线程块配置文件，依次运行上述多个线程块来处理上述待处理数据，得到上述目标模型的模型推理结果。

根据本公开的另一方面，提供了一种深度学习模型的推理装置，包括：获取模块，用于响应于接收到模型推理请求，基于上述模型推理请求包括的目标模型的模型标识，从托管存储单元获取与上述目标模型关联的模型运算图和线程块配置文件，其中，上述模型推理请求还包括待处理数据，上述模型运算图包括多个节点，上述多个节点各自表示上述目标模型的多个功能模块，上述多个节点之间的边表示多个上述功能模块的运行顺序，上述线程块配置文件表示计算单元中的多个线程块与上述功能模块的对应关系；以及模型推理模块，用于基于上述模型运算图和上述线程块配置文件，依次运行上述多个线程块来处理上述待处理数据，得到上述目标模型的模型推理结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用深度学习模型的推理方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的深度学习模型的推理方法的流程图；

图3A示意性示出了根据本公开实施例的目标模型的模型运算图的示意图；

图3B示意性示出了根据本公开另一实施例的目标模型的模型运算图的示意图；

图4示意性示出了根据本公开另一实施例的执行目标迭代过程的流程示意图；

图5A示意性示出了根据本公开实施例的WaveRNN模型的模型运算图的示意图；

图5B示意性示出了根据本公开实施例的WaveRNN模型的模型运算图的示意图；

图6示意性示出了根据本公开实施例的深度学习模型的推理装置的框图；以及

图7示意性示出了根据本公开实施例的可以应用深度学习模块的推理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

随着深度学习模型向层数越来越多、结构越来越复杂，深度学习模型的参数量也越来越大，导致模型应用效率的降低。因此，利用模型推理方法，对模型的应用进行加速对于深度学习模型的推广应用具有重要的意义。

在一些实施例中，可以应用图形处理器(Graphics Processing Unit，GPU)来实现深度学习模型的处理。具体地，可以利用图形处理器的多个运算核分别实现深度学习模型的不同层的并行运算，或者，分别实现深度学习模型的多个样本的并行运算。

然而，利用多个运算核实现的深度学习模型的推理方法无可避免地需要反复调用运算核。由于运算核的启动时间一般较大，因此，运算核的反复调用会影响模型的运行速度。另一方面，模型推理过程中模型的权重数据一般是不需要更新的，而利用多个运算核实现的模型推理方法需要在每次循环和接收新的输入数据时，都需要将模型的权重数据从全局存储单元加载到寄存器中，权重数据的反复加载也会影响模型的运行速度。此外，运算核在每次运算时的输入输出都需要经历全局存储单元和寄存器的I/O过程，I/O过程同样会影响模型的运行速度。

以WaveRNN模型为例，WaveRNN模型的每一次采样点的预测过程可以拆分为两组相同的矩阵运算过程，每一组矩阵运算过程可以得到8位的采样点预测结果。每一组矩阵运算过程包括5个网络模块的运算，5个网络模块依序包括1个GRU(Gate Recurrent Unit，门控循环单元)、2个GEMM(General Matrix Multiplication，通用矩阵乘)、1个Softmax(归一化指数单元)和1个Sampling(采样单元)。GRU可以由3个运算核来实现，GEMM、Softmax和Sampling可以分别由1个运算核来实现，即一组矩阵运算过程需要7个运算核来实现。WaveRNN模型的每一次采样点的预测过程需要启动14次运算核，则WaveRNN模型的每一次采样点的预测过程的基础耗时为运算核的启动耗时、权重数据加载耗时和I/O过程耗时之和的14倍。假设启动耗时、权重数据加载耗时和I/O过程耗时之和为10微秒，则一个预测采样点的生成需要280微秒，应用上述实施例方法的WaveRNN模型的最大运行速度为3570样本/秒。可见，运算核的启动耗时、权重数据加载耗时和I/O过程耗时对模型的运行速度有较大影响。

图1示意性示出了根据本公开实施例的可以应用深度学习模型的推理方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括主机端110、设备端120和托管存储单元130。

托管存储单元130可以指主机端110和设备端120共享的存储介质，主机端110和设备端120都可以使用单指针访问托管存储单元130，进行数据的读写。

主机端110可以是配置有处理器的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。主机端110中配置的处理器可以包括但不限于CPU(Central Processing Unit，中央处理器)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)等。

设备端120可以指主机端110的外接处理设备，如各种型号的显卡设备等。设备端可以由图形处理器及其内存组成。作为一种可选实施方式，设备端120可以作为主机端110中处理器的一部分，集成在处理器的主板上。

基于CUDA(Compute Unified Device Architecture，统一计算设备架构)的软件架构，设备端120在逻辑上可以分为三个层次结构，三个层次结构从小到大依次是线程、线程块和线程网格。具体地，设备端120上的计算单元可以分为多个线程网格，例如，设备端120可以包括线程网格121。线程网格121内的线程可以分别由线程块1211和线程块1212维持，且线程网格121内的线程可以通过全局存储单元1213进行数据共享。线程块1211和线程块1212可以分别配置有共享存储单元12111和共享存储单元12121，线程块1211内的线程可以通过共享存储单元12111进行数据共享，相应的，线程块1212内的线程可以通过共享存储单元12121进行数据共享。

需要说明的是，本公开实施例所提供的深度学习模型的推理方法一般可以由设备端120执行。相应地，本公开实施例所提供的深度学习模型的推理装置也可以设置于设备端120中。

例如，深度学习模型在主机端110上可以表示为核函数，该核函数的参数、模型运算图等信息可以由主机端110写入托管存储单元130。在进行模型推理时，主机端110可以生成模型推理请求，并通过通信链路发送给设备端120。设备端120在接收到模型推理请求后，可以从托管存储单元120中读取模型运算图等信息，并依次运行线程块1211和线程块1212来处理模型推理请求中包括的待处理数据，实现模型推理。

应该理解，图1中的主机端、设备端和托管存储单元的数目及结构仅仅是示意性的。根据实现需要，可以具有任意数目的主机端、设备端和托管存储单元，且主机端、设备端和托管存储单元的具体结构不作限定。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图2示意性示出了根据本公开实施例的深度学习模型的推理方法的流程图。

如图2所示，该方法包括操作S210～S220。

在操作S210，响应于接收到模型推理请求，基于模型推理请求包括的目标模型的模型标识，从托管存储单元获取与目标模型关联的模型运算图和线程块配置文件。

在操作S220，基于模型运算图和线程块配置文件，依次运行多个线程块来处理待处理数据，得到目标模型的模型推理结果。

根据本公开的实施例，模型推理请求可以指利用图形处理器对目标模型进行模型推理的请求。图形处理器可以指图像处理芯片，属于显卡设备的重要组成部分。模型推理可以指借助图形处理器的高并发能力，对目标模型的处理过程进行加速。可以由CPU、FPGA等处理设备生成模型推理请求并发送至图形处理器。

根据本公开的实施例，目标模型可以是任意类型的深度学习模型，包括但不限于深度卷积模型、时间序列模型等。目标模型可以分为多个功能模块，每个功能模块可以包括一个或多个网络层，每个网络层可以用于实现一次矩阵运算，该矩阵运算可以包括矩阵相乘运算、矩阵相加运算、矩阵数乘运算、卷积运算等。一个或多个网络层可以共同用于实现特定功能。例如，深度卷积模型中的功能模块可以包括卷积模块、池化模块等，数据在输入卷积模块后，可以依据卷积模块中网络层的数量，进行一次或多次卷积运算，以实现对数据的卷积处理，相应的，数据在输入池化模块后，可以依据池化模块中网络层的数量，进行一次或多次池化运算，以实现对数据的池化处理。

根据本公开的实施例，目标模型的模型标识可以指与目标模型唯一对应的标识信息。模型标识的生成方式在此不作限定，例如可以将根据目标模型的名称、生成目标模型的时间戳信息、目标模型的版本迭代编号等生成的字符串作为目标模型的模型标识，只要生成的模型标识可以唯一表示目标模型即可。

根据本公开的实施例，托管存储单元可以指图形处理器与CPU、FPGA等处理设备之间的共享内存。

根据本公开的实施例，模型推理请求还可以包括待处理数据。待处理数据可以是由用户输入CPU、FPGA等处理设备，并伴随着模型推理请求的生成一并传入图形处理器。

根据本公开的实施例，模型运算图可以表示目标模型的多个功能模块的运行顺序。具体地，模型运算图可以包括多个节点，多个节点各自可以表示目标模型的多个功能模块，多个节点之间可以存在有边，多个节点之间的边可以表示多个功能模块的运行顺序。由于目标模型的结构相对固定，即目标模型包括的网络层的数量和多个网络层的排列顺序相对固定，则可以根据网络层的功能，将多个网络层划分为多个功能模块，再根据多个网络层的排列顺序来确定多个功能模块的运行顺序，从而完成目标模型的模型运算图的构建。

根据本公开的实施例，线程块配置文件可以表示计算单元中的多个线程块与功能模块的对应关系。计算单元可以指图形处理器的运算核，每个运算核可以包括多个线程块。每个线程块可以包括多个线程，多个线程可以是并行执行的。运算核中的多个线程块可以按照一维、二维或三维的方式进行排列。多个线程块可以是独立执行的，即不同的线程块可以独立执行对应的操作。多个线程块可以采用任何顺序执行操作，包括并行、随机或顺序执行，线程块的执行顺序可以和线程块的排列方式及顺序无关。依据线程块在计算单元中的排列方式及顺序，线程块可以具有唯一的线程块标识。例如，线程块在计算单元是按照二维的方式进行排列，则第x行第y列的线程块的线程块标识可以表示为block(x，y)。线程块配置文件可以是通过建立多个线程块的线程块标识与功能模块的对应关系来生成的。

根据本公开的实施例，模型推理结果可以指目标模型处理待处理数据后得到的模型输出数据，模型输出数据可以返回至CPU、FPGA等处理设备，并由CPU、FPGA等处理设备处理该模型输出数据，得到模型预测结果。在一个示例中，目标模型为音频合成模型，待处理数据可以是从文本、图像等提取得到的特征数据，对目标模型进行推理后得到的模型推理结果可以是多个预测采样点，每个采样点可以包括频率、幅值等参数，CPU可以基于多个预测采样点来绘制音频波形，该音频波形即音频合成结果。

根据本公开的实施例，根据需要推理的目标模型的模型标识，获取关联的模型运算图和线程块配置文件，并基于模型运算图和线程块配置文件依次运行多个线程块来处理待处理数据，得到目标模型的模型推理结果。由此，可以使用一个持久化运算核实现模型推理，即通过持久化运算核的不同线程块执行不同的模型运算操作，降低了运算核在启动过程、模型参数加载过程、I/O过程等的耗时，提高了模型推理的实时率。

可以理解，上文对本公开的方法进行了详细说明，下面将结合附图对本公开提供的方法进行进一步详细说明。

根据本公开的实施例，模型运算图可以由用户根据目标模型的模型架构来构建，并预先写入托管存储单元中。

根据本公开的实施例，线程块配置文件可以包括通过如下操作来生成：

基于目标模型的参数，确定多个功能模块各自的资源占用信息；以及，基于计算单元的资源配置信息和多个功能模块各自的资源占用信息，生成线程块配置文件。

根据本公开的实施例，功能模块的资源占用信息可以表示运行该功能模块时需要占用的运算资源和存储资源。资源占用信息可以根据目标模型的参数的维度及尺寸来确定，目标模型的参数的维度越高、尺寸越大，则资源占用信息表示的占用运算资源和存储资源的量也就越大。

根据本公开的实施例，可以将生成的线程块配置文件写入托管存储单元。

图3A示意性示出了根据本公开实施例的目标模型的模型运算图的示意图。

如图3A所示，目标模型可以包括功能模块301、功能模块302、功能模块303和功能模块304。

根据本公开的实施例，在目标模型的推理过程中，待处理数据可以输入功能模块301中，由与功能模块301对应的线程块来处理该待处理数据。功能模块301的输出数据可以分别输入至功能模块302和功能模块303中，由分别与功能模块302和功能模块303对应的线程块并行地进行数据输出。功能模块302和功能模块303的输出数据可以一并输入至功能模块304中，功能模块304的输出数据即为目标模型的模型推理结果。

图3B示意性示出了根据本公开另一实施例的目标模型的模型运算图的示意图。

如图3B所示，目标模型可以包括功能模块305、功能模块306和功能模块307。

根据本公开的实施例，目标模型可以是时间序列模型，包括但不限于RNN(Recurrent Neural Network，循环神经网络)、LSTM(Long Short Term Memory，长短期记忆网络)、WaveNet等。依次运行多个线程块来处理待处理数据可以包括多次迭代过程，目标模型的模型运算图可以是目标模型的一次迭代过程中的模型运算图。

根据本公开的实施例，功能模块305的输入数据可以是待处理数据中的一部分。例如，迭代过程的总次数为N，可以将待处理数据切分为N等份，第i次迭代过程中功能模块305的输入数据可以是N等份的待处理数据中的第i份。N为大于1的整数，i＝1，...，N。

根据本公开的实施例，目标输入数据在经功能模块305、功能模块306和功能模块307的串行处理后可以得到此次迭代过程的输出数据。

根据本公开的实施例，可以基于多次迭代过程各自的输出数据，得到目标模型的模型推理结果。具体地，可以将每次迭代过程的输出数据依次写入一个序列中，在迭代过程结束后，该序列即目标模型的模型推理结果。

根据本公开的实施例，可选地，功能模块305、功能模块306和功能模块307中的至少一个功能模块的部分输入数据还可以包括上一次迭代过程中该功能模块的部分输出数据。例如，RNN模型在t时刻接收到输入x_t之后，隐藏层输出的值为s_t，该s_t的值不仅与x_t相关，还与t-1时刻隐藏层输出的值s_t-1相关。

根据本公开的实施例，计算单元包括的线程块的数量可以大于目标模型的多个功能模块各自对应的线程块的数量之和。为了确保目标模型推理的多次迭代过程中特定线程块可以固定执行特定功能，可以通过设置同步点参数的方式，对多个线程块进行强制同步操作。例如，在CUDA的软件架构下，可以在托管存储单元中使用cuda-barrier指令对多个线程块进行强制同步操作，完成同步点参数的设置。同步点参数的值可以表示与该同步点参数对应的迭代过程中参与运算的线程块的最大数量。通过同步点参数的设置，可以在确定的最大数量的线程块已完成运算操作后，控制多个线程块停止工作，以便在下一迭代过程开始时重新从第一个线程块开始进行运算。

根据本公开的实施例，分别为多个迭代过程各自设置的多个同步点参数可以组成同步点序列，多个同步点参数各自与多次迭代过程相对应。可选地，同步点序列可以配置在模型运算图中。

根据本公开的实施例，通过同步点参数的设置，在目标模型推理的多次迭代过程中，固定线程块可以仅执行固定功能，可以保证目标模型执行的正确性。此外，多次迭代过程中目标模型的参数仅需要加载一次，而不需要在每次迭代过程中分别加载目标模型的参数，因而可以降低模型参数加载过程的耗时，提高模型运行速度。

根据本公开的实施例，多次迭代过程中的每次迭代过程可以包括如下操作：

从待处理数据中确定目标输入数据；以及，基于模型运算图、线程块配置文件和与目标迭代过程对应的目标同步点参数，依次运行多个线程块来处理目标输入数据，得到目标迭代过程的输出数据。

根据本公开的实施例，目标迭代过程可以指多次迭代过程中的任意一次迭代过程。

根据本公开的实施例，目标输入数据的确定可以参照如图3B中功能模块305的输入数据的确定方法，在此不再赘述。

根据本公开的实施例，通过利用模型运算图辅助图形处理器进行模型推理的方式，可以降低CPU、FPGA等处理设备与图形处理器之间的交互次数，从而提高模型推理效率，并保证模型执行的正确性。

图4示意性示出了根据本公开另一实施例的执行目标迭代过程的流程示意图。

如图4所示，执行目标迭代过程的流程可以包括操作S401～S409。

在操作S401，确定目标同步点标识数据。

在操作S402，确定目标同步点标识数据是否小于或等于目标同步点参数。在确定目标同步点标识数据小于或等于目标同步点参数的情况下，执行操作S403。在确定目标同步点标识数据大于目标同步点参数的情况下，执行操作S408。

在操作S403，基于目标同步点标识数据确定第一目标线程块。

在操作S404，根据线程块配置文件，确定与第一目标线程块对应的第一功能模块。

在操作S405，根据模型运算图，确定与第一功能模块关联的第二功能模块。

在操作S406，根据第二功能模块的输出数据，确定当前输入数据。

在操作S407，运行第一目标线程块来处理当前输入数据，得到当前输出数据。

在操作S408，利用预设规则调整目标同步点标识数据。在完成操作S408之后，可以返回执行操作S401。

在操作S409，控制多个线程块停止运行，并基于多个线程块的当前输出数据，得到目标迭代过程的输出数据。

根据本公开的实施例，目标同步点标识数据可以是在执行目标迭代过程时表示线程块处理进度的数据。具体地，目标同步点标识数据可以表示目标迭代过程中已参与运算的线程块的数量。

根据本公开的实施例，线程块配置文件中可以配置多个线程块各自的顺序。相应地，目标同步点标识数据可以表示为线程块配置文件中有序排列的多个线程块的序号，根据该序号可以确定第一目标线程块。

根据本公开的实施例，根据线程块配置文件中配置的多个线程块各自与功能模块的对应关系，可以确定与第一目标线程块对应的第一功能模块。

根据本公开的实施例，可选的，当前输入数据除可以包括第二功能模块的输出数据之外，还可以包括目标迭代过程的前次迭代过程中，第一功能模块的输出数据中与时序关联的部分数据。可选的，在目标迭代过程为多次迭代过程中的第1次迭代过程的情况下，前述第一功能模块的输出数据中与时序关联的部分数据可以设置为0。

根据本公开的实施例，第一功能模块的输出数据可以包括与第一功能模块对应的一个或多个线程块的输出数据。

根据本公开的实施例，利用预设规则调整目标同步点标识数据例如可以是将目标同步点标识数据的值按预设步长进行累加操作。预设步长例如可以是1。

根据本公开的实施例，可选的，一个功能模块对应的一个或多个线程块可以相互解耦并可以并行执行，第一目标线程块可以包括与第一功能模块对应的一个或多个线程块，利用预设规则调整目标同步点标识数据可以是将目标同步点标识数据调整为原目标同步点标识数据与第一目标线程块的数量的和值。

根据本公开的实施例，通过利用同步点序列对多个线程块进行强制同步操作的方式，可以有效保证模型执行的正确性，提高模型推理效率。

根据本公开的实施例，模型推理请求还可以包括目标模型的参数。由于设置了多个线程块的强制同步操作，因此，在多次迭代过程之前，可以基于线程块配置文件，将目标模型的参数分别写入多个线程块各自的共享存储单元。

根据本公开的实施例，共享存储单元可以指线程块内部的多个线程的共享存储介质。

根据本公开的实施例，具体地，基于线程块配置文件，将目标模型的参数分别写入多个线程块各自的共享存储单元可以包括如下操作：

对于每个功能模块，从目标模型的参数中确定与功能模块对应的目标参数集；基于线程块配置文件，确定与功能模块对应的第二目标线程块；以及，将目标参数集写入第二目标线程块的共享存储单元。

根据本公开的实施例，第二目标线程块可以包括与该功能模块对应的一个或多个线程块。

根据本公开的实施例，操作S407具体可以包括如下操作：

从目标线程块的共享存储单元中读取目标模型参数；以及，运行第一目标线程块，对目标模型参数和当前输入数据进行矩阵运算，得到当前输出数据。

根据本公开的实施例，可以将当前输入数据写入第一寄存器中。相应地，还可以将从共享存储单元中读取的目标模型参数写入第二寄存器中。第一寄存器和第二寄存器可以由目标线程块自动进行分配。例如，在进行矩阵运算时，可以由算子分别从第一寄存器和第二寄存器中提取数据并进行矩阵运算，得到的当前输出数据可以经由第三寄存器写入全局存储单元中。算子可以指图形处理器的基本处理单元。

根据本公开的实施例，通过一次性加载目标模型的全部参数的方式，在后续的多次迭代过程中，线程块在进行矩阵运算时，只需要从共享存储单元中进行目标模型的参数的加载，而不需要从全局存储单元或托管存储单元中进行目标模型的参数的加载。全局存储单元可以指计算单元内的多个线程块共享的存储介质。由于共享存储单元需要处理的读写请求较少，其读写效率高于全局存储单元和托管存储单元的读写效率，因此可以有效提高模型推理的实时率。

下面参考图5A和图5B，以目标模型为WaveRNN模型为例，对本公开提供的方法进行进一步详细说明。

图5A示意性示出了根据本公开实施例的WaveRNN模型的模型运算图的示意图。

如图5A所示，WaveRNN模型的功能模块可以包括GRU 501、GEMM1502、GEMM2503和Softmax 504。WaveRNN模型的推理可以使用线程块间的顺序执行的方式来实现。

根据本公开的实施例，在对WaveRNN模型进行模型推理时，输入的待处理数据可以包括文本特征数据505，文本特征数据505可以是待处理数据的一部分。模型推理结果可以包括基于文本特征数据505运算得到的预测采样点。预测采样点的生成可以包括两次迭代过程，第一次迭代过程可以生成预测采样点的前8位，即第一采样点506，第二次迭代过程可以生成预测采样点的后8位，即第二采样点507。

根据本公开的实施例，每一次迭代过程可以在一次线程块的强制同步操作中完成，同步屏障508两侧分别表示一次强制同步操作。同步点序列中的同步点参数可以表示强制同步操作中运行的线程块的数量。在使用线程块的顺序执行的方式来实现模型推理时，同步点序列中的多个同步点参数的值可以相等。

根据本公开的实施例，GRU 501在两次强制同步操作中的输入存在区别。在第一次强制同步操作中，GRU 501的输入包括文本特征数据505和第一中间参数509，第一中间参数509可以包括处理第n-1部分待处理数据时GRU 501输出的中间参数。第一次强制同步操作的输出可以包括第二中间参数510。在第二次强制同步操作中，GRU 501的输入可以包括文本特征数据505、第一中间参数509和第二中间参数510。第二次强制同步操作的输出可以包括第三中间参数511。第二中间参数510与第三中间参数511可以作为处理第n+1部分待处理数据时的第一中间参数。

图5B示意性示出了根据本公开实施例的WaveRNN模型的模型运算图的示意图。

如图5B所示，WaveRNN模型的功能模块可以包括GRU 501、GEMM1 502、GEMM2 503和Softmax 504。WaveRNN模型的推理还可以使用线程块间的流水执行的方式来实现。

根据本公开的实施例，WaveRNN模型的一次迭代过程可以拆分为两个运算过程，第一个运算过程可以是对分别与GRU 501和GEMM1 502对应的线程块的顺序运行，第二个运算过程可以是对分别与GMEE2 503和Softmax 504对应的线程块的顺序运行。每个运算过程所需要的线程块数量可以有所区别，例如，第一个运算过程所需的线程块数量为28个，第二个运算过程所需的线程块数量为8个。由于模型推理时，每个功能模块对应的线程块可以并行执行，因此，第一个运算过程的耗时与第二个运算过程的耗时基本一致。

根据本公开的实施例，每次迭代过程包括的两个运算过程可以在不同的线程块强制同步操作中完成。具体地，可以通过设置同步点参数，使得第一个运算过程在第一个强制同步操作中完成，第二个运算过程在第二个强制同步操作中完成，可以实现相互解耦的输入数据的并行处理。

例如，待处理数据可以包括相互解耦的样本A 512和样本B 513。在进行样本A 512和样本B 513的预测采样点生成时，可以将同步点序列设置为{28，36，36，36，8}，即可以设置4个同步屏障508，将样本A 512和样本B 513的预测采样点生成划分为5个强制同步操作。具体地，在第一个强制同步操作中，将同步点参数设置为28，以执行针对样本A 512的第一次迭代过程的第一个运算过程。针对样本A 512的第一次迭代过程的第一个运算过程的输入可以包括第四中间参数514。在第二个强制同步操作中，将同步点参数设置为36，以并行执行针对样本B 513的第一次迭代过程的第一个运算过程和针对样本A 512的第一次迭代过程的第二个运算过程。针对样本B 513的第一次迭代过程的第一个运算过程的输入可以包括第五中间参数515，针对样本A 512的第一次迭代过程的第二个运算过程的输出可以包括第六中间参数516和第三采样点517。在第三个强制同步操作中，将同步点参数设置为36，以并行执行针对样本A 512的第二次迭代过程的第一个运算过程和针对样本B 513的第一次迭代过程的第二个运算过程。针对样本A 512的第二次迭代过程的第一个运算过程的输入可以包括第四中间参数514和第六中间参数516，针对样本B 513的第一次迭代过程的第二个运算过程的输出可以包括第七中间参数518和第四采样点519。在第四个强制同步操作中，将同步点参数设置为36，以并行执行针对样本B 513的第二次迭代过程的第一个运算过程和针对样本A 512的第二次迭代过程的第二个运算过程.针对样本B 513的第二次迭代过程的第一个运算过程的输入可以包括第五中间参数515和第七中间参数518，针对样本A512的第二次迭代过程的第二个运算过程的输出可以包括第五采样点520。在第五个强制同步操作中，将同步点参数设置为8，以执行针对样本B 513的第二次迭代过程的第二个运算过程。针对样本B 513的第二次迭代过程的第二个运算过程的输出可以包括第六采样点521。

根据本公开的实施例，基于样本A 512生成的预测采样点可以包括第三采样点517和第五采样点520，基于样本B 513生成的预测采样点可以包括第四采样点519和第六采样点521。

根据本公开的实施例，假定每个功能模块的运行耗时为T，则利用流水执行方式生成样本A 512和样本B 513的预测采样点的总耗时为10T，而利用顺序执行方式生成样本A512和样本B 513的预测采样点的总耗时为16T，由此可见，流水执行方式可以减少运行耗时，提高推理效率。

作为一种可选的实施方式，还可以根据图形处理器的性能信息，如图形处理器具有的SM(Streaming Multiprocessor，流处理器)的数量，来启动多个计算单元进行目标模型的推理，以提高模型推理的效率。

作为一种可选的实施方式，还可以使用矩阵加速方法，调用Tensor core(张量运算核心)对上述实施例中的矩阵运算进行加速。矩阵加速方法可以包括WMMA(Warp MatrixMultiply-Accumulate，变换粒度矩阵乘加速)、模型量化等。

图6示意性示出了根据本公开实施例的深度学习模型的推理装置的框图。

如图6所示，深度学习模型的推理装置600可以包括获取模块610和模型推理模块620。

获取模块610，用于响应于接收到模型推理请求，基于模型推理请求包括的目标模型的模型标识，从托管存储单元获取与目标模型关联的模型运算图和线程块配置文件，其中，模型推理请求还包括待处理数据，模型运算图包括多个节点，多个节点各自表示目标模型的多个功能模块，多个节点之间的边表示多个功能模块的运行顺序，线程块配置文件表示计算单元中的多个线程块与功能模块的对应关系。

模型推理模块620，用于基于模型运算图和线程块配置文件，依次运行多个线程块来处理待处理数据，得到目标模型的模型推理结果。

根据本公开的实施例，根据需要推理的目标模型的模型标识，获取关联的模型运算图和线程块配置文件，并基于模型运算图和线程块配置文件依次运行多个线程块来处理待处理数据，得到目标模型的模型推理结果。由此，可以使用一个持久化运算核实现模型推理，即通过持久化运算核的不同线程块执行不同的模型运算操作，降低了运算核在启动过程、模型参数加载过程、I/O过程等的耗时，提高了模型推理的实时率。

根据本公开的实施例，模型推理模块620包括第一处理子模块。

第一处理子模块，用于处理依次运行多个线程块来处理待处理数据包括的多次迭代过程。

根据本公开的实施例，模型运算图配置有同步点序列，同步点序列包括多个同步点参数，多个同步点参数各自与多次迭代过程相对应，同步点参数的值表示与同步点参数对应的迭代过程中参与运算的线程块的最大数量。

根据本公开的实施例，第一处理子模块包括确定单元和处理单元。

确定单元，用于从待处理数据中确定目标输入数据。

处理单元，用于基于模型运算图、线程块配置文件和与目标迭代过程对应的目标同步点参数，依次运行多个线程块来处理目标输入数据，得到目标迭代过程的输出数据。

根据本公开的实施例，模型推理模块620包括第二处理子模块。

第二处理子模块，用于基于多次迭代过程各自的输出数据，得到目标模型的模型推理结果。

根据本公开的实施例，处理单元包括第一处理子单元、第二处理子单元、第三处理子单元、第四处理子单元、第五处理子单元和第六处理子单元。

第一处理子单元，用于确定目标同步点标识数据，其中，目标同步点标识数据表示目标迭代过程中已参与运算的线程块的数量。

第二处理子单元，用于在目标同步点标识数据小于或等于目标同步点参数的情况下，基于目标同步点标识数据确定第一目标线程块。

第三处理子单元，用于根据线程块配置文件，确定与第一目标线程块对应的第一功能模块。

第四处理子单元，用于根据模型运算图，确定与第一功能模块关联的第二功能模块。

第五处理子单元，用于根据第二功能模块的输出数据，确定当前输入数据。

第六处理子单元，用于运行第一目标线程块来处理当前输入数据，得到当前输出数据。

根据本公开的实施例，模型推理请求还包括目标模型的参数。

根据本公开的实施例，深度学习模块的推理装置600还包括第一写入模块。

第一写入模块，用于基于线程块配置文件，将目标模型的参数分别写入多个线程块各自的共享存储单元。

根据本公开的实施例，第六处理子单元包括第一处理组件和第二处理组件。

第一处理组件，用于从目标线程块的共享存储单元中读取目标模型参数。

第二处理组件，用于运行第一目标线程块，对目标模型参数和当前输入数据进行矩阵运算，得到当前输出数据。

根据本公开的实施例，第一写入模块包括第一确定子模块、第二确定子模块和写入子模块。

第一确定子模块，用于对于每个功能模块，从目标模型的参数中确定与功能模块对应的目标参数集。

第二确定子模块，用于基于线程块配置文件，确定与功能模块对应的第二目标线程块。

写入子模块，用于将目标参数集写入第二目标线程块的共享存储单元。

根据本公开的实施例，深度学习模块的推理装置600还包括调整模块。

调整模块，用于在运行第一目标线程块来处理当前输入数据，得到当前输出数据之后，利用预设规则调整目标同步点标识数据。

根据本公开的实施例，深度学习模块的推理装置600还包括控制模块和处理模块。

控制模块，用于在目标同步点标识数据大于目标同步点参数的情况下，控制多个线程块停止运行。

处理模块，用于基于多个线程块的当前输出数据，得到目标迭代过程的输出数据。

根据本公开的实施例，深度学习模块的推理装置600还包括确定模块、生成模块和第二写入模块。

确定模块，用于基于目标模型的参数，确定多个功能模块各自的资源占用信息。

生成模块，用于基于计算单元的资源配置信息和多个功能模块各自的资源占用信息，生成线程块配置文件。

第二写入模块，用于将线程块配置文件写入托管存储单元。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图7示意性示出了根据本公开实施例的可以应用深度学习模块的推理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如深度学习模型的推理方法。例如，在一些实施例中，深度学习模型的推理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的深度学习模型的推理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度学习模型的推理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种深度学习模型的推理方法，包括：

响应于接收到模型推理请求，基于所述模型推理请求包括的目标模型的模型标识，从托管存储单元获取与所述目标模型关联的模型运算图和线程块配置文件，其中，所述模型推理请求还包括待处理数据，所述模型运算图包括多个节点，所述多个节点各自表示所述目标模型的多个功能模块，所述多个节点之间的边表示多个所述功能模块的运行顺序，所述线程块配置文件表示计算单元中的多个线程块与所述功能模块的对应关系；以及

基于所述模型运算图和所述线程块配置文件，依次运行所述多个线程块来处理所述待处理数据，得到所述目标模型的模型推理结果。

2.根据权利要求1所述的方法，其中，所述依次运行所述多个线程块来处理所述待处理数据包括多次迭代过程；

其中，所述模型运算图配置有同步点序列，所述同步点序列包括多个同步点参数，所述多个同步点参数各自与所述多次迭代过程相对应，所述同步点参数的值表示与所述同步点参数对应的迭代过程中参与运算的线程块的最大数量。

3.根据权利要求2所述的方法，其中，所述多次迭代过程中的每次迭代过程包括：

从所述待处理数据中确定目标输入数据；以及

基于所述模型运算图、所述线程块配置文件和与目标迭代过程对应的目标同步点参数，依次运行所述多个线程块来处理所述目标输入数据，得到所述目标迭代过程的输出数据；

其中，所述依次运行所述多个线程块来处理所述待处理数据，得到所述目标模型的模型推理结果，包括：

基于所述多次迭代过程各自的输出数据，得到所述目标模型的模型推理结果。

4.根据权利要求3所述的方法，其中，所述基于所述模型运算图、所述线程块配置文件和与目标迭代过程对应的目标同步点参数，依次运行所述多个线程块来处理所述目标输入数据，得到所述目标迭代过程的输出数据，包括：

确定目标同步点标识数据，其中，所述目标同步点标识数据表示所述目标迭代过程中已参与运算的线程块的数量；

在所述目标同步点标识数据小于或等于所述目标同步点参数的情况下，基于所述目标同步点标识数据确定第一目标线程块；

根据所述线程块配置文件，确定与所述第一目标线程块对应的第一功能模块；

根据所述模型运算图，确定与所述第一功能模块关联的第二功能模块；

根据所述第二功能模块的输出数据，确定当前输入数据；以及

运行所述第一目标线程块来处理所述当前输入数据，得到当前输出数据。

5.根据权利要求4所述的方法，其中，所述模型推理请求还包括所述目标模型的参数；

所述方法还包括：

基于所述线程块配置文件，将所述目标模型的参数分别写入多个所述线程块各自的共享存储单元。

6.根据权利要求5所述的方法，其中，所述运行所述第一目标线程块来处理所述当前输入数据，得到当前输出数据，包括：

从所述目标线程块的共享存储单元中读取目标模型参数；以及

运行所述第一目标线程块，对所述目标模型参数和所述当前输入数据进行矩阵运算，得到所述当前输出数据。

7.根据权利要求5所述的方法，其中，所述基于所述线程块配置文件，将所述目标模型的参数分别写入多个所述线程块各自的共享存储单元，包括：

对于每个所述功能模块，从所述目标模型的参数中确定与所述功能模块对应的目标参数集；

基于所述线程块配置文件，确定与所述功能模块对应的第二目标线程块；以及

将所述目标参数集写入所述第二目标线程块的共享存储单元。

8.根据权利要求4所述的方法，还包括：

在运行所述第一目标线程块来处理所述当前输入数据，得到当前输出数据之后，利用预设规则调整所述目标同步点标识数据。

9.根据权利要求4所述的方法，还包括：

在所述目标同步点标识数据大于所述目标同步点参数的情况下，控制所述多个线程块停止运行；以及

基于所述多个线程块的当前输出数据，得到所述目标迭代过程的输出数据。

10.根据权利要求1所述的方法，还包括：

基于所述目标模型的参数，确定所述多个功能模块各自的资源占用信息；

基于所述计算单元的资源配置信息和多个功能模块各自的资源占用信息，生成所述线程块配置文件；以及

将所述线程块配置文件写入所述托管存储单元。

11.一种深度学习模型的推理装置，包括：

获取模块，用于响应于接收到模型推理请求，基于所述模型推理请求包括的目标模型的模型标识，从托管存储单元获取与所述目标模型关联的模型运算图和线程块配置文件，其中，所述模型推理请求还包括待处理数据，所述模型运算图包括多个节点，所述多个节点各自表示所述目标模型的多个功能模块，所述多个节点之间的边表示多个所述功能模块的运行顺序，所述线程块配置文件表示计算单元中的多个线程块与所述功能模块的对应关系；以及

模型推理模块，用于基于所述模型运算图和所述线程块配置文件，依次运行所述多个线程块来处理所述待处理数据，得到所述目标模型的模型推理结果。

12.根据权利要求11所述的装置，其中，所述模型推理模块包括第一处理子模块；

所述第一处理子模块，用于处理依次运行所述多个线程块来处理所述待处理数据包括的多次迭代过程；

其中，所述模型运算图配置有同步点序列，所述同步点序列包括多个同步点参数，所述多个同步点参数各自与所述多次迭代过程相对应，所述同步点参数的值表示与所述同步点参数对应的迭代过程中参与运算的线程块的最大数量。

13.根据权利要求12所述的装置，其中，所述第一处理子模块包括：

确定单元，用于从所述待处理数据中确定目标输入数据；以及

处理单元，用于基于所述模型运算图、所述线程块配置文件和与目标迭代过程对应的目标同步点参数，依次运行所述多个线程块来处理所述目标输入数据，得到所述目标迭代过程的输出数据；

其中，所述模型推理模块包括：

第二处理子模块，用于基于所述多次迭代过程各自的输出数据，得到所述目标模型的模型推理结果。

14.根据权利要求13所述的装置，其中，所述处理单元包括：

第一处理子单元，用于确定目标同步点标识数据，其中，所述目标同步点标识数据表示所述目标迭代过程中已参与运算的线程块的数量；

第二处理子单元，用于在所述目标同步点标识数据小于或等于所述目标同步点参数的情况下，基于所述目标同步点标识数据确定第一目标线程块；

第三处理子单元，用于根据所述线程块配置文件，确定与所述第一目标线程块对应的第一功能模块；

第四处理子单元，用于根据所述模型运算图，确定与所述第一功能模块关联的第二功能模块；

第五处理子单元，用于根据所述第二功能模块的输出数据，确定当前输入数据；以及

第六处理子单元，用于运行所述第一目标线程块来处理所述当前输入数据，得到当前输出数据。

15.根据权利要求14所述的装置，其中，所述模型推理请求还包括所述目标模型的参数；

所述装置还包括：

第一写入模块，用于基于所述线程块配置文件，将所述目标模型的参数分别写入多个所述线程块各自的共享存储单元。

16.根据权利要求15所述的装置，其中，所述第六处理子单元包括：

第一处理组件，用于从所述目标线程块的共享存储单元中读取目标模型参数；以及

第二处理组件，用于运行所述第一目标线程块，对所述目标模型参数和所述当前输入数据进行矩阵运算，得到所述当前输出数据。

17.根据权利要求15所述的装置，其中，所述第一写入模块包括：

第一确定子模块，用于对于每个所述功能模块，从所述目标模型的参数中确定与所述功能模块对应的目标参数集；

第二确定子模块，用于基于所述线程块配置文件，确定与所述功能模块对应的第二目标线程块；以及

写入子模块，用于将所述目标参数集写入所述第二目标线程块的共享存储单元。

18.根据权利要求14所述的装置，还包括：

调整模块，用于在运行所述第一目标线程块来处理所述当前输入数据，得到当前输出数据之后，利用预设规则调整所述目标同步点标识数据。

19.根据权利要求14所述的装置，还包括：

控制模块，用于在所述目标同步点标识数据大于所述目标同步点参数的情况下，控制所述多个线程块停止运行；以及

处理模块，用于基于所述多个线程块的当前输出数据，得到所述目标迭代过程的输出数据。

20.根据权利要求11所述的装置，还包括：

确定模块，用于基于所述目标模型的参数，确定所述多个功能模块各自的资源占用信息；

生成模块，用于基于所述计算单元的资源配置信息和多个功能模块各自的资源占用信息，生成所述线程块配置文件；以及

第二写入模块，用于将所述线程块配置文件写入所述托管存储单元。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

Images