CN111199276A - 数据处理方法及相关产品 - Google Patents

Abstract

本披露提供一种数据处理方法及装置，该方法包括：数据访问单元获取目标对象输入的特定语音信息的原始特征信息；主处理电路将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路；主处理电路依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，对该声纹识别结果验证确定该特定语音信息的第一身份，对第一身份验证通过后，将该文字识别结果发送给应用处理器，本申请提供的技术方案具有加快数据处理速度的优点。

Description

数据处理方法及相关产品

技术领域

本披露涉及人工智能领域，尤其涉及一种数据处理方法及相关产品。

背景技术

人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。现有的神经网络的运算基于CPU(Central Processing Unit，中央处理器)来进行文字识别。

现有的CPU的语音识别模型为单模型，即CPU仅能够在一个时间区间对语音进行文字识别或声纹识别，无法同时实现文字识别和声纹识别。

发明内容

本披露实施例提供了一种数据处理方法及相关产品，其通过将基础处理电路划分为两个区域，然后将2个区域并行执行文字识别和声纹识别，实现了同时对语音数据实现声纹识别和文字识别，提高了数据处理速度，降低了数据处理的能耗开销。

第一方面，提供一种数据处理方法，所述方法应用于电子设备，所述电子设备包括人工智能芯片、片外存储器和应用处理器，所述人工智能芯片包括：数据访问单元、一个主处理电路、多个基础处理电路以及片上存储器，所述片上存储器包括：主存储器和从存储器，所述数据访问单元与片外存储器连接，所述片外存储器与所述应用处理器连接；所述方法包括如下步骤：

数据访问单元获取目标对象输入的特定语音信息的原始特征信息，将所述原始特征信息传送到所述片上存储器的从存储器；

主处理电路将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路，所述多个基础处理电路为2*η基础处理电路，η为大于等于2的整数；

主处理电路获取声纹识别指令以及文字识别指令进行操作，依据所述声纹识别指令获取声纹权值，将声纹权值分发给第一区域的至少二个基础处理电路，接收第一区域的至少二个基础处理电路对从存储器的原始特征信息以及接收到的声纹权值运算得到的第一组中间结果；主处理电路依据所述文字识别指令获取文字权值，将文字权值分发给第二区域的至少二个基础处理电路，接收第二区域的至少二个从处理电路对从存储器的原始特征信息以及接收到的文字权值处理得到的第二组中间结果；

主处理电路依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，将所述声纹识别结果以及所述文字识别结果存储于主存储器；

数据访问单元，还用于将所述主存储器的所述声纹识别结果以及所述文字识别结果传送于所述片外存储器。

第二方面，提供一种电子设备，所述电子设备包括：计算装置和应用处理器，所述计算装置包括：数据访问单元、一个主处理电路、多个基础处理电路以及片上存储器，所述片上存储器包括：主存储器和从存储器；

所述数据访问单元，用于获取目标对象输入的特定语音信息的原始特征信息，将所述原始特征信息传送到所述片上存储器的从存储器；

所述主处理电路，用于将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路，所述多个基础处理电路为2*η基础处理电路，η为大于等于2的整数；获取声纹识别指令以及文字识别指令进行操作，依据所述声纹识别指令获取声纹权值，将声纹权值分发给第一区域的至少二个基础处理电路，接收第一区域的至少二个基础处理电路对从存储器内的原始特征信息以及接收到的声纹权值运算得到的第一组中间结果；主处理电路依据所述文字识别指令获取文字权值，将文字权值分发给第二区域的至少二个基础处理电路，接收第二区域的至少二个从处理电路对从存储其内的原始特征信息以及接收到的文字权值处理得到的第二组中间结果；依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，将所述声纹识别结果以及所述文字识别结果存储于主存储器；

数据访问单元，还用于将所述主存储器的所述声纹识别结果以及所述文字识别结果传送于所述片外存储器。

第三方面，提供一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。

第四方面，提供一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行第一方面提供的方法。

附图说明

图1a是一种人工智能芯片的结构示意图。

图1b是一种人工智能芯片的结构示意图。

图1c是一种人工智能芯片的结构示意图。

图2是一种数据处理方法的流程示意图。

图2a是一种声纹识别模型的结构示意图。

图2b是一种文字识别模型的结构示意图。

图2c是主处理电路的结构示意图。

图3是一种电子设备的结构示意图。

图4是一种计算芯片的结构示意图。

图5a为本披露还揭露了一个组合处理装置结构示意图。

图5b为本披露还揭露了一个组合处理装置另一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本披露方案，下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。

参阅图1a，图1a提供了一种人工智能芯片，该人工智能芯片可以实现文字识别处理，该计算装置如图1a所示，包括：存储介质111(可选的)、寄存器单元112、互联模块113、运算单元114、控制器单元115和数据访问单元116；

其中，运算单元114可以包括：加法计算器、乘法计算器、比较器、激活运算器。当然在实际应用中，运算单元114也可以包括多个加法计算器或多个乘法计算器，当然在实际应用中，上述运算单元包含的加法计算器、乘法计算器、比较器、激活运算器的数量可以不限。

互联模块113，用于实现控制器单元与运算单元114的计算器的连接，以及实现数据访问单元与运算单元114中的计算器的连接、以及运算单元间的连接。

寄存器单元112，用于存储运算指令的地址、数据块的地址。上述地址可以为存储介质111的地址，也可以为片上存储的地址。

数据访问单元116，用于实现与外部器件的数据传输，该传输包括但不限于：输入数据或输出数据。

外部器件在针对不同的场景可能有所不同，例如对于数据处理场景，其对应的外部器件可以为音频采集器，具体的，例如麦克。对于数据处理中的文字识别场景，其实现的方式具体可以包括：麦克采集语音数据，数据转换器(例如通用处理器)将语音数据转换成输入数据传输给数据访问单元，数据访问单元接收到输入数据以后，数据访问单元将该输入数据发送至运算单元或数据访问单元通过互联模块将输入数据传输或分发给运算单元的各个计算器，控制器单元将计算指令发送给运算单元，运算单元依据计算指令，调用所需的计算器得到最终计算结果，依据该最终计算结果得到文字识别的结果。

参阅图1b，图1b为本申请提供的一种人工智能芯片另一结构示意图，所述人工智能芯片用于执行声纹识别、文字识别等运算，下面以声纹识别运算进行举例。所述计算装置包括：主处理电路以及多个基础处理电路；该主处理电路与多个基础处理电路连接，该连接的方式可以为直接连接的方式，当然也可以通过其他器件连接，例如如图1b所示为通过其他器件(即分支处理电路)连接，该主处理电路与该外部器件连接，主处理电路可以直接从外部器件获取或输出数据。

外部器件在针对不同的场景可能有所不同，例如对于声纹识别场景，其对应的外部器件可以为音频采集器，具体的，例如麦克。对于声纹识别场景，其实现的方式具体可以包括：麦克采集语音数据，数据转换器(例如模数转换器)将语音数据转换成输入数据传输给主处理电路，主处理电路将该接收到的输入数据分发至分支处理电路(可选的)，分支处理电路将数据转发至各个基础处理电路，各个基础处理电路执行各自计算后得到中间结果，将中间结果通过分支处理电路转发至主处理电路，主处理电路依据中间结果处理得到最终计算结果，依据该最终计算结果得到数据处理的结果。

如图1c所示，为本申请提供的一种人工智能芯片，所述人工智能芯片用于执行声纹识别处理；所述计算装置包括：主处理电路以及多个基础处理电路；所述主处理电路与外部器件连接，主处理电路可以直接从外部器件获取或输出数据；

多个基础处理电路呈阵列分布；每个基础处理电路与相邻的其他基础处理电路连接，主处理电路连接第1行的n个基础处理电路、第m行的n个基础处理电路以及第1列的m个基础处理电路。

外部器件在针对不同的场景可能有所不同，例如对于声纹识别场景，其对应的外部器件可以为音频采集器，具体的，例如麦克。对于声纹识别场景，其实现的方式具体可以包括：麦克采集语音数据，数据转换器(例如模数转换器)将语音数据转换成输入数据传输给主处理电路，主处理电路将接收到的输入数据分发至与主处理电路相连接的基础处理电路(即第1行的n个基础处理电路、第m行的n个基础处理电路以及第1列的m个基础处理电路)，与主处理电路相连接的基础处理电路通过相邻的基础处理电路将输入数据分发至其他的基础处理电路，各个基础处理电路执行各自计算后得到中间结果，将中间结果通过相邻的基础处理电路转发至主处理电路，主处理电路依据中间结果处理得到最终计算结果，依据该最终计算结果得到数据处理的结果。

参阅图2，图2提供了一种数据处理方法，该方法可以由电子设备执行，该电子设备如图3所示，可以包括如图1a、图1b、图1c所示的人工智能芯片，该电子设备还可以包括应用处理器，该应用处理器与如图1a、图1b图1c所示的人工智能芯片连接，该人工智能芯片可以包括一个主处理电路以及多个基础处理电路，该数据处理的方法如图2所示，本实施例提供的数据处理方法可以包括：语音识别(即声纹识别)和文字识别包括如下步骤：

步骤S201、数据访问单元获取目标对象输入的特定语音信息的原始特征信息，将所述原始特征信息广播至所述多个基础处理电路；

上述步骤S201中的特定语音信息可以为原始的语音信息，该对特定数据处理得到特定语音信息的原始特征信息可以通过多种方式来实现，例如上述特征提取操作的方式包括但不限于：Filter Bank特征提取算法或MFCC算法，其对应的原始语音特征包括但不限于：Filter Bank特征或MFCC特征。上述原始语音信息可以通过应用处理器来实现，即通过应用处理器将模拟语音数据进行特征提取操作得到原始的语音信息(Filter Bank特征或MFCC特征)。

步骤S202、主处理电路将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路，多个基础处理电路为2*η基础处理电路，η为大于等于2的整数。

一种划分方式可以为镜像设置，上述镜像设置可以如图1b所示的基础处理电路所示，也可以如图1c所示的基础处理电路所示。以图1b所示，将主处理电路左侧的8个基础处理电路确定为第一区域，将主处理电路右侧的8个基础处理电路确定为第二区域。

上述第一区域的至少二个基础处理电路可以依据基础处理电路的分布来动态的确定，例如，以如图1b所示，该第一区域的至少二个基础处理电路可以为主处理电路左侧的8个基础处理电路，该第二区域的至少二个基础处理电路可以为主处理电路右侧的8个基础处理电路，在另一种划分方式中，也可以是该第一区域的至少二个基础处理电路可以为主处理电路左上侧的4个基础处理电路，该第二区域的至少二个基础处理电路可以为主处理电路除了左上侧的其他的12个基础处理电路。

可选的，上述步骤S202的实现方法具体可以包括：

主处理电路确定原始特征信息在第一区域对应的第一拆分策略以及第一拆分策略对应的第一尺寸，确定原始特征信息在第二区域对应的多个拆分策略以及多个拆分策略对应的多个尺寸，从多个尺寸中选择与该第一尺寸一致的第二拆分策略作为第二区域的拆分策略，主处理电路依据第一拆分策略将原始特征信息拆分成多个基础数据块(该基础数据块的尺寸为第一尺寸)，将该多个基础数据块通过分支处理电路分发给多个基础处理电路。

此种方案的原理为，将第一区域以及第二区域的拆分策略对应的数据的尺寸相同，这样避免二个区域拆分的数据尺寸不一致需要对第一区域和第二区域的原始特征信息进行重复拆分的问题，而将二个区域的尺寸统一可以避免多次拆分，提高了数据处理效率。

步骤S203、主处理电路获取声纹识别指令以及文字识别指令进行操作，将声纹识别指令发送给第一区域的至少二个基础处理电路，接收第一区域的至少二个基础处理电路对该原始特征信息执行该声纹识别执行处理得到的第一组中间结果，主处理电路将文字识别指令发送给第二区域的至少二个基础处理电路，接收第二区域的至少二个从处理电路对该原始特征信息处理得到的第二组中间结果；

参阅图2a，图2a为一种声纹识别模型的示意图，如图2b所示为一种文字识别模型的示意图，如图2a以及图2b所示，其中如图2b所示的CE可以为模型训练的准则，例如CE(英文：cross entropy，中文：交叉熵)准则，当然还可以为其他的准则。该声纹识别模型以及文字识别模型均可以为：DNN(英文：deep neural network，中文：深度神经网络)、RNN(英文：recurrent neural network，中文：循环神经网络)、CNN(英文：convolutional neuralnetwork，中文：卷积神经网络)中的任意一种。

DNN为具有深度的神经网络模型，即DNN所具有的层数量较多。

RNN中神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了(i-1)层神经元在该时刻的输出外，还包括其自身在(m-1)时刻的输出。

CNN并不是上下层所有神经元都能直接相连，而是通过“卷积核”作为中介，同一个卷积核在语音数据内是共享的，语音数据通过卷积操作后仍然保留原先的时间关系。

这里需要说明的是，因为对于文字识别模型以及声纹识别模型这两种模型都是类似的，并且两种模型的输入数据均为原始特征信息，例如对于两种不同的模型，模型的参数例如权值可以不一致，从而得到不一样的结果，因此本申请的技术方案将两种识别模型合并到一个计算装置内一次执行正向运算，避免了多次提取原始语音信息导致的数据传输的开销和数据处理的开销。

下面以一个实际的例子来说明其减少的开销。

对于单独的模型，以声纹识别模型为例，在采用如图1b所示的结构来进行计算时，其将原始特征信息拆分成多份，然后将多份的原始特征信息以及计算指令通过分支处理电路转发给基础处理电路进行执行得到对应的第一组中间结果，然后主处理电路对第一组中间结果进行拼接得到声纹识别结果，依据该声纹识别结果确定目标对象的身份。对于文字识别模型，采用如图1b所示的结构来进行计算时，也是需要将对应的原始特征信息拆分成多份，然后将多份的特征数据以及计算指令通过分支处理电路转发给基础处理电路进行执行得到对应的第二组中间结果，依据第二组中间结果得到文字识别结果。此种单独的方案需要对原始特征信息进行多次的提取，因为对于主处理电路，其存储空间有限，因此原始特征信息可能会重复提取多次，即在进行声纹识别处理的时候，原始特征信息会被整体的读取一次或多次(具体的次数可能依据数据复用率来决定)，然后在进行文字识别处理的实施，原始特征信息又会被读取一次或多次(具体的次数可能依据数据复用率来决定)。但是本申请的技术方案是一个如图1b所示的结构来并行实现文字识别模型以及声纹识别模型，这2种模型的输入数据是一致的，即均为原始特征信息，那么主处理电路读取原始特征信息的次数就会减少，即被整体的读取一次或多次，因此降低了IO开销，即降低了读取的开销，提高了计算速度。

步骤S204、主处理电路将第一组中间结果拼接得到声纹识别结果，将第二组中间结果拼接得到文字识别结果。

步骤S205、应用处理器对该声纹识别结果验证确定该特定语音信息的第一身份，对第一身份验证通过后，调用与该文字识别结果对应的控制命令。

采用如图1c所示的人工智能芯片执行数据处理方法具体可以包括：

外部器件的应用处理将目标对象输入的特定语音信息处理得到原始特征信息，将原始特征信息存储在片外存储器，数据访问单元从外部器件的片外存储器获取目标对象输入的特定语音信息的原始特征信息，将所述原始特征信息传送到所述片上存储器的从存储器；

主处理电路将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路，所述多个基础处理电路为2*η基础处理电路，η为大于等于2的整数；

数据访问单元从片外存储器获取声纹识别指令、文字识别指令、声纹权值和文字权值，将声纹识别指令以及文字识别指令存储在主存储器，主处理电路从主存储器获取声纹识别指令以及文字识别指令进行操作，依据所述声纹识别指令从主存储器内获取声纹权值，将声纹权值分发给第一区域的至少二个基础处理电路，接收第一区域的至少二个基础处理电路对从存储器的原始特征信息以及接收到的声纹权值运算得到的第一组中间结果；主处理电路依据所述文字识别指令从主存储器内获取文字权值，将文字权值分发给第二区域的至少二个基础处理电路，接收第二区域的至少二个从处理电路对从存储器的原始特征信息以及接收到的文字权值处理得到的第二组中间结果；

主处理电路依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，将所述声纹识别结果以及所述文字识别结果存储于主存储器；

数据访问单元，还用于将所述主存储器的所述声纹识别结果以及所述文字识别结果传送于所述片外存储器。

上述对声纹识别结果验证确定该特定语音信息的第一身份的具体实现方法可以包括：

将声纹识别结果与预设模板执行减法操作得到差值，如该差值小于设定阈值确定该第一身份为该预设模块对应的身份。

下面以一个实际的例子来说明，对于声纹识别结果具体可以为一个矩阵或向量，对于预设模块，其也是通过相同的模型计算得到的矩阵或向量，那么如果两个矩阵或两个向量之间相差很小，那么就可以直接确定两个是相似的，即为同一身份。

上述控制命令包括但不限于：解锁命令、打开app等命令，本申请并不限制上述控制命令的具体表现形式。

本申请提供的技术方案通过计算装置并行运行声纹识别以及文字识别两种模型，相对于一种模型的运算，并行运算能够明显的提高运行的效率，另外，由于两种模型的输入数据相同，因此输入数据的提取只需要提取一次，这样减少了输入数据提取的开销，减少了计算量，增加了计算速度，因此，本申请提供的技术方案具有增加计算速度，减少计算开销的优点。

可选的，上述方法中第一区域以及第二区域的划分方式还可以包括：

主处理电路依据声纹识别模型的第一计算量以及文字识别模型的第二计算量划分第一区域以及第二区域。

其具体的实现方式可以包括：

主处理电路依据多个基础处理电路的拓扑结构确定最小划分单元，依据第一计算量与第二计算量之间的比值分配该第一区域的最小划分单元的数量以及第二区域的最小划分单元的数量。

下面以图1b为例，对于该拓扑结构，一个分支处理电路即为一个最小划分单元，则确定该最小划分单元为分支处理电路的个数，那么如果第一计算量/第二计算量＝1，则第一区域与第二区域平分最小划分单元，那么如果第一计算量/第二计算量＝0.8，则确定第一区域的最小划分单元的数量＝P—(P/1.8)；第二区域的数量＝(P/1.8)，P为最小划分单元的总个数。这里需要说明的是，如果计算结果不是整数，则需要取整，具体的取整方式可以灵活处理，但是第一区域的数量与第二区域的数量相加不能超过总数量。上述取整方式包括但不限于：上取整、下取整、四舍五入取整等等。

下面以一个实际的例子来说明，这里假设第一区域的声纹识别模型为卷积神经网络模型，第二区域的文字识别模型也为卷积神经网络模型，为了方便说明，这里以单层为例，对于多层仅仅是将每层的计算量叠加在一起即为对应的第一计算量以及第二计算量。这里假设声纹识别模型的权值尺寸为[CI0][CO0][H0][W0]，文字识别模型的权值尺寸为：[CI1][CO1][H1][W1]，假设声纹识别模型的稀疏度为γ1、文字识别模型的稀疏度为γ2；

则第一计算量＝γ1*CI*H*W*CI0*CO0*H0*W0；

第二计算量＝γ2*CI*H*W*CI1*CO1*H1*W1；

这里如果：CI0＝CI1、CO0＝CO1、H0＝H1、W0＝W1，则该第一计算量/第二计算量＝1，则第一区域与第二区域平分最小划分单元。

如图1c为例，对于该拓扑结构，一列或一行基础处理电路即为一个最小划分单元，如图1b所示的拓扑结构，4个基础处理电路即为一个最小划分单元。

对第一区域以及第二区域的动态划分能够更好的对基础处理电路的数量进行分配。上述第一计算量以及第二计算量可以通过两种识别模型的具体计算类型以及层数来确定。

本申请还提供了一种数据数据处理方法，该方法可以由电子设备执行，该电子设备可以包含的如图1b所示的人工智能芯片，该方法包括如下步骤：

步骤S211、应用处理器获取目标对象输入的特定语音信息，将特定语音信息使用Filter Bank特征提取算法处理得到Filter Bank特征，将Filter Bank特征发送给主处理电路。

步骤S212、主处理电路从应用处理器获取语音是被指令以及文字识别指令，将Filter Bank特征组成输入数据，提取声纹识别模型的层数y1、稀疏度γ1以及文字识别模型的层数y2、稀疏度γ2，依据该输入数据以及y1、γ1计算得到语音模型的第一计算量(上述计算量的具体计算方式可以参见本申请的第一计算量公式)，依据该输入数据以及y2、γ2计算得到语音模型的第二计算量，如果比值＝第一计算量/第二计算量位于设定范围，主处理电路将第一区域和第二区域镜像设置，例如，主处理电路将第一区域划分成8个基础处理电路，将第二区域划分成8个基础处理电路。

步骤S213、主处理电路将输入数据发送至第一区域的8个基础处理电路，同时将输入数据发送给第二区域的8个基础处理电路，接收第一区域的8个基础处理电路的声纹识别的多个第一中间结果，将多个第一中间结果拼接得到声纹识别结果，如果第二区域的8个基础处理电路未计算完毕时，将第一区域的8个基础处理电路划分给第二区域，主处理电路将后续数据发送至16个基础处理电路运算得到文字识别的多个第二中间结果，将多个第二中间结果拼接得到文字识别结果。

上述步骤S213的实现方法在一个区域的基础处理电路计算完毕后，将一个区域的基础处理电路并入到第二区域，这样相对于固定的第一区域与第二区域，能够提高语音的处理速度。

步骤S214、主处理电路将声纹识别结果比对确定目标对象的第一身份后，依据文字识别结果的语义生成与该语义对应的控制命令，例如文字识别结果为“解锁”，则生成解锁指令，控制电子设备执行解锁指令，又如文字识别结果为“打开微信”，则生成调用微信指令，控制电子设备执行打开微信指令。

本申请的技术方案通过一个语音信息即能够实现对对象身份识别以及语音控制的双重实现，提高了数据处理的能力，并且本申请的技术方案为并行处理的方案，能够极大的减少数据处理的时间，提高数据处理的时效性，提高用户体验度。

本申请实施例提供了一种数据处理方法，该方法可以由电子设备执行，该电子设备可以包含的如图1c所示的人工智能芯片，本实施例中的外部器件可以为应用处理器。该方法包括如下步骤：

步骤S221、应用处理器获取目标对象输入的特定语音信息，将特定语音信息使用Filter Bank特征提取算法处理得到Filter Bank特征，生成处理Filter Bank特征相关的多条待处理指令。数据访问单元将多条待处理的指令传输至片上存储器中，将Filter Bank特征，传输至多个从存储器中。

步骤S222、主处理电路读取一条指令，对指令进行解析，得到数据载入指令，发送给其他从处理电路或数据访问单元。

步骤S223、数据访问单元接收数据载入指令，并根据数据载入指令，将第x1存储地址中的文字权值载入到主存储器的第x2存储地址处，将第y1存储地址对应的声纹权值载入到主存储器的第y2存储地址处。

步骤S224、主处理电路读取一条指令，对指令进行解析，得到文字运算指令和声纹识别指令，发送给从处理电路。

步骤S225、主处理电路获取文字运算指令和声纹识别指令，根据指令信息(文字运算指令信息和声纹识别指令信息)，将图1c中左侧(包含基础处理电路以及分支处理电路)划分为第一区域，将右侧划分为第二区域(包含基础处理电路以及分支处理电路)。并且，根据文字运算指令以及文字运算指令中的文字权值的第x2存储地址，从主存储器中获取文字权值，将文字权值组播给第一区域的分支处理电路，分支处理电路将接收的文字权值分发至基础处理电路；主处理电路根据声纹运算指令以及声纹运算指令中的声纹权值的第y2存储地址，从主存储器中获取声纹权值，将声纹权值给组播给第二区域的分支处理电路，分支处理电路将接收的声纹权值分发至基础处理电路。

步骤S226、主处理电路可将文字权值分成多个部分文字权值，将多个部分文字权值通过分支处理电路依次分发至第一区域的基础处理电路，第一区域的基础处理电路通过分支处理电路获取从存储器内的Filter Bank特征，将分发到的部分文字权值与FilterBank特征执行文字运算指令中指明的运算得到第一部分结果，将第一部分结果存储至第一区域的从存储器。待下一次运算时，基础处理电路或分支处理电路可直接从存储器中获取第一部分结果进行后续运算，得到第一部分的后续运算结果并存储至第一区域的从存储器，以此类推，直到得到第一区域的文字运算的最终结果，返回给主处理电路。

步骤S227、主处理电路可将声纹权值分成多个部分声纹权值，将多个部分声纹权值通过分支处理电路依次分发至第二区域的基础处理电路，第二区域的基础处理电路通过分支处理电路获取从存储器内的Filter Bank特征，将分发到的部分声纹权值与FilterBank特征执行声纹运算指令中指明的运算得到第二部分结果，将第二部分结果存储至第二区域的从存储器。待下一次运算时，基础处理电路或分支处理电路可直接从存储器中获取第二部分结果进行后续运算，得到第二部分结果并存储至第二区域的从存储器，以此类推，直到得到第二区域的声纹运算的最终结果。

步骤S228、主处理电路接收第一区域的最终结果，根据指令进行处理或整合，得到文字识别结果，存储至主存储器中；接收第二区域的最终结果，根据指令进行处理或整合，得到声纹识别结果，存储至主存储器中。

步骤S229、数据访问单元将主存储器的声纹识别结果以及文字识别结果提取发送至应用处理器，应用处理器依据该声纹识别结果进行身份验证，在身份验证通过后，依据文字识别结果调用与文字识别结果相应的控制命令，执行该控制命令。

本申请提供的技术方案提供了片上的从存储器，并且每个从存储器对应一个分支处理电路，这样避免了最小划分单元之间的数据干扰，提高了数据读取的效率，另外，将Filter Bank特征存储在从存储器内，使得人工智能芯片在执行整个运算时，利用基础处理电路对Filter Bank特征迭代使用，减少了数据的IO开销，并且充分利用了片上的运算资源，提高了并行运算的粒度，因此其具有提高计算速度的优点。

参阅图2c，主处理电路包括：指令获取电路，指令处理电路，指令分发电路、数据获取电路、数据分发电路和数据处理电路。

指令获取电路，用于获取待执行的指令，包括声纹识别指令、文字识别指令等。

指令处理电路，用于将声纹识别指令以及文字识别指令进行处理得到声纹运算指令和文字运算指令；该声纹运算指令或文字运算指令可以为算术运算指令，该算术运算包括但不限于：加、减、乘、除、内积、卷积等运算。

指令分发电路，用于将声纹运算指令和文字运算指令分发给基础处理电路。上述分发的方式可以依据下述划分的区域来确定，例如，将声纹运算指令分发给第一区域的基础处理电路，将文字运算指令分发给第二区域的基础处理电路，当然还可以为其他的分发方式。

数据获取电路，用于根据声纹识别指令和/或文字识别指令获取待运算数据、声纹权值、文字权值、所需参数等待运算数据和参数。

数据分发电路，用于将待运算数据或参数分发给第一区域的至少二个基础处理电路或第二区域的至少二个基础处理电路；当然在实际应用中，数据分发电路，还可以用于将待运算数据或参数分发给第一区域的至少二个基础处理电路和第二区域的至少二个基础处理电路。

数据处理电路，用于对主处理电路的数据进行处理，该处理包括但不限于：逻辑运算(例如加、减、乘、除中的一种或组合)、激活运算等等处理。

其具体的实现方式可以包括：

主处理电路根据待执行的任务，将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路，所述多个基础处理电路为2*η基础处理电路，η为大于等于2的整数；对于二个区域可以设置对应的区域标志位，该标志位可以为1个比特，例如0或1，根据数据任务划分后，属于第一区域的基础处理电路，标志位置0，否则置1，默认状态均为0或者一半基础处理电路的标志位置为0，另一半基础处理电路的标志位置为1。在利用指令获取电路获取指令后，利用指令处理电路对指令进行解析，从而在解析后的控制信号，或者在指令中读取区域标志位，从而能够根据标志位分别分发到第一区域或者第二区域，以完成具体的划分操作。

主处理电路的指令获取电路获取声纹识别指令以及文字识别指令，通过指令处理单元进行解析后，利用指令分发单元将指令分发给各相应的基础处理电路。数据获取电路依据所述声纹识别指令获取声纹权值，并通过数据分发电路将声纹权值分发给第一区域的至少二个基础处理电路，接收第一区域的至少二个基础处理电路对从存储器的原始特征信息以及接收到的声纹权值运算得到的第一组中间结果；主处理电路的数据获取电路依据所述文字识别指令获取文字权值，并通过数据分发电路将文字权值分发给第二区域的至少二个基础处理电路，接收第二区域的至少二个从处理电路对从存储器的原始特征信息以及接收到的文字权值处理得到的第二组中间结果。主处理电路中的数据处理电路依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，将所述声纹识别结果以及所述文字识别结果存储于主存储器。

如图3所示，图3提供了一种电子设备，所述电子设备包括：人工智能芯片和应用处理器，所述人工智能芯片包括：一个主处理电路以及多个基础处理电路。

所述主处理电路，用于获取目标对象输入的特定语音信息，对特定语音信息处理得到特定语音信息的原始特征信息；将原始特征信息并行传输给位于第一区域的至少二个基础处理电路以及位于第二区域的至少二个基础处理电路；根据声纹识别指令以及文字识别指令，将执行声纹识别指令所需的待运算数据发送给至少二个基础处理电路，接收至少二个基础处理电路对该原始特征信息执行该声纹识别执行处理得到的第一组中间结果，主处理电路根据文字识别指令将所需的待运算数据发送给至少二个基础处理电路，接收至少二个从处理电路对该原始特征信息处理得到的第二组中间结果；依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，对该声纹识别结果验证确定该特定语音信息的第一身份，对第一身份验证通过后，应用处理器生成文字识别结果对应的控制命令。

参阅图4，图4为本申请提供一种计算芯片，所述计算芯片可以为如图1a、图1b或如图1c所示的人工智能芯片。

本披露还揭露了一个人工智能运算装置，其包括一个或多个在如图4所示的芯片，用于从其他处理装置中获取待运算数据和控制信息，执行指定的人工智能运算，该人工智能运算可以包括神经网络运算，执行结果通过I/O接口传递给外围设备。外围设备譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口，服务器。当包含多个如图4所示的芯片时，如图4所示的芯片间可以通过特定的结构进行链接并传输数据，譬如，通过PCIE总线进行互联并传输数据，以支持更大规模的神经网络的运算。此时，可以共享同一控制系统，也可以有各自独立的控制系统；可以共享内存，也可以每个加速器有各自的内存。此外，其互联方式可以是任意互联拓扑。

该神经网络运算装置具有较高的兼容性，可通过PCIE接口与各种类型的服务器相连接。

本披露还揭露了一个组合处理装置，其包括上述的人工智能运算装置，通用互联接口，和其他处理装置(即通用处理装置)。人工智能运算装置与其他处理装置进行交互，共同完成用户指定的操作。如5a为组合处理装置的示意图。

其他处理装置，包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理器数量不做限制。其他处理装置作为神经网络运算装置与外部数据和控制的接口，包括数据搬运，完成对本神经网络运算装置的开启、停止等基本控制；其他处理装置也可以和神经网络运算装置协作共同完成运算任务。

通用互联接口，用于在所述人工智能运算装置与其他处理装置间传输数据和控制指令。该人工智能运算装置从其他处理装置中获取所需的输入数据，写入人工智能运算装置片上的存储装置；可以从其他处理装置中获取控制指令，写入人工智能运算装置片上的控制缓存；也可以读取人工智能运算装置的存储模块中的数据并传输给其他处理装置。

如图5b所示，可选的，该结构还包括存储装置，用于保存在本运算单元/运算装置或其他运算单元所需要的数据，尤其适用于所需要运算的数据在本人工智能运算装置或其他处理装置的内部存储中无法全部保存的数据。

该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统，有效降低控制部分的核心面积，提高处理速度，降低整体功耗。此情况时，该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口。

电子装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。

所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。

以上所述的具体实施例，对本披露的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本披露的具体实施例而已，并不用于限制本披露，凡在本披露的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本披露的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法应用于电子设备，所述电子设备包括人工智能芯片、片外存储器和应用处理器，所述人工智能芯片包括：数据访问单元、一个主处理电路、多个基础处理电路以及片上存储器，所述片上存储器包括：主存储器和从存储器，所述数据访问单元与片外存储器连接，所述片外存储器与所述应用处理器连接；所述方法包括如下步骤：

数据访问单元获取目标对象输入的特定语音信息的原始特征信息，将所述原始特征信息传送到所述片上存储器的从存储器；

主处理电路将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路，所述多个基础处理电路为2*η基础处理电路，η为大于等于2的整数；

主处理电路获取声纹识别指令以及文字识别指令进行操作，依据所述声纹识别指令获取声纹权值，将声纹权值分发给第一区域的至少二个基础处理电路，接收第一区域的至少二个基础处理电路对从存储器的原始特征信息以及接收到的声纹权值运算得到的第一组中间结果；主处理电路依据所述文字识别指令获取文字权值，将文字权值分发给第二区域的至少二个基础处理电路，接收第二区域的至少二个从处理电路对从存储器的原始特征信息以及接收到的文字权值处理得到的第二组中间结果；

主处理电路依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，将所述声纹识别结果以及所述文字识别结果存储于主存储器；

数据访问单元，还用于将所述主存储器的所述声纹识别结果以及所述文字识别结果传送于所述片外存储器。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

应用处理器从所述片外存储器获取所述声纹识别结果以及所述文字识别结果，对所述声纹识别结果验证确定所述特定语音信息的第一身份，对第一身份验证通过后，调用与所述文字识别结果对应的控制命令，执行所述控制命令。

3.根据权利要求1所述的方法，其特征在于，所述对所述声纹识别结果验证确定所述特定语音信息的第一身份具体包括：

将声纹识别结果与预设模板执行减法操作得到差值，如所述差值小于设定阈值确定所述第一身份为所述预设模块对应的身份。

4.根据权利要求1所述的方法，其特征在于，所述方法在主处理电路将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路之前还包括：

主处理电路依据多个基础处理电路的拓扑结构确定最小划分单元，依据第一计算量与第二计算量之间的比值分配所述第一区域的最小划分单元的数量以及第二区域的最小划分单元的数量。

5.根据权利要求4所述的方法，其特征在于，所述计算装置还包括：β个分支处理电路，所述分支处理电路用于连接所述基础处理电路与所述主处理电路。

6.根据权利要求5所述的方法，其特征在于，所述计算装置还包括：主存储器和β个从存储器；所述主存储器分别与主处理电路以及所述数据访问单元连接，所述β个分支处理电路与所述β个从存储器一对一连接，所述β个从存储器还与所述数据访问单元连接。

7.根据权利要求4所述的方法，其特征在于，所述计算装置还包括：多个基础处理电路呈阵列分布；每个基础处理电路与相邻的其他基础处理电路连接，主处理电路连接第1行的n个基础处理电路、第m行的n个基础处理电路以及第1列的m个基础处理电路。

8.根据权利要求7所述的方法，其特征在于，

所述最小划分单元为呈阵列分布的一列基础处理电路或一行基础处理电路。

9.一种电子设备，其特征在于，所述电子设备包括：人工智能芯片、片上存储器和应用处理器，所述人工智能芯片包括：数据访问单元、一个主处理电路、多个基础处理电路以及片上存储器，所述片上存储器包括：主存储器和从存储器；

所述数据访问单元，用于获取目标对象输入的特定语音信息的原始特征信息，将所述原始特征信息传送到所述片上存储器的从存储器；

所述主处理电路，用于将多个基础电路划分成第一区域的至少二个基础处理电路以及第二区域的至少二个基础处理电路，所述多个基础处理电路为2*η基础处理电路，η为大于等于2的整数；获取声纹识别指令以及文字识别指令进行操作，依据所述声纹识别指令获取声纹权值，将声纹权值分发给第一区域的至少二个基础处理电路，接收第一区域的至少二个基础处理电路对从存储器内的原始特征信息以及接收到的声纹权值运算得到的第一组中间结果；主处理电路依据所述文字识别指令获取文字权值，将文字权值分发给第二区域的至少二个基础处理电路，接收第二区域的至少二个从处理电路对从存储其内的原始特征信息以及接收到的文字权值处理得到的第二组中间结果，依据第一组中间结果得到声纹识别结果，依据第二组中间结果得到文字识别结果，将所述声纹识别结果以及所述文字识别结果存储于主存储器；

数据访问单元，还用于将所述主存储器的所述声纹识别结果以及所述文字识别结果传送于所述片外存储器。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任意一项所述的方法。

Images