CN115936102A - 用于神经网络张量处理器的稀疏数据解压缩装置及方法 - Google Patents

Abstract

本发明涉及神经网络张量处理器领域，公开了一种用于神经网络张量处理器的稀疏数据解压缩装置和方法。所述方法包括：读取解压缩操作的配置数据，并配置稀疏数据解压缩装置的各模块；根据配置信息，读取稀疏映射表：根据配置信息和稀疏映射表，读取稀疏压缩数据；解压缩，生成稀疏数据；写出稀疏数据。本发明提出的稀疏压缩数据把0维全部16个数据的值都为0的情况表达为可被解压缩填充的稀疏特征点，并通过稀疏映射表来发达稀疏特征点的分布情况。通过遍历稀疏映射表的方式可以直接识别稀疏特征点，通过在稀疏特征点填0并插入写出的方式，可以高效实现稀疏数据的解压缩，具有解压缩计算复杂性低、效率高的优点。

Description

用于神经网络张量处理器的稀疏数据解压缩装置及方法

技术领域

本发明涉及神经网络张量处理器领域，特别是一种用于神经网络张量处理器的稀疏数据解压缩装置及方法。

背景技术

神经网络算法基于稠密数据进行计算。所述稠密数据指拥有固定长、宽、高尺寸，且占用固定内存空间的数据。稠密数据的计算操作数量是固定的，例如两个固定尺寸的稠密张量数据进行乘法操作所需要的乘法操作数是固定的。神经网络算法中的输入数据、参数数据、中间临时数据和输出数据都拥有固定的尺寸且占用固定内存空间，因此，神经网络算法基于稠密数据进行计算。

然而，在实际的神经网络计算中，神经网络的计算过程会产生许多0数据，特别当神经网络算法的激活函数是某些更容易产生0值的类型时(例如Relu激活会把所有负数都置为0)。由于0乘任何数都为0，因此0数据的乘法运算实际上是可以跳过的，从而节省计算能耗并减少计算时间。

当一个张量数据拥有很多0时，例如0的数量大于非0数量，通常称这个张量为稀疏数据。

脉冲神经网络算法天然具备稀疏数据特性。脉冲神经网络处理脉冲数据，所述脉冲数据指一种由时间、坐标和极性所组成的数据，该数据可直接来自于事件传感器。例如，一个来自事件传感器的数据由Δt、x、y、p组成，其中Δt指时刻值，x和y指传感器画面中的坐标，p指对应坐标像素点的光照变化的极性(例如p等于1代表光照增加等于-1代表光照减少)。在某个Δt时刻，传感器画面中发生光照变化的像素点的数量是有限的，因此拥有相同Δt的数据是有限的(甚至是极少数)，因此，脉冲神经网络算法的输入数据具备稀疏数据特性。

传统神经网络张量处理器基于稠密数据进行存储与计算。因此，在传统神经网络张量处理器中，稀疏数据必须按照稠密数据的方式进行存储：稀疏数据可以被看作拥有许多0的稠密数据。稀疏数据也必须按照稠密数据的方式进行计算：值为0的稀疏数据会参与计算。

对于传统神经网络张量处理器，稀疏数据与稠密数据相同，具有相同的内存占用和计算操作。因此，尽管稀疏数据中的众多0数据不保存有效信息，但仍然会参与存储与计算，这会导致存储与计算资源的浪费。这种存储与计算资源的浪费在脉冲神经网络计算中尤为明显。

对稀疏数据进行压缩操作可以产生稀疏压缩数据。如果稀疏压缩数据被处理器硬件直接使用，可以节省内存空间、降低计算操作数，从而提高计算效率。然而，稀疏压缩数据并不是一种通用的数据类型，仅可用于支持该数据类型的处理器硬件，如支持稀疏压缩数据的张量处理器。对于不支持稀疏压缩数据类型的处理器，如传统张量处理器，是无法直接使用该稀疏压缩数据的。

发明内容

鉴于现有技术的上述缺陷，本发明提出一种用于神经网络张量处理器的稀疏数据解压缩装置与方法。在所述稀疏数据解压缩装置与方法中，以″无0″的压缩形式存储的稀疏压缩数据，被高效的填充0数据，从而无损还原为稀疏数据。所述稀疏数据是一种通用数据类型，可以被其他任意类型处理器硬件所使用。

具体方案如下：

本发明提出一种用于神经网络张量处理器的稀疏数据解压缩装置，包含稀疏压缩数据RDMA、稀疏映射表RDMA、配置单元、解压缩单元、稀疏数据WDMA、稀疏数据、配置数据、稀疏压缩数据和稀疏映射表；

所述配置单元用于读取配置数据，并向稀疏压缩数据RDMA配置稀疏压缩数据的起始地址和尺寸信息，向稀疏映射表RDMA配置稀疏映射表的起始地址和尺寸信息，向稀疏数据WDMA配置稀疏数据的起始地址和尺寸信息；

所述稀疏映射表RDMA用于根据所述稀疏映射表的起始地址和尺寸信息读取稀疏映射表；

所述稀疏压缩数据RDMA用于根据所述稀疏映射表和所述稀疏压缩数据的起始地址与尺寸信息读取稀疏数据；

所述解压缩单元用于执行稀疏压缩数据的解压缩操作并产生稀疏数据；

所述稀疏数据WDMA用于响应稀疏数据写请求，并根据所述稀疏数据的起始地址和尺寸信息写出稀疏数据。

进一步的，所述稀疏数据指采用n度并行存储方案(C/n，H，W，n)的张量数据，数据位宽是8比特或16比特；所述张量数据的原始存储方案(C，H，W)，W代表宽，是数据的第0维；H代表高，是数据的第1维；C代表通道，是数据的第2维；

所述n度并行存储方案(C/n，H，W，n)的转换方法是：对于张量数据的原始存储方案(C，H，W)，取C方向的连续n个数据，按物理地址连续的方式存放，并设为第0维，第0维的长度固定为n；把W设为第1维，长度不变；把H设为第2维，长度不变；把C/n设为第3维，C/n表达为长度C除以n并向下取整。

进一步的，所述n为8的整数倍。

进一步的，所述稀疏数据拥有至少一个稀疏特征点；所述稀疏特征点指：在稀疏数据中，如果1、2、3维坐标(Z，Y，X)所指向的0维全部n个数据的值都为0，则该(Z，Y，X)坐标被称为所述稀疏数据的一个稀疏特征点。

进一步的，稀疏数据拥有N个稀疏特征点，N的数量小于或等于(C/n)*H*W。

进一步的，所述稀疏压缩数据指所有稀疏特征点所指向的0维n个数全部被删除的稀疏数据；所述稀疏映射表是指尺寸为(C/n，H，W)的张量数据，数据位宽是1比特；稀疏映射表与稀疏数据相对应：稀疏映射表每个1比特数据代表相应稀疏数据第0维n个数据的值是否全为0。

一种用于神经网络张量处理器的稀疏数据解压缩方法，包括：

读取解压缩操作的配置数据，并配置稀疏数据解压缩装置的各模块；所述配置数据主要包括稀疏数据的起始地址和尺寸、稀疏压缩数据的起始地址和尺寸、稀疏映射表的起始地址和尺寸；

根据配置信息读取稀疏映射表；

根据配置信息和稀疏映射表读取稀疏压缩数据；

解压缩生成稀疏数据；

写出稀疏数据。

进一步的，所述根据配置信息读取稀疏映射表的方法是：对于尺寸为(C/n，H，W)的稀疏映射表，一次读取1个1比特数据，并从起始地址开始，按照0、1、2维顺序遍历的方式依次读取数据。

进一步的，所述根据配置信息和稀疏映射表读取稀疏压缩数据的方法是：从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0；如果是0，代表该坐标所对应的稀疏压缩数据不存在，跳过该坐标数据的读取；如果是1，代表该坐标所对应的稀疏压缩数据存在，则读取坐标数据；数据读取的地址从起始地址开始，并随着读取过程依次递增。

进一步的，所述解压缩生成稀疏数据的方法是：按顺序依次获取稀疏映射表，从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0；如果是0，代表该坐标所对应的稀疏压缩数据不存在，则不获取稀疏压缩数据，并直接发送n个值为0的数的写请求；如果是1，代表该坐标所对应的稀疏压缩数据存在，则获取n个稀疏压缩数据，并发送该n个数据的写请求。

进一步的，写出稀疏数据的方法是：响应稀疏数据写请求，一次写出n个数，并从起始地址开始按照地址依次递增的方式写出数据。

本发明实现了如下技术效果：

本发明提出的稀疏压缩数据把0维全部n个数据的值都为0的情况表达为可被解压缩填充的稀疏特征点，并通过稀疏映射表来发达稀疏特征点的分布情况。

通过遍历稀疏映射表的方式可以直接识别稀疏特征点，通过在稀疏特征点填0并插入写出的方式，可以高效实现稀疏数据的解压缩，具有解压缩计算复杂性低、效率高的优点。

所述稀疏数据的解压缩是无损的，也即通过解压缩后的稀疏数据可以再次压缩生成对应的稀疏压缩数据和稀疏映射表。

附图说明

图1是本发明的稀疏数据解压缩装置的功能框图；

图2是本发明的16度并行存储方案(C/16，H，W，16)示意图；

图3是本发明的稀疏压缩数据及其对应稀疏映射表示例；

图4是本发明的稀疏数据解压缩方法流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

本发明提出一种用于神经网络张量处理器的稀疏数据解压缩装置与方法。所述稀疏数据解压缩装置如图1所示，包含稀疏压缩数据RDMA、稀疏映射表RDMA、配置单元、解压缩单元、稀疏数据WDMA、稀疏数据、配置数据、稀疏压缩数据和稀疏映射表。所述稀疏数据解压缩装置用于实现从稀疏压缩数据到稀疏数据的转换。

所述稀疏数据指采用16度并行存储方案(C/16，H，W，16)的张量数据，数据位宽通常是8比特或16比特。所述稀疏数据可以由采用原始存储方案(C，H，W)的张量数据转换得到。所述原始存储方案，W代表宽，是数据的第0维；H代表高，是数据的第1维；C代表通道，是数据的第2维。

所述16度并行存储方案(C/16，H，W，16)的转换方法是：对于原始存储方案(C，H，W)，取C方向的连续16个数据，按物理地址连续的方式存放，并设为第0维，第0维的长度固定为16；把W设为第1维，长度不变；把H设为第2维，长度不变；把C/16设为第3维，C/16表达为长度C除以16并向下取整。一个转换的例子如图2所示。

所述稀疏数据拥有至少一个稀疏特征点。所述稀疏特征点指：在稀疏数据中，如果1、2、3维坐标(Z，Y，X)所指向的0维全部16个数据的值都为0，则该(Z，Y，X)坐标被称为所述稀疏数据的一个稀疏特征点。稀疏数据可以拥有N个稀疏特征点，N的数量小于或等于(C/16)*H*W。

所述稀疏压缩数据指所有稀疏特征点所指向的0维16个数全部被删除的稀疏数据。更进一步，为了弥补稀疏数据压缩导致的信息丢失(某些数据被删除)，采用稀疏映射表来保存稀疏数据的原始完整信息。所述稀疏映射表是指尺寸为(C/16，H，W)的张量数据，数据位宽是1比特。稀疏映射表与稀疏数据相对应：稀疏映射表每个1比特数据代表相应稀疏数据第0维16个数据的值是否全为0。例如，尺寸为(C/16，H，W)的稀疏映射表中某个由0、1、2维坐标(Z、Y、X)所指向的1比特数据的值，代表了尺寸为(C/16，H，W，16)的稀疏数据中对应1、2、3维坐标(Z、Y、X)所指向的第0维的16个数据是否全为0。稀疏映射表中的某个1比特数据为0时，代表对应稀疏数据的16个数据全为0。稀疏映射表中的某个1比特数据为1时，代表对应稀疏数据的16个数据有至少一个非0数据。一个稀疏压缩数据及其对应稀疏映射表的例子如图3所示。

所述稀疏数据通过稀疏数据解压缩装置从稀疏压缩数据转换得到。

所述稀疏数据解压缩装置的稀疏压缩数据可以是神经网络的特征数据或参数数据，稀疏数据可以是神经网络的特征数据或参数数据。

所述稀疏数据解压缩装置中，所述配置单元用于读取配置数据，并向稀疏压缩数据RDMA配置稀疏压缩数据的起始地址和尺寸信息，向稀疏映射表RDMA配置稀疏映射表的起始地址和尺寸信息，向稀疏数据WDMA配置稀疏数据的起始地址和尺寸信息。所述稀疏数据的尺寸表达为(C/16，H，W，16)，稀疏压缩数据的尺寸表达为(C/16，H，W，16)，稀疏映射表的尺寸表达为(C/16，H，W)。

所述稀疏数据解压缩装置中，所述稀疏映射表RDMA用于根据所述稀疏映射表的起始地址和尺寸信息读取稀疏映射表。所述稀疏映射表RDMA一次读取1个1比特数据，并从起始地址开始，按照0、1、2维顺序遍历的方式依次读取数据。

所述稀疏数据解压缩装置中，所述稀疏压缩数据RDMA用于根据所述稀疏映射表和所述稀疏压缩数据的起始地址与尺寸信息读取稀疏数据。所述稀疏压缩数据RDMA一次读取第0维的16个数，读取方法是：从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0。如果是0，代表该坐标所对应的稀疏压缩数据不存在，跳过该坐标数据的读取。如果是1，代表该坐标所对应的稀疏压缩数据存在，则读取坐标数据。所述数据读取的地址从起始地址开始，并随着读取过程依次递增。

所述稀疏数据解压缩装置中，所述解压缩单元用于执行稀疏压缩数据的解压缩操作并产生稀疏数据。所述解压缩单元按顺序依次获取稀疏映射表，从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0。如果是0，代表该坐标所对应的稀疏压缩数据不存在，则不获取稀疏压缩数据，并直接发送16个值为0的数的写请求。如果是1，代表该坐标所对应的稀疏压缩数据存在，则获取16个稀疏压缩数据，并发送该16个数据的写请求。

所述稀疏数据WDMA用于响应稀疏数据写请求，并根据所述稀疏数据的起始地址和尺寸信息写出稀疏数据。所述稀疏数据WDMA一次写出16个数，并从起始地址开始，对于来自解压缩单元的有效写请求，按照地址依次递增的方式写出稀疏数据。

所述稀疏数据的解压缩是无损的，也即通过解压缩后的稀疏数据可以再次压缩生成对应的稀疏压缩数据和稀疏映射表。

稀疏数据解压缩方法如图4所示：

(1)配置。读取解压缩操作的配置数据，所述配置数据主要包括稀疏数据的起始地址和尺寸、稀疏压缩数据的起始地址和尺寸、稀疏映射表的起始地址和尺寸，并配置稀疏数据解压缩装置的各模块。

(2)读取稀疏映射表。根据配置信息，读取稀疏映射表。对于尺寸为(C/16，H，W)的稀疏映射表，读取方法是：一次读取1个1比特数据，并从起始地址开始，按照0、1、2维顺序遍历的方式依次读取数据。

(3)读取稀疏压缩数据。根据配置信息和稀疏映射表，读取稀疏压缩数据。读取方法是：从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0。如果是0，代表该坐标所对应的稀疏压缩数据不存在，跳过该坐标数据的读取。如果是1，代表该坐标所对应的稀疏压缩数据存在，则读取坐标数据。所述数据读取的地址从起始地址开始，并随着读取过程依次递增。

(4)解压缩，生成稀疏数据。解压缩的方法是：按顺序依次获取稀疏映射表，从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0。如果是0，代表该坐标所对应的稀疏压缩数据不存在，则不获取稀疏压缩数据，并直接发送16个值为0的数的写请求。如果是1，代表该坐标所对应的稀疏压缩数据存在，则获取16个稀疏压缩数据，并发送该16个数据的写请求。

(5)写出稀疏数据。响应稀疏数据写请求，并向相应地址写出该16个数据。写出的方法是：一次写出16个数，并从起始地址开始按照地址依次递增的方式写出数据。

在本实施例中，所述稀疏数据指采用16度并行存储方案(C/16，H，W，16)的张量数据。在具体应用中，为适应不同的张量处理器的规模和处理能力，所述稀疏数据可更广泛地定义为采用n度并行存储方案(C/n，H，W，n)的张量数据，其中，n为8的整数倍。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (11)

1.一种用于神经网络张量处理器的稀疏数据解压缩装置，其特征在于，包含稀疏压缩数据RDMA、稀疏映射表RDMA、配置单元、解压缩单元、稀疏数据WDMA、稀疏数据、配置数据、稀疏压缩数据和稀疏映射表；

所述配置单元用于读取配置数据，并向稀疏压缩数据RDMA配置稀疏压缩数据的起始地址和尺寸信息，向稀疏映射表RDMA配置稀疏映射表的起始地址和尺寸信息，向稀疏数据WDMA配置稀疏数据的起始地址和尺寸信息；

所述稀疏映射表RDMA用于根据所述稀疏映射表的起始地址和尺寸信息读取稀疏映射表；

所述稀疏压缩数据RDMA用于根据所述稀疏映射表和所述稀疏压缩数据的起始地址与尺寸信息读取稀疏数据；

所述解压缩单元用于执行稀疏压缩数据的解压缩操作并产生稀疏数据；

所述稀疏数据WDMA用于响应稀疏数据写请求，并根据所述稀疏数据的起始地址和尺寸信息写出稀疏数据。

2.如权利要求1所述的用于神经网络张量处理器的稀疏数据解压缩装置，其特征在于，所述稀疏数据指采用n度并行存储方案(C/n，H，W，n)的张量数据，数据位宽是8比特或16比特；所述张量数据的原始存储方案(C，H，W)，W代表宽，是数据的第0维；H代表高，是数据的第1维；C代表通道，是数据的第2维；

所述n度并行存储方案(C/n，H，W，n)的转换方法是：对于张量数据的原始存储方案(C，H，W)，取C方向的连续n个数据，按物理地址连续的方式存放，并设为第0维，第0维的长度固定为n；把W设为第1维，长度不变；把H设为第2维，长度不变；把C/n设为第3维，C/n表达为长度C除以n并向下取整。

3.如权利要求2所述的用于神经网络张量处理器的稀疏数据解压缩装置，其特征在于，所述n为8的整数倍。

4.如权利要求2所述的用于神经网络张量处理器的稀疏数据解压缩装置，其特征在于，所述稀疏数据拥有至少一个稀疏特征点；所述稀疏特征点指：在稀疏数据中，如果1、2、3维坐标(Z，Y，X)所指向的0维全部n个数据的值都为0，则该(Z，Y，X)坐标被称为所述稀疏数据的一个稀疏特征点。

5.如权利要求2所述的用于神经网络张量处理器的稀疏数据解压缩装置，其特征在于，稀疏数据拥有N个稀疏特征点，N的数量小于或等于(C/n)*H*W。

6.如权利要求2所述的用于神经网络张量处理器的稀疏数据解压缩装置，其特征在于，所述稀疏压缩数据指所有稀疏特征点所指向的0维n个数全部被删除的稀疏数据；所述稀疏映射表是指尺寸为(C/n，H，W)的张量数据，数据位宽是1比特；稀疏映射表与稀疏数据相对应：稀疏映射表每个1比特数据代表相应稀疏数据第0维n个数据的值是否全为0。

7.一种用于神经网络张量处理器的稀疏数据解压缩方法，其特征在于，应用于如权利要求2-6任一项所述的用于神经网络张量处理器的稀疏数据解压缩装置，包括：

读取解压缩操作的配置数据，并配置稀疏数据解压缩装置的各模块；所述配置数据包括稀疏数据的起始地址和尺寸、稀疏压缩数据的起始地址和尺寸、稀疏映射表的起始地址和尺寸；

根据配置信息读取稀疏映射表；

根据配置信息和稀疏映射表读取稀疏压缩数据；

解压缩生成稀疏数据；

写出稀疏数据。

8.如权利要求7所述的用于神经网络张量处理器的稀疏数据解压缩方法，其特征在于，所述根据配置信息读取稀疏映射表的方法是：对于尺寸为(C/n，H，W)的稀疏映射表，一次读取1个1比特数据，并从起始地址开始，按照0、1、2维顺序遍历的方式依次读取数据。

9.如权利要求7所述的用于神经网络张量处理器的稀疏数据解压缩方法，其特征在于，所述根据配置信息和稀疏映射表读取稀疏压缩数据的方法是：从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0；如果是0，代表该坐标所对应的稀疏压缩数据不存在，跳过该坐标数据的读取；如果是1，代表该坐标所对应的稀疏压缩数据存在，则读取坐标数据；数据读取的地址从起始地址开始，并随着读取过程依次递增。

10.如权利要求7所述的用于神经网络张量处理器的稀疏数据解压缩方法，其特征在于，所述解压缩生成稀疏数据的方法是：按顺序依次获取稀疏映射表，从稀疏映射表的(0，0，0)坐标开始，判断稀疏映射表对应数据的值是否为0；如果是0，代表该坐标所对应的稀疏压缩数据不存在，则不获取稀疏压缩数据，并直接发送n个值为0的数的写请求；如果是1，代表该坐标所对应的稀疏压缩数据存在，则获取n个稀疏压缩数据，并发送该n个数据的写请求。

11.如权利要求7所述的用于神经网络张量处理器的稀疏数据解压缩方法，其特征在于，写出稀疏数据的方法是：响应稀疏数据写请求，一次写出n个数，并从起始地址开始按照地址依次递增的方式写出数据。

Images