CN114168896A - 矩阵计算电路、方法、电子设备及计算机可读存储介质 - Google Patents

矩阵计算电路、方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114168896A
CN114168896A CN202010955726.6A CN202010955726A CN114168896A CN 114168896 A CN114168896 A CN 114168896A CN 202010955726 A CN202010955726 A CN 202010955726A CN 114168896 A CN114168896 A CN 114168896A
Authority
CN
China
Prior art keywords
data
matrix
circuit
calculation
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010955726.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Simm Computing Technology Co ltd
Original Assignee
Beijing Simm Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Simm Computing Technology Co ltd filed Critical Beijing Simm Computing Technology Co ltd
Priority to CN202010955726.6A priority Critical patent/CN114168896A/zh
Publication of CN114168896A publication Critical patent/CN114168896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Complex Calculations (AREA)

Abstract

本公开实施例公开了一种矩阵计算电路、方法、电子设备及计算机可读存储介质。其中该矩阵计算电路包括：第一数据读取电路，用于读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；根据所述第一数据的位置信息生成计算控制信号；第二数据读取电路，用于根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；计算电路，用于根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。上述矩阵计算电路通过读取出来的第一数据的位置信息控制计算电路的计算过程，解决了现有技术中进行矩阵计算时只能进行单个数据计算、取数地址计算复杂的技术问题。

Description

矩阵计算电路、方法、电子设备及计算机可读存储介质
技术领域
本公开涉及处理器领域，尤其涉及一种矩阵计算电路、方法、电子设备及计算机可读存储介质。
背景技术
随着科学技术的发展，人类社会正在快速进入智能时代。智能时代的重要特点，就是人们获得数据的种类越来越多，获得数据的量越来越大，而对处理数据的速度要求越来越高。芯片是任务分配的基石，它从根本上决定了人们处理数据的能力。从应用领域来看，芯片主要有两条路线：一条是通用芯片路线，例如CPU(central processing unit)等，它们能提供极大的灵活性，但是在处理特定领域算法时有效算力比较低；另一条是专用芯片路线，例如TPU(tensor processing unit)等，它们在某些特定领域，能发挥较高的有效算力，但是面对灵活多变的比较通用的领域，它们处理能力比较差甚至无法处理。由于智能时代的数据种类繁多且数量巨大，所以要求芯片既具有极高的灵活性，能处理不同领域且日新月异的算法，又具有极强的处理能力，能快速处理极大的且急剧增长的数据量。
在神经网络计算中，卷积计算占了总运算量的大部分，而卷积计算可以转换成矩阵乘计算，因此要提高神经网络任务中的吞吐量、降低延时、提升芯片的有效算力，重点在于提升矩阵乘计算的速度。
很多神经网络中的数据(这里的数据包括神经网络中的参数数据和输入数据)组成的矩阵是稀疏矩阵，即矩阵中有大量的元素的值为0。为了降低神经网络计算中数据的存储量和带宽占用，会压缩稀疏矩阵进行存储；为了提升矩阵运算速度，会对稀疏矩阵运算进行的优化。
图1a为在神经网络中矩阵乘计算的示意图。如图1a所示，M1为数据矩阵，M2为参数矩阵，M为输出矩阵。M1中的一行数据和M2中的一列参数做乘加计算得到M中的一个数据。其中图1a中的M1和M2两个矩阵，可能有一个是稀疏矩阵，也可能两个都是稀疏矩阵。
如图1b所示为矩阵的压缩示意图。对稀疏矩阵中的存储，可以采用通用的压缩方法：只存储非0的元素。存储此非0元素的值的同时，会存储它在矩阵中的位置信息，即元素在矩阵中的相对坐标X和Y。其中X代表矩阵行序号，Y代表矩阵列序号。这种方法，是将数据和坐标作为一个数据结构，以此数据结构为单位进行存储。如图1b所示，以一个MxN的矩阵为例，从左侧的MxN矩阵压缩成右侧的压缩矩阵，压缩矩阵中的每一个数据结构表示左侧矩阵中的非0数据以及该非0数据在所述矩阵中的坐标。
在稀疏矩阵中，由于矩阵中有的元素的值为0，而这些0元素不需要存储，所以采取这种压缩方法，能有效的降低矩阵的存储容量。如图1c所示为使用上述压缩方法对矩阵进行压缩的实例示意图。对于16x16的稀疏矩阵，只有a，b，c和d为非0的元素，进行压缩存储后，只需要存储这几个元素的值和坐标，从而节省了存储空间。
在进行M1xM2的矩阵运算时，使用压缩之后的矩阵作为实际取数时所使用的矩阵。然而上述技术方案存在以下缺点：1、在进行矩阵运算时，数据的利用率低，通常只能使用独立的运算单元，单个数据进行计算；2、根据压缩矩阵的数据坐标，计算取数地址复杂，影响性能的发挥。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
为了解决现有技术中的上述技术问题，本公开实施例提出如下技术方案:
第一方面，本公开实施例提供一种矩阵计算电路，包括：
第一数据读取电路，用于读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；根据所述第一数据的位置信息生成计算控制信号；
第二数据读取电路，用于根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；
计算电路，用于根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。
进一步的，所述第一数据读取电路，还包括：
第一数据缓存电路、第一数据排序电路以及第一控制电路；
其中，所述第一控制电路，用于根据所述第一矩阵的首地址生成第一数据读取地址；
所述第一数据缓存电路，用于缓存根据所述第一数据读取地址读出的第一数据和所述第一数据的位置信息；
所述第一数据排序电路，用于根据所述第一数据缓存电路中的第一数据位置信息将所述第一数据位置信息和所述第一数据以位置一一对应的方式分别重新排序，其中，所述重新排序结果为所述数据矩阵中的同一行数据仍然在同一行，所述数据矩阵中的同一列数据仍然在同一列。
进一步的，所述第一数据排序电路，还用于将所述第一数据的位置信息中的行信息发送至所述第一控制电路；所述第一控制电路，还用于根据所述行信息生成所述计算控制信号。
进一步的，所述第一控制电路，还用于根据所述行信息生成所述计算控制信号，包括：
所述第一控制电路，用于确定所述行信息是否为第一值；
如果所述行信息为第一值，生成第一控制信号以控制所述计算电路中与所述行信息对应的一行计算单元不进行计算；
如果所述行信息不为第一值，生成第二控制信号以控制所述计算电路中与所述行信息对应的一行计算单元进行计算。
进一步的，所述第二数据读取电路，还包括：
第二数据缓存电路以及第二控制电路；
其中，所述第二控制电路，用于根据所述第二矩阵的首地址以及所述第一数据的位置信息生成第二数据读取地址；
所述第二数据缓存电路，用于缓存根据所述第二数据读取地址读出的第二数据。
进一步的，所述第二控制电路，用于根据所述第二矩阵的首地址以及所述第一数据的位置信息生成第二数据读取地址，包括：
所述第二控制电路，用于根据所述第二矩阵的首地址以及所述第一数据的位置信息中的列信息生成所述第二数据读取地址。
进一步的，所述计算电路包括：
计算单元阵列，其中所述计算单元阵列中包括多个计算单元；
所述计算单元阵列中的行计算单元接收所述第二数据中的一行第二数据；
所述计算单元阵列中的行计算单元接收所述第一数据中的一列第一数据。
第二方面，本公开实施例提供一种矩阵计算方法，包括：
读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；根据所述第一数据的位置信息生成计算控制信号；
根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；
根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。
第三方面，本公开实施例还提供一种处理核，所述处理核包括至少一个上述第一方面中的至少一个任一矩阵计算电路，解码单元以及存储装置。
第四方面，本公开实施例还提供一种芯片，所述芯片包括至少一个上述第三方面中的处理核。
第五方面，本公开实施例提供一种电子设备，包括：存储器，用于存储计算机可读指令；以及一个或多个处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现前述第一方面中的任一所述的矩阵计算方法。
第六方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述第一方面中的任一所述的矩阵计算方法。
第七方面，本公开实施例提供一种计算机程序产品，其特征在于：包括计算机指令，当所述计算机指令被计算设备执行时，所述计算设备可以执行前述第一方面中的任一所述的矩阵计算方法。
第八方面，本公开实施例提供一种计算装置，其特征在于，包括一个或多个所述第四方面所述的芯片。
本公开实施例公开了一种矩阵计算电路、方法、电子设备及计算机可读存储介质。其中该矩阵计算电路包括：第一数据读取电路，用于读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；根据所述第一数据的位置信息生成计算控制信号；第二数据读取电路，用于根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；计算电路，用于根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。上述矩阵计算电路通过读取出来的第一数据的位置信息控制计算电路的计算过程，解决了现有技术中进行矩阵计算时只能进行单个数据计算、取数地址计算复杂的技术问题。
上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1a-1c为本公开现有技术的示意图；
图2为本公开实施例提供的矩阵计算电路的结构示意图；
图3为本公开实施例提供的第一数据读取电路的结构示意图；
图4为本公开实施例提供的第一数据读取电路的重排序的实例示意图；
图5为本公开实施例提供的第二数据读取电路的结构示意图；
图6为本公开实施例提供的计算控制信号生成电路的结构示意图；
图7a-7e为本公开实施例的一个应用实例的示意图；
图8为本公开实施例提供的矩阵计算方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图2为本公开实施例提供的矩阵计算电路的示意图。本实施例提供的矩阵计算电路(EU)200包括：
第一数据读取电路(LD_M1)201,所述第一数据读取电路用于读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；根据所述第一数据的位置信息生成计算控制信号；
第二数据读取电路(LD_M2)202，所述第二数据读取电路用于根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；
计算电路203，所述计算电路用于根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。
示例性的，所述第一数据读取电路根据第一数据的读取地址读取并缓存第一矩阵中的多个第一数据，所述第一数据的读取地址根据第一矩阵的存储首地址生成；所述第二数据读取电路根据所述第一数据的位置信息生成第二数据的读取地址，并根据所述第二数据的读取地址读取并缓存第二矩阵中的多个第二数据，所述第二数据的读取地址根据第二矩阵的存储首地址生成。其中，所述第一矩阵的存储首地址和第二矩阵的存储首地址通过指令解码电路ID(Instruction Decoder)得到，所述指令解码电路用于解码矩阵计算指令得到第一矩阵的存储首地址、第二矩阵的存储首地址以及第一矩阵和第二矩阵的大小等参数。
示例性的，所述矩阵计算指令中包括指令类型、第一矩阵的存储首地址、第二矩阵的存储首地址、数据矩阵的大小参数、第一矩阵的大小参数和第二矩阵的大小参数。在一个实施例中，所述指令类型为矩阵的乘法指令，所述第一矩阵为神经网络卷积计算中的数据矩阵，所述第二矩阵为神经网络卷积计算中的参数矩阵；其中，所述第一矩阵和/或所述第二矩阵为稀疏矩阵，所述稀疏矩阵中有大量的元素的值为0。可以理解的，所述矩阵计算指令中的矩阵的存储首地址以及矩阵的大小参数(如矩阵的行数和列数)可以以寄存器地址的形式表示，所示指令解码电路从对应的寄存器地址中获取对应的数据。
在本公开实施例中，所述第一数据读取电路201接收所述指令解码电路解码出的第一矩阵的首地址，并根据该首地址生成第一数据的读取地址；根据所述第一数据的读取地址一次性读取出第一矩阵中的多个第一数据。示例性的，预先设置一次读取的最大第一数据的数量为对应于数据矩阵的K列数据中的第一数据，则所述第一数据读取电路根据所述第一矩阵的首地址以及K生成第一数据的读取地址，一次从所述第一矩阵中读出并缓存对应所述K列数据的多个第一数据以及所述多个第一数据的位置信息。其中，所述第一数据为所述数据矩阵中的非0数据，所述第一数据读取电路读取的第一数据为所述数据矩阵的K列数据中的非0数据。所述第一数据读取电路201还用于根据所述多个第一数据的位置信息生成计算控制信号，所述计算控制信号用于控制所述计算电路执行或不执行计算指令。
在本公开实施例中，所述第二数据读取电路202接收所述指令解码电路解码出的第二矩阵的首地址，并根据该首地址以及所述多个第一数据的位置信息生成第二数据的读取地址；根据所述第二数据的读取地址一次性读取出第二矩阵中的多个第二数据。示例性的，所述第一数据的位置信息为所述第一数据在数据矩阵中的列信息，所述列信息对应于所述第二矩阵的行，通过第二矩阵的首地址和所述列信息得到需要读取的第二数据的行地址，由此可以一次性读取出一行或多行第二数据并缓存在所述第二数据读取电路中。
在本公开实施例中，所述计算电路，接收从所述第一数据读取电路传输的多个第一数据、计算控制信号，以及从所述第二数据读取电路传输的多个第二数据，根据所述计算控制信号控制计算过程，通过所述多个第一数据和所述多个第二数据计算得到多个第三数据。
如图3所示，为了实现上述第一数据读取电路的功能，可选的，所述第一数据读取电路还包括：
第一数据缓存电路301、第一数据排序电路302以及第一控制电路303；
其中，所述第一控制电路303，用于根据所述第一矩阵的首地址生成第一数据读取地址；
所述第一数据缓存电路301，用于缓存根据所述第一数据读取地址读出的第一数据和所述第一数据的位置信息；
所述第一数据排序电路302，用于根据所述第一数据缓存电路中的第一数据位置信息将所述第一数据位置信息和所述第一数据以位置一一对应的方式分别重新排序，其中，所述重新排序结果为所述数据矩阵中的同一行数据仍然在同一行，所述数据矩阵中的同一列数据仍然在同一列。
可选的，第一控制电路303接收指令解码电路解码得到的第一矩阵的首地址、预先设置的参数K，以及第一矩阵的大小参数，如第一矩阵中包括N列数据矩阵中的数据。可选的，所述第一控制电路中包括第一读取控制电路CL1以及第一地址生成电路AG1,所述第一读取控制电路CL1接收指令解码电路解码得到的上述第一矩阵的首地址、预先设置的参数K，以及数据矩阵的大小参数等，控制AG1生成第一数据读取地址Addr1，以使得所述第一数据读取电路能够根据所述Addr1一次读取第一矩阵中对应数据矩阵K列数据中的第一数据。
可选的，所述第一数据缓存电路301进一步包括用于缓存第一数据的第一存储器或第一存储区域DB11，以及用于缓存第一数据的位置信息的第二存储器或者第二存储区域DB10，在从所述第一矩阵中读出所述第一数据和所述第一数据的位置信息之后，将所述第一数据缓存在DB11中，将所述第一数据的位置信息缓存在DB10中。
可选的，所述第一数据排序电路302进一步包括重排序位置信息缓存电路I RDB以及重排序第一数据缓存电路DRDB。其中所述I RDB用于缓存重新排序后的所述多第一数据的位置信息，所述DRDB用于缓存重排序后的所述第一数据。
可选的，所述第一数据的位置信息包括第一数据在数据矩阵中的行坐标和列坐标，用X表示行坐标，用Y表示列坐标。示例性的，所述重排序按照先列后行的顺序进行重排序，即先按照Y坐标从小到大，再按照X坐标从小到大依次重新排序，以保证在数据矩阵中同一行的第一数据仍然在同一行，不在同一行的第一数据仍然不在同一行，也保证在数据矩阵中同一列的第一数据仍然在同一列，不在同一列的第一数据仍然不在同一列，由于第一矩阵为数据矩阵的压缩矩阵，数据矩阵中有些行缺少这一列的第一数据，而其他行中有该列的数据，则在重排序的时候，该行数据保持原有值不变；而重排序之后的位置信息，将每一个坐标按与所述第一数据同样的方式排列在对应的位置，被压缩掉的第一数据的坐标，也就是数据矩阵中值为0的第一数据的坐标，用非常规坐标值F标识，例如坐标值X和Y都表示成“F”，可选的，F表示坐标值不在实际的坐标范围内或者F值表示预设的值。将重排序之后的位置信息缓存在IRDB中，将重排序之后的第一数据缓存在DRDB中。
图4为重排序的实例示意图，如图4所示，数据矩阵M1_O为一个稀疏矩阵，第一矩阵为数据矩阵的压缩矩阵M1，M1中包括数据矩阵中的第一数据Data以及第一数据在数据矩阵中的位置信息(X，Y)，在第一数据读取电路读取到M1中的2列数据，将其中的位置信息按照先Y坐标从小到大排列，再按照X坐标从小到大排列的顺序进行重排列，且X坐标相同的位置信息位于同一行，X坐标不同的位置信息位于不同行，Y坐标相同的位置信息位于同一列，Y坐标不同的位置信息位于不同列，没有对应数据的位置补充预设的位置信息(F,F)；将第一数据按照与位置信息的排序对应的位置进行存储，而位置信息只保存Y坐标，按照Y坐标从小到大的顺序存储。如图4中所示第一数据1重新排序之后位于第一行，而第一数据2重新排序之后位于第二行，其他位置保持其原有值不变，在此记为E，此处的E表示其值可以是任何值；而位置信息中的Y轴坐标按照从小到大的顺序依次保存。
经过重排序之后，所述第一数据读取电路输出所述位置信息DO0和所述第一数据DO1。其中DO1为所述第一数据中的部分或全部第一数据，所述位置信息DO0为所述DRDB中所有第一数据的位置信息。其中所述位置信息传输至所述第二数据读取电路，以使所述第二数据读取电路读取与所述位置信息对应的一个或多个第二数据。
可选的，所述第一数据排序电路，还用于将所述第一数据的位置信息中的行信息发送至所述第一控制电路；所述第一控制电路，还用于根据所述行信息生成所述计算控制信号。
具体的，所述IRDB将位置信息中的行坐标传送至所述第一控制电路中的CL1中；所述CL1根据所述行坐标的值生成不同的计算控制信号CA，以控制所述计算电路的计算过程。
可选的，在一个实施例中，所述计算电路包括计算单元阵列，所述计算单元阵列中包括多个计算单元。所述计算控制信号用于控制所述计算单元中的一行计算单元进行计算。
具体的，所述第一控制电路，用于确定所述行信息是否为第一值；如果所述行信息为第一值，生成第一控制信号以控制所述计算电路中与所述行信息对应的一行计算单元不进行计算；如果所述行信息不为第一值，生成第二控制信号以控制所述计算电路中与所述行信息对应的一行计算单元进行计算。示例性的，如上述实施例中所述，第一控制电路中的CL1判断所述位置信息中的行坐标是否为F，如果行坐标为F，则表示对应的第一数据为0，在计算的时候实际上是不需要执行的，此时生成第一控制信号CAi＝1,其中i表示第i行第一数据，表示对应第i行的那一行计算单元不进行计算；如果行坐标不为F，则生成第一控制信号CAi＝0，表示对应第i行的那一行计算单元进行计算。
可选的，如图5所示为CL1中生成所述计算控制信号的电路CAL的结构示意图。其中包括一个存储器或寄存器F，用于存储F的值，还包括M和比较电路CMP，用于比较行坐标与F的值是否相同，如图5所示，行坐标X0-XM-1分别被输入对应的比较电路CMP，F值被输入每一个比较电路CMP，由此比较电路CMP输出对应的计算电路控制信号CA0-CAM-1。
如图6所示，为了实现上述第二数据读取电路的功能，可选的，所述第二数据读取电路还包括：
第二数据缓存电路601以及第二控制电路602；
其中，所述第二控制电路602，用于根据所述第二矩阵的首地址以及所述第一数据的位置信息生成第二数据读取地址；
所述第二数据缓存电路601，用于缓存根据所述第二数据读取地址读出的第二数据。
可选的，第二控制电路602接收指令解码电路解码得到的第二矩阵的首地址以及所述第一数据的位置信息中的列信息生成第二数据读取地址。可选的，所述第二控制电路中包括第二读取控制电路CL2以及第二地址生成电路AG2,所述第二读取控制电路CL2接收指令解码电路解码得到的上述第二矩阵的首地址以及所述第一数据的位置信息，控制AG2生成第二数据读取地址Addr2，以使得所述第二数据读取电路能够根据所述Addr2一次读取第二矩阵中与所述第一数据对应的第二数据。示例性的，所述第一数据的位置信息为所述第一数据的列坐标，根据所述第二矩阵的首地址以及所述列坐标，所述第二地址生成电路AG2根据所述第二矩阵的首地址作为基础地址，将所述列坐标作为第二数据的行偏移值，得到第二数据的行地址，由此可以读取与所述第一数据对应的一行或多行第二数据。可选的，所述第一数据为对应于数据矩阵K列数据中的k列第一数据，所述第二数据为在所述矩阵计算中与所述K列第一数据对应的所述第二矩阵中的K行第二数据。
可选的，所述第二数据缓存电路601包括一个第二数据存储器或者第二数据存储区域，其大小为K行第二数据的大小，读取出的第二数据按照其在第二矩阵中的位置逐行缓存在所述第二数据缓存电路中。
如图2所示，所述计算电路203包括：
计算单元阵列PUA,所述计算单元阵列中包括多个计算单元PU1,1,PU1,2,……PUM,N；
所述计算单元阵列中的列计算单元同时接收所述第二数据中的一个第二数据；
所述计算单元阵列中的行计算单元同时接收所述第一数据中的一个第一数据。
可选的，所述计算电路203，接收所述第一数据排序电路输出经重新排序的的一列第一数据；接收所述第二数据缓存电路输出的一行第二数据；根据所述一列第一数据、所述一行第二数据以及所述计算电路控制信号计算得到多个第三数据。具体的，所述第一数据排序电路输出的一列第一数据中的一个第一数据被输出至所述计算电路中的一行计算单元，如一列第一数据中包括两个第一数据，则这一列第一数据中的第0行的第一数据被输出至第0行计算单元，这一列第一数据中的第1行的第一数据被输出至第1行计算单元，对于参与计算的计算单元中的每一行计算单元均执行上述操作，将所述第一数据作为行计算单元的第一个输入数据；第二数据缓存电路输出的一行第二数据被输出至所述计算单元阵列中的一行计算单元中，具体的，所述第二数据缓存电路输出与所述第一数据排序电路输出的一列第一数据对应的一行第二数据，如一列第一数据中包括2个第一数据，则所述第二数据缓存电路输出的第二数据为一行第二数据，所述一行第二数据包括2个第二数据，这一行中的2个第二数据分别输入对应的一行计算单元中，第0个第二数据输出至第0列计算单元中，第1个第二数据输出至第1列计算单元；由此，参与计算的计算单元都会得到两个数据输入，一个第一数据和一个第二数据，之后根据所述计算电路控制信号CAi控制第i行计算单元是否进行计算，由此进行计算的计算单元通过计算指令的类型所指定的计算类型对第一数据和第二数据执行计算得到第三数据，多个计算单元得到多个第三数据并输出。循环上述计算过程，且每个计算单元累加其计算结果，直至所有的第一数据和第二数据被读取完毕得到输出矩阵，其中输出矩阵中的每个元素的值为参与计算的计算单元的累加结果。
图7a-7e为上述实施例中的矩阵计算电路的计算过程的实例。如图7a所示，为矩阵计算电路需要执行的矩阵乘法计算，M1_O为数据矩阵，M1为M1_O的压缩矩阵，M2为第二矩阵，M为M1_O和M2矩阵相乘得到的第三矩阵M。
其中，将M1_O以压缩矩阵的形式存储，如图7b所示，将M1_0进行压缩生成第一矩阵M1并保存。设K＝4，即在计算过程中，每次读取数据矩阵M1_O中的4列第一数据，对于所述实例来说，一次将M1中所有的数据读取并缓存。则如图7b所示，所述矩阵计算电路的第一数据读取电路一次读取整个第一矩阵M1中的第一数据到数据缓存电路中，并经过第一数据排序电路重排序，得到如图7b中所示的IRDB中以及DRDB中的存储内容及顺序。
如图7c所示为使用所述矩阵计算电路进行矩阵计算的整体示意图。以K＝4列为单位读取M1的4列第一数据，即数据矩阵中列号为0-3的列，由于在此实例中，数据矩阵M1_O的总列数为4，所以会一次将整个M1都读取并缓存到第一数据读取电路LD_M1中；读取后进行重排序，将位置信息存入LD_M1的IRDB，将第一数据存入LD_M1的DRDB。IRDB将列坐标0和3传输至LD_M2，LD_M2根据列坐标0和3从M2中读出第0行和第3行第二数据并缓存，如图7c所示，第0行第二数据包括1和2，第3行第二数据包括7和8，这两行第二数据被缓存在LD_M2的DB2中,第一数据和第二数据的计算结果为输出矩阵M。
如图7d所示为第一次计算的示意图。计算电路从LD_M1的DRDB中得到第一列第一数据，其中第一列第一数据包括第0行的1和第1行的E，其中第0行的1输入到计算电路中的第0行计算单元PU0,0和PU0,1中；第1行的E输入到计算电路中的第1行计算单元PU1,0和PU1,1中；LD_M2的第二数据缓存电路输出LD_M2中所缓存的第0行第二数据，第0行第二数据输入到第0行计算单元PU0,0和PU0,1中和1行计算单元PU1,0和PU1,1中，第0行第二数据包括1和2，其中第二数据1输入到第0列计算单元PU0,0和计算单元PU1,0中，第二数据2输入到第1列计算单元PU0,1和PU1,1中。其中该第一列第一数据中第0行不为F，第1行的行坐标为F，则第一数据读取电路生成CA0＝0,CA1＝1,使得第0行计算单元PU0,0和PU0,1进行计算，使得第1行计算单元PU1,0和PU1,1不进行计算。之后第0行计算单元独立进行乘累加计算，分别得到PU0,0的计算结果1，PU0,1的计算结果2，而第1行计算单元的计算结果默认为0，由于第一数据和第二数据还未计算完，因此得到的第三数据为中间数据M_temp。
如图7e所示为第二次计算的示意图。计算电路从LD_M1的DRDB中得到第二列第一数据，其中第二列第一数据包括第0行的E和第1行的2，其中第0行的E输入到计算电路中的第0行计算单元PU0,0和PU0,1中；第1行的2输入到计算电路中的第1行计算单元PU1,0和PU1,1中；LD_M2的第二数据缓存电路输出LD_M2中所缓存的第1行第二数据，其中第1行第二数据包括7和8，其中第二数据7输入到计算单元PU0,0和PU1,0中，第二数据8输入到计算单元PU0,1和PU1,1中；其中该第二列第一数据中第0行的行坐标为F，第1行不为F，则第一数据读取电路生成CA0＝1,CA1＝0,使得第0行计算单元PU0,0和PU0,1不进行计算，使得第一1行计算单元PU1,0和PU1,1进行计算。之后第1行计算单元独立进行乘累加计算，分别得到PU0,0的计算结果1，PU0,1的计算结果2，PU1,0的计算结果14和PU1,1的计算结果16；由于第一数据和第二数据计算完毕，因此得到的第三数据为输出矩阵M中的元素的值。
通过以上实例的计算过程可以看出，使用本公开中的矩阵计算电路进行矩阵乘法运算，只需要两次计算即可完成一个2*4的矩阵和一个4*2的矩阵的乘法，大大提升了计算速度，节省了计算时间。
通过本公开的上述技术方案，直接对压缩的稀疏矩阵进行计算，有效的节省存储空间，且节省数据带宽；使用计算单元阵列，所有的计算单元同步进行数据处理，大大提升了数据利用率，多个计算单元能共用同一个数据；直接对压缩的稀疏矩阵进行计算，跳过了一些0元素的计算，从而提升了运算速度，提高了芯片有效算力的发挥；在非全0列的计算时，能够跳过列中的0元素，关掉与之对应的行计算单元，节省了功耗；电路结构简单，能有效降低电路成本。
图8为本公开实施例提供的矩阵计算方法的流程图。如图8所示，该方法包括如下步骤：
步骤S801，读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；
步骤S802，根据所述第一数据的位置信息生成计算控制信号；
步骤S803，根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；
步骤S804,根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。
进一步的，所述读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，包括：
根据所述第一矩阵的首地址生成第一数据读取地址；
缓存根据所述第一数据读取地址读出的第一数据和所述第一数据的位置信息；
根据所述第一数据位置信息将所述第一数据位置信息和所述第一数据以位置一一对应的方式分别重新排序，其中，所述重新排序结果为所述数据矩阵中的同一行数据仍然在同一行，所述数据矩阵中的同一列数据仍然在同一列。
进一步的，所述根据所述第一数据的位置信息生成计算控制信号，包括：
根据所述第一数据的位置信息中的行信息生成计算控制信号。
进一步的，所述根据所述第一数据的位置信息中的行信息生成计算控制信号，包括：
确定所述行信息是否为第一值；
如果所述行信息为第一值，生成第一控制信号以控制所述计算电路中与所述行信息对应的一行计算单元不进行计算；
如果所述行信息不为第一值，生成第二控制信号以控制所述计算电路中与所述行信息对应的一行计算单元进行计算。
进一步的，所述根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据，包括：
根据所述第二矩阵的首地址以及所述第一数据的位置信息生成第二数据读取地址；
缓存根据所述第二数据读取地址读出的第二数据。
进一步的，所述根据所述第二矩阵的首地址以及所述第一数据的位置信息生成第二数据读取地址，包括：
根据所述第二矩阵的首地址以及所述第一数据的位置信息中的列信息生成所述第二数据读取地址。
第一数据第二数据进一步的，所述根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据，包括：
接收所述第二数据中的一行第二数据；
接收所述第一数据中的一列第一数据；
根据所述计算控制信号控制所述一行第二数据和一列第一数据进行计算得到第三数据。
在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
本公开实施例还提供一种处理核，所述处理核包括至少一个上述实施例中的任一矩阵计算电路，解码单元以及存储装置。
本公开实施例还提供一种芯片，所述芯片包括至少一个上述实施例中的任一处理核。
本公开实施例提供一种电子设备，包括：存储器，用于存储计算机可读指令；以及一个或多个处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现实施例中的任一所述的矩阵计算方法。
本公开实施例还提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述实施例中的任一所述的矩阵计算方法。
本公开实施例还提供一种计算机程序产品，其中，其特征在于：包括计算机指令，当所述计算机指令被计算设备执行时，所述计算设备可以执行前述实施例中的任一所述的矩阵计算方法。
本公开实施例还提供一种计算装置，其特征在于，包括所述实施例中的任一所述的芯片。
本公开附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、任务段、或代码的一部分，该模块、任务段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

Claims (10)

1.一种矩阵计算电路，其特征在于，包括：
第一数据读取电路，用于读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；根据所述第一数据的位置信息生成计算控制信号；
第二数据读取电路，用于根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；
计算电路，用于根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。
2.如权利要求1所述的矩阵计算电路，其特征在于，所述第一数据读取电路，还包括：
第一数据缓存电路、第一数据排序电路以及第一控制电路；
其中，所述第一控制电路，用于根据所述第一矩阵的首地址生成第一数据读取地址；
所述第一数据缓存电路，用于缓存根据所述第一数据读取地址读出的第一数据和所述第一数据的位置信息；
所述第一数据排序电路，用于根据所述第一数据缓存电路中的第一数据位置信息将所述第一数据位置信息和所述第一数据以位置一一对应的方式分别重新排序，其中，所述重新排序结果为所述数据矩阵中的同一行数据仍然在同一行，所述数据矩阵中的同一列数据仍然在同一列。
3.如权利要求2所述的矩阵计算电路，其特征在于：
所述第一数据排序电路，还用于将所述第一数据的位置信息中的行信息发送至所述第一控制电路；
所述第一控制电路，还用于根据所述行信息生成所述计算控制信号。
4.如权利要求3所述的矩阵计算电路，其特征在于，所述第一控制电路，还用于根据所述行信息生成所述计算控制信号，包括：
所述第一控制电路，用于确定所述行信息是否为第一值；
如果所述行信息为第一值，生成第一控制信号以控制所述计算电路中与所述行信息对应的一行计算单元不进行计算；
如果所述行信息不为第一值，生成第二控制信号以控制所述计算电路中与所述行信息对应的一行计算单元进行计算。
5.如权利要求1-4中任一项所述的矩阵计算电路，其中，所述第二数据读取电路，还包括：
第二数据缓存电路以及第二控制电路；
其中，所述第二控制电路，用于根据所述第二矩阵的首地址以及所述第一数据的位置信息生成第二数据读取地址；
所述第二数据缓存电路，用于缓存根据所述第二数据读取地址读出的第二数据。
6.如权利要求5所述的矩阵计算电路，其中所述第二控制电路，用于根据所述第二矩阵的首地址以及所述第一数据的位置信息生成第二数据读取地址，包括：
所述第二控制电路，用于根据所述第二矩阵的首地址以及所述第一数据的位置信息中的列信息生成所述第二数据读取地址。
7.如权利要求1-6中任一项所述的矩阵计算电路，其特征在于，所述计算电路包括：
计算单元阵列，其中所述计算单元阵列中包括多个计算单元；
所述计算单元阵列中的列计算单元接收所述第二数据中的一个第二数据；
所述计算单元阵列中的行计算单元接收所述第一数据中的一个第一数据。
8.一种矩阵计算方法，其特征在于，包括：
读取并缓存第一矩阵中的第一数据和所述第一数据的位置信息，其中所述第一矩阵为数据矩阵的压缩矩阵；
根据所述第一数据的位置信息生成计算控制信号；
根据所述第一数据的位置信息读取并缓存第二矩阵中的第二数据；
根据所述计算控制信号、所述第一数据和所述第二数据计算得到第三数据。
9.一种处理核，所述处理核包括解码单元、存储装置以及至少一个如权利要求1-7中任一项所述的矩阵计算电路。
10.一种芯片，包括至少一个如权利要求9所述的处理核。
CN202010955726.6A 2020-09-11 2020-09-11 矩阵计算电路、方法、电子设备及计算机可读存储介质 Pending CN114168896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010955726.6A CN114168896A (zh) 2020-09-11 2020-09-11 矩阵计算电路、方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010955726.6A CN114168896A (zh) 2020-09-11 2020-09-11 矩阵计算电路、方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114168896A true CN114168896A (zh) 2022-03-11

Family

ID=80476051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010955726.6A Pending CN114168896A (zh) 2020-09-11 2020-09-11 矩阵计算电路、方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114168896A (zh)

Similar Documents

Publication Publication Date Title
CN111062472B (zh) 一种基于结构化剪枝的稀疏神经网络加速器及其加速方法
CN110188869B (zh) 一种基于卷积神经网络算法的集成电路加速计算的方法及系统
CN113743599B (zh) 一种卷积神经网络的运算装置及服务器
CN111915001A (zh) 卷积计算引擎、人工智能芯片以及数据处理方法
CN109840585B (zh) 一种面向稀疏二维卷积的运算方法和系统
CN112784973A (zh) 卷积运算电路、装置以及方法
CN110333827B (zh) 一种数据加载装置和数据加载方法
CN113762493A (zh) 神经网络模型的压缩方法、装置、加速单元和计算系统
CN113254391B (zh) 一种神经网络加速器卷积计算和数据载入并行方法及装置
EP3842954A1 (en) System and method for configurable systolic array with partial read/write
CN115880132A (zh) 图形处理器、矩阵乘法任务处理方法、装置及存储介质
CN115860080A (zh) 计算核、加速器、计算方法、装置、设备、介质及系统
CN110796229B (zh) 一种实现卷积运算的装置及方法
CN114168896A (zh) 矩阵计算电路、方法、电子设备及计算机可读存储介质
CN111124626A (zh) 一种众核系统及其数据处理方法和处理装置
CN115828044B (zh) 基于神经网络双重稀疏性矩阵乘法运算电路、方法和装置
CN114168894A (zh) 矩阵计算电路、方法、电子设备及计算机可读存储介质
CN114168895A (zh) 矩阵计算电路、方法、电子设备及计算机可读存储介质
CN114168897A (zh) 矩阵计算电路、方法、电子设备及计算机可读存储介质
CN113222136A (zh) 卷积运算方法及芯片
CN109635238A (zh) 矩阵运算方法、装置、设备及可读介质
CN114330687A (zh) 数据处理方法及装置、神经网络处理装置
CN113836481B (zh) 矩阵计算电路、方法、电子设备及计算机可读存储介质
CN114139107B (zh) 池化装置与池化方法
CN112835512A (zh) 一种数据读取及写入方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 201, No. 6 Fengtong Heng Street, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Ximu Semiconductor Technology Co.,Ltd.

Address before: Building 202-24, No. 6, Courtyard 1, Gaolizhang Road, Haidian District, Beijing

Applicant before: Beijing SIMM Computing Technology Co.,Ltd.

Country or region before: China