CN112650974A - 一种高效的转置卷积计算方法 - Google Patents

一种高效的转置卷积计算方法 Download PDF

Info

Publication number
CN112650974A
CN112650974A CN202011617770.2A CN202011617770A CN112650974A CN 112650974 A CN112650974 A CN 112650974A CN 202011617770 A CN202011617770 A CN 202011617770A CN 112650974 A CN112650974 A CN 112650974A
Authority
CN
China
Prior art keywords
size
matrix
conversion
transposed convolution
transposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011617770.2A
Other languages
English (en)
Other versions
CN112650974B (zh
Inventor
王中风
杨培祥
毛文东
林军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202011617770.2A priority Critical patent/CN112650974B/zh
Publication of CN112650974A publication Critical patent/CN112650974A/zh
Application granted granted Critical
Publication of CN112650974B publication Critical patent/CN112650974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G06F7/523—Multiplying only

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本申请公开了一种高效的转置卷积计算方法，基于预设的转置卷积核的尺寸参数、转置卷积的步长和转换阶数确定转置卷积总体架构，对用于原特征图的提取的滑动窗口进行了设计，根据设计后的滑动窗口提取特征图子图，对所述特征图子图进行转换，转换转置卷积核，并进行计算，对中间子矩阵进行转换，进而获得转置卷积结果。本申请实现在不需要补零的操作下，对原特征图进行转置卷积运算，提高运算效率；提出转换阶数的设置，扩大适用范围，进一步降低计算复杂度。

Description

一种高效的转置卷积计算方法
技术领域
本申请涉及数据处理技术领域，尤其涉及一种高效的转置卷积计算方法。
背景技术
转置卷积是一种特殊的卷积，现有技术中，在用硬件加速器执行转置卷积运算之前，通常会先按照一定比例进行补零操作，来扩展输入特征图的尺寸，然后再进行卷积运算。
如图1所示，原先的输入特征图数据中相应位置被补入大量的零，白格为补入的零，扩展到尺寸相对较大的新特征图数据，然后通过滑动窗口在新特征图数据上按照设置的滑动步长进行数据提取，被提取的数据再与旋转后的转置卷积核进行相乘再求和，滑动窗口的尺寸与转置卷积核大小一致，被提取的数据为滑动窗口覆盖的数据，当滑动窗口滑过新特征图所有数据后，便得到转置卷积的计算结果。
现有方案通常需要在原输入特征图中插入大量的零，而这些零又都参与实际的运算，使得在处理数据时，增加了大量不必要的运算操作，降低对有效数据处理的速度，从而降低转置卷积的运算效率。
发明内容
本申请提供了一种高效的转置卷积计算方法，以解决转置卷积运算效率低的问题。
一种高效的转置卷积计算方法，包括：
基于预设的转置卷积核的尺寸参数、转置卷积的步长和转换阶数确定转置卷积总体架构；
将原特征图和所述转置卷积核输入所述转置卷积总体架构，输出转置卷积计算结果；
其中，所述转置卷积总体架构包括第一提取转换模块、转置卷积计算模块和第二转换输出模块；
所述第一提取转换模块包括提取单元、第一转换单元和第二转换单元，所述提取单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置滑动窗口的尺寸和滑动窗口的步长，然后根据所述滑动窗口的尺寸和所述滑动窗口的步长，利用滑动窗口机制在原特征图上提取多个特征图子图；所述第一转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第一转换矩阵，根据所述第一转换矩阵对所述转置卷积核进行转换，获得第二转置卷积核；所述第二转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第二转换矩阵，根据所述第二转换矩阵对所述特征图子图进行转换，获得第二特征图子矩阵；
所述转置卷积计算模块被配置为将所述第二特征图子矩阵与第二转置卷积核上的元素一一对应相乘，获得中间子矩阵；
所述第二转换输出模块被配置为包括第三转换单元和输出单元，所述第三转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第三转换矩阵，根据所述第三转换矩阵对所述中间子矩阵进行转换，获得输出子矩阵；所述输出单元将所述输出子矩阵依次排列成输出特征图，输出转置卷积计算结果。
具体地，所述根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第一转换矩阵，具体为：
根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第一转换矩阵的尺寸；
根据所述第一转换矩阵的尺寸设置所述第一转换矩阵；
所述根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第二转换矩阵，具体为：
根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第二转换矩阵的尺寸；
根据所述第二转换矩阵的尺寸设置所述第二转换矩阵；
所述根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第三转换矩阵，具体为：
根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第三转换矩阵的尺寸；
根据所述第三转换矩阵的尺寸设置所述第三转换矩阵。
具体地，根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数，通过计算公式获取各项参数，其中计算公式为：
Figure BDA0002873050100000021
Er＝k+(r-1)×s
Or＝s×r
Sr＝r
其中，k为所述转置卷积核的尺寸参数，s为所述转置卷积的步长，r为所述转换阶数，k、s和r均为正整数，
Figure BDA0002873050100000022
为数学符号的上取整符号；
根据所述各项参数，确定所述第一转换矩阵的尺寸、所述第二转换矩阵的尺寸、所述第三转换矩阵的尺寸、所述滑动窗口的尺寸和所述滑动窗口的步长，
其中，
所述第一转换矩阵的尺寸为Er×k；
所述第二转换矩阵的尺寸为Ir×Er；
所述第三转换矩阵的尺寸为Er×Or；
在一维计算形式中，所述滑动窗口的尺寸为1×Ir；
在二维计算形式中，所述滑动窗口的尺寸为Ir×Ir；
所述滑动窗口的步长为Sr，Sr＝r。
具体地，所述根据所述第一转换矩阵对所述转置卷积核进行转换，获得第二转置卷积核，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第一转换矩阵和所述转置卷积核依次相乘，得到所述第二转置卷积核；
对于二维计算形式，具体为：将所述第一转换矩阵、所述转置卷积核和所述第一转换矩阵的转置矩阵依次相乘，得到所述第二转置卷积核。
具体地，根据所述第二转换矩阵对所述特征图子图进行转换，获得第二特征图子矩阵，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第二转换矩阵的转置矩阵和所述特征图子图依次相乘，得到所述第二特征图子矩阵；
对于二维计算形式，具体为：将所述第二转换矩阵的转置矩阵、所述特征图子图和所述第二转换矩阵依次相乘，得到所述第二特征图子矩阵。
具体地，所述根据所述第三转换矩阵对所述中间子矩阵进行转换，获得输出子矩阵，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第三转换矩阵的转置矩阵和所述中间子矩阵依次相乘，得到所述输出子矩阵；
对于二维计算形式，具体为：将所述第三转换矩阵的转置矩阵、所述中间子矩阵和所述第三转换矩阵依次相乘，得到所述输出子矩阵。
本申请通过预设的转置卷积核的尺寸参数、转置卷积的步长和转换阶数，设置第一转换矩阵、第二转换矩阵和第三转换矩阵，进而对转置卷积核、通过滑动窗口提取的特征图子图和运算过程中获得的中间子矩阵进行转换，从而可以实现在不需要补零的操作下，只需要对原特征图进行转置卷积运算；并且提出转换阶数的设置，扩大了适用范围，进一步降低计算复杂度。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请现有转置卷积原理示意图；
图2为本申请一种高效的转置卷积计算方法的流程图；
图3为本申请实施例公开的针对T1(22，42)转置卷积计算的流程示意图；
图4为本申请实施例公开的针对T2(42，42)转置卷积计算的流程示意图；
图5为本申请实施例公开的针对T3(62，42)转置卷积计算的流程示意图。
具体实施方式
参见图2，为本申请一种高效的转置卷积计算方法的流程图，该方法包括如下步骤：
基于预设的转置卷积核的尺寸参数、转置卷积的步长和转换阶数确定转置卷积总体架构；
将原特征图和所述转置卷积核输入所述转置卷积总体架构，输出转置卷积计算结果；
其中，所述转置卷积总体架构包括第一提取转换模块、转置卷积计算模块和第二转换输出模块；
所述第一提取转换模块包括提取单元、第一转换单元和第二转换单元，
所述提取单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置滑动窗口的尺寸和滑动窗口的步长，然后根据所述滑动窗口的尺寸和所述滑动窗口的步长，利用滑动窗口机制在原特征图上提取多个特征图子图；
所述第一转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第一转换矩阵的尺寸，根据所述第一转换矩阵的尺寸设置所述第一转换矩阵，其中第一转换矩阵中元素的值可以根据实际自行设置，根据所述第一转换矩阵对所述转置卷积核进行转换，获得第二转置卷积核，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第一转换矩阵和所述转置卷积核依次相乘，得到所述第二转置卷积核；
对于二维计算形式，具体为：将所述第一转换矩阵、所述转置卷积核和所述第一转换矩阵的转置矩阵依次相乘，得到所述第二转置卷积核。
所述第二转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第二转换矩阵的尺寸，根据所述第二转换矩阵的尺寸设置所述第二转换矩阵，其中第二转换矩阵中元素的值可以根据实际自行设置，根据所述第二转换矩阵对所述特征图子图进行转换，获得第二特征图子矩阵，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第二转换矩阵的转置矩阵和所述特征图子图依次相乘，得到所述第二特征图子矩阵；
对于二维计算形式，具体为：将所述第二转换矩阵的转置矩阵、所述特征图子图和所述第二转换矩阵依次相乘，得到所述第二特征图子矩阵。
所述转置卷积计算模块被配置为将所述第二特征图子矩阵与第二转置卷积核上的元素一一对应相乘，获得中间子矩阵；
所述第二转置卷积核与所述第二特征图子矩阵的尺寸均一致，即第二转置卷积核与所述第二特征图子矩阵为行数和列数相同的矩阵，如均为Er×Er矩阵；将所述第二转置卷积核与所述第二特征图子矩阵上的元素一一对应相乘，即将第二转置卷积核上的第i行第j列元素与第二特征图子矩阵上的第i行第j列元素一一对应相乘，i和j为正整数。
所述第二转换输出模块被配置为包括第三转换单元和输出单元，
所述第三转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第三转换矩阵的尺寸，根据所述第三转换矩阵的尺寸设置所述第三转换矩阵，其中第三转换矩阵中元素的值可以根据实际自行设置，根据所述第三转换矩阵对所述中间子矩阵进行转换，获得输出子矩阵，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第三转换矩阵的转置矩阵和所述中间子矩阵依次相乘，得到所述输出子矩阵；
对于二维计算形式，具体为：将所述第三转换矩阵的转置矩阵、所述中间子矩阵和所述第三转换矩阵依次相乘，得到所述输出子矩阵；
所述输出单元将所述输出子矩阵依次排列成输出特征图，输出转置卷积计算结果。
具体地，根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数，通过计算公式获取各项参数，其中计算公式为：
Figure BDA0002873050100000051
Er＝k+(r-1)×s
Or＝s×r
Sr＝r
其中，k为所述转置卷积核的尺寸参数，s为所述转置卷积的步长，r为所述转换阶数，k、s和r均为正整数，
Figure BDA0002873050100000052
为数学符号的上取整符号；
根据所述各项参数，确定所述第一转换矩阵的尺寸、所述第二转换矩阵的尺寸、所述第三转换矩阵的尺寸、所述滑动窗口的尺寸和所述滑动窗口的步长，
其中，
所述第一转换矩阵的尺寸为Er×k；
所述第二转换矩阵的尺寸为Ir×Er；
所述第三转换矩阵的尺寸为Er×Or；
在一维计算形式中，所述滑动窗口的尺寸为1×Ir；
在二维计算形式中，所述滑动窗口的尺寸为Ir×Ir；
所述滑动窗口的步长为Sr，Sr＝r。
具体地，根据所述滑动窗口的尺寸和所述滑动窗口的步长，利用滑动窗口机制在原特征图上提取多个特征图子图，以二维计算形式为例，按照滑动窗口的尺寸在原特征图上提取相同尺寸的特征图子图，如滑动窗口的尺寸为Ir×Ir，那么所提取的特征图子图的尺寸也为Ir×Ir；按照滑动窗口的步长Sr进行滑动提取，即每次在原特征图上滑动步长Sr后，提取滑动窗口所覆盖的尺寸为Ir×Ir的特征图子图，最后当滑动窗口滑过原特征图上的所有数据后，完成对特征图子图的提取。
整个转置卷积计算过程，分别对每一个特征图子图进行计算，最后将得到的输出子矩阵按照次序进行排列，进而获得输出特征图，得到转置卷积计算结果。
本申请一种高效的转置卷积计算方法，可以用公式表达，公式有两种计算形式，一维计算形式和二维计算形式。
一维计算形式表示为Tr(Or，k)，r表示转换阶数，与计算复杂度降低的程度有关，它的取值范围为正整数，具体值可以由决策者根据实际应用自行决定，Or为输出子矩阵的尺寸，k为转置卷积核的大小，具体运算过程通过以下公式表示：
Y＝AT[(H.g)⊙(PT.d)]
其中，Y为输出子矩阵，其尺寸为Or×1；d为特征图子图，其原始尺寸为1×Ir，在用上述公式计算之前，先进行转置，d转置后尺寸为Ir×1；g为转置卷积核，其原始尺寸为1×k，在用上述公式计算之前，先进行转置，g转置后尺寸为k×1；⊙表示矩阵元素一一对应相乘，所相乘的两个矩阵尺寸都为Er×1，(H.g)⊙(PT.d)的运算结果为中间子矩阵，其尺寸为Er×1；H为第一转换矩阵，H的尺寸为Er×k；P为第二转换矩阵，PT为第二转换矩阵的转置矩阵，P的尺寸为Ir×Er，PT的尺寸为Er×Ir；A为第三转换矩阵，AT为第三转换矩阵的转置矩阵，A的尺寸为Er×Or，AT的尺寸为Or×Er。Sr为滑动窗口的步长。
堆叠一维计算形式，可以得到二维计算形式，表示为
Figure BDA0002873050100000062
具体运算过程通过以下公式来表示：
Y＝AT[(H.g.HT)⊙(PT.d.P)]A
其中，Y为输出子矩阵，其尺寸为Or×Or；d为特征图子图，其尺寸为Ir×Ir；g为转置卷积核，其尺寸为k×k；⊙表示矩阵元素一一对应相乘，所相乘的两个矩阵尺寸都为Er×Er，(H.g)⊙(PT.d)的运算结果为中间子矩阵，其尺寸为Er×Er；H为第一转换矩阵，HT为第一转换矩阵H的转置矩阵，H的尺寸为Er×k，HT的尺寸为k×Er；P为第二转换矩阵，PT为第二转换矩阵P的转置矩阵，P的尺寸为Ir×Er，PT的尺寸为Er×Ir；A为第三转换矩阵，AT为第三转换矩阵A的转置矩阵，A的尺寸为Er×Or，AT的尺寸为Or×Er。Sr为滑动窗口的步长。
对于以上两种计算形式的相关参数Ir、Er、Or和Sr可以由如下计算公式获取：
Figure BDA0002873050100000061
Er＝k+(r-1)×s
Or＝s×r
Sr＝r
其中，k为所述转置卷积核的大小，s为所述转置卷积的步长，r为所述转换阶数，k、s和r均为正整数，
Figure BDA0002873050100000071
为数学符号的上取整符号。
针对不同的运算需求，上述两种计算形式可以通过控制k、s和r的大小，来控制Ir、Er、Or和Sr等参数，进而满足不同的运算需求，即基于预设的转置卷积核的尺寸参数、转置卷积的步长和转换阶数可以获取相关参数，进而确定第一转换矩阵的尺寸、第二转换矩阵的尺寸、第三转换矩阵的尺寸、滑动窗口的尺寸和滑动窗口的步长。
需要说明的是，在转置卷积的计算过程中，本技术领域人员能够按照一定的转换规则，使用转换矩阵对转置卷积计算过程中的相关矩阵进行转换，其转换规则是本技术领域人员根据实际所需预先设置，所以在第一转换矩阵的尺寸、第二转换矩阵的尺寸和第三转换矩阵的尺寸确定的前提下，本领域技术人员可以自行设置第一转换矩阵、第二转换矩阵和第三转换矩阵中所有元素的值。
作为实施例，若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×3，(k＝3)，转换阶数为1(r＝1)，采用一维计算形式，即针对T1(2，3)计算过程中，滑动窗口的尺寸为1×2，滑动窗口的步长为1，第一转换矩阵的尺寸为3×3，第二转换矩阵的尺寸为2×3，第三转换矩阵的尺寸为3×2，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000072
Figure BDA0002873050100000073
Figure BDA0002873050100000074
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为3×3(k＝3)，转换阶数为1(r＝1)，采用二维计算形式，即针对T1(22，32)计算过程中，滑动窗口的尺寸为2×2，滑动窗口的步长为1，第一转换矩阵的尺寸为3×3，第二转换矩阵的尺寸为2×3，第三转换矩阵的尺寸为3×2，此时这三个矩阵即T1(22，32)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T1(2，3)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T1(2，3)计算过程中，针对一个特征图子图中的2个数据，需执行3次乘法操作，可得到一个输出子矩阵中的2个输出值。现有的技术方案，针对一个特征图子图中的3个数据，执行3次乘法操作，只能得到1个输出值。若想要得到2个输出值，现有的技术方案总共需要执行6次乘法操作。
T1(22，32)计算过程中，针对一个特征图子图中的4个数据，需执行9(3×3)次乘法操作，可得到一个输出子矩阵中的4个输出值。现有的技术方案，针对一个特征图子图中的9个数据，执行9次乘法操作，只能得到1个输出值。若想要得到4个输出值，现有的技术方案总共需要执行36次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×3(k＝3)，转换阶数为2(r＝2)，采用一维计算形式，即针对T2(4，3)计算过程中，滑动窗口的尺寸为1×3，滑动窗口的步长为2，第一转换矩阵的尺寸为5×3，第二转换矩阵的尺寸为3×5，第三转换矩阵的尺寸为5×4，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000081
Figure BDA0002873050100000082
Figure BDA0002873050100000083
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为3×3(k＝3)，转换阶数为2(r＝2)，采用二维计算形式，即针对T2(42，32)计算过程中，滑动窗口的尺寸为3×3，滑动窗口的步长为2，第一转换矩阵的尺寸为5×3，第二转换矩阵的尺寸为3×5，第三转换矩阵的尺寸为5×4，此时这三个矩阵即T2(42，32)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T2(4，3)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T2(4，3)计算过程中，针对一个特征图子图中的3个数据，需执行5次乘法操作，可得到一个输出子矩阵中的4个输出值。现有的技术方案，针对一个特征图子图中的3个数据，执行3次乘法操作，只能得到1个输出值。若想要得到4个输出值，现有的技术方案总共需要执行12次乘法操作。
T2(42，32)计算过程中，针对一个特征图子图中的9个数据，需执行25(5×5)次乘法操作，可得到一个输出子矩阵中的16个输出值。现有的技术方案，针对一个特征图子图中的9个数据，执行9次乘法操作，只能得到1个输出值。若想要得到16个输出值，现有的技术方案总共需要执行144次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×3(k＝3)，转换阶数为3(r＝3)，采用一维计算形式，即针对T3(6，3)计算过程中，滑动窗口的尺寸为1×4，滑动窗口的步长为3，第一转换矩阵的尺寸为7×3，第二转换矩阵的尺寸为4×7，第三转换矩阵的尺寸为7×6，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000091
Figure BDA0002873050100000092
Figure BDA0002873050100000093
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为3×3(k＝3)，转换阶数为3(r＝3)，采用二维计算形式，即针对T3(62，32)计算过程中，滑动窗口的尺寸为4×4，滑动窗口的步长为3，第一转换矩阵的尺寸为7×3，第二转换矩阵的尺寸为4×7，第三转换矩阵的尺寸为7×6，此时这三个矩阵即T3(62，32)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T3(6，3)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T3(6，3)计算过程中，针对一个特征图子图中的4个数据，需执行7次乘法操作，可得到一个输出子矩阵中的6个输出值。现有的技术方案，针对一个特征图子图中的3个数据，执行3次乘法操作，只能得到1个输出值。若想要得到6个输出值，现有的技术方案总共需要执行18次乘法操作。
T3(62，32)计算过程中，针对一个特征图子图中的16个数据，需执行49(7×7)次乘法操作，可得到一个输出子矩阵中的36个输出值。现有的技术方案，针对一个特征图子图中的9个数据，执行9次乘法操作，只能得到1个输出值。若想要得到36个输出值，现有的技术方案总共需要执行324次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×4(k＝4)，转换阶数为1(r＝1)，采用一维计算形式，即针对T1(2，4)计算过程中，滑动窗口的尺寸为1×3，滑动窗口的步长为1，第一转换矩阵的尺寸为4×4，第二转换矩阵的尺寸为3×4，第三转换矩阵的尺寸为4×2，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000101
Figure BDA0002873050100000102
Figure BDA0002873050100000103
参见图3，为本申请实施例公开的针对T1(22，42)转置卷积计算的流程示意图，若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为4×4(k＝4)，转换阶数为1(r＝1)，采用二维计算形式，即针对T1(22，42)计算过程中，滑动窗口的尺寸为3×3，滑动窗口的步长为1，第一转换矩阵的尺寸为4×4，第二转换矩阵的尺寸为3×4，第三转换矩阵的尺寸为4×2，此时这三个矩阵即T1(22，42)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T1(2，4)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T1(2，4)计算过程中，针对一个特征图子图中的3个数据，需执行4次乘法操作，可得到一个输出子矩阵中的2个输出值。现有的技术方案，针对一个特征图子图中的4个数据，执行4次乘法操作，只能得到1个输出值。若想要得到2个输出值，现有的技术方案总共需要执行8次乘法操作。
T1(22，42)计算过程中，针对一个特征图子图中的9个数据，需执行16(4×4)次乘法操作，可得到一个输出子矩阵中的4个输出值。现有的技术方案，针对一个特征图子图中的16个数据，执行16次乘法操作，只能得到1个输出值。若想要得到4个输出值，现有的技术方案总共需要执行64次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×4(k＝4)，转换阶数为2(r＝2)，采用一维计算形式，即针对T2(4，4)计算过程中，滑动窗口的尺寸为1×4，滑动窗口的步长为2，第一转换矩阵的尺寸为6×4，第二转换矩阵的尺寸为4×6，第三转换矩阵的尺寸为6×4，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000104
Figure BDA0002873050100000111
Figure BDA0002873050100000112
参见图4，为本申请实施例公开的针对T2(42，42)转置卷积计算的流程示意图，若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为4×4(k＝4)，转换阶数为2(r＝2)，采用二维计算形式，即针对T2(42，42)计算过程中，滑动窗口的尺寸为4×4，滑动窗口的步长为2，第一转换矩阵的尺寸为6×4，第二转换矩阵的尺寸为4×6，第三转换矩阵的尺寸为6×4，此时这三个矩阵即T2(42，42)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T2(4，4)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T2(4，4)计算过程中，针对一个特征图子图中的4个数据，需执行6次乘法操作，可得到一个输出子矩阵中的4个输出值。现有的技术方案，针对一个特征图子图中的4个数据，执行4次乘法操作，只能得到1个输出值。若想要得到4个输出值，现有的技术方案总共需要执行16次乘法操作。
T2(42，42)计算过程中，针对一个特征图子图中的16个数据，需执行36(6×6)次乘法操作，可得到一个输出子矩阵中的16个输出值。现有的技术方案，针对一个特征图子图中的16个数据，执行16次乘法操作，只能得到1个输出值。若想要得到16个输出值，现有的技术方案总共需要执行256次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×4(k＝4)，转换阶数为3(r＝3)，采用一维计算形式，即针对T3(6，4)计算过程中，滑动窗口的尺寸为1×5，滑动窗口的步长为3，第一转换矩阵的尺寸为8×4，第二转换矩阵的尺寸为5×8，第三转换矩阵的尺寸为8×6，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000121
Figure BDA0002873050100000122
Figure BDA0002873050100000123
参见图5，为本申请实施例公开的针对T3(62，42)转置卷积计算的流程示意图，若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为4×4(k＝4)，转换阶数为3(r＝3)，采用二维计算形式，即针对T3(62，42)计算过程中，滑动窗口的尺寸为5×5，滑动窗口的步长为3，第一转换矩阵的尺寸为8×4，第二转换矩阵的尺寸为5×8，第三转换矩阵的尺寸为8×6，此时这三个矩阵即T3(62，42)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T3(6，4)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T3(6，4)计算过程中，针对一个特征图子图中的5个数据，需执行8次乘法操作，可得到一个输出子矩阵中的6个输出值。现有的技术方案，针对一个特征图子图中的4个数据，执行4次乘法操作，只能得到1个输出值。若想要得到6个输出值，现有的技术方案总共需要执行24次乘法操作。
T3(62，42)计算过程中，针对一个特征图子图中的25个数据，需执行64(8×8)次乘法操作，可得到一个输出子矩阵中的36个输出值。现有的技术方案，针对一个特征图子图中的16个数据，执行16次乘法操作，只能得到1个输出值。若想要得到36个输出值，现有的技术方案总共需要执行576次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×5(k＝5)，转换阶数为1(r＝1)，采用一维计算形式，即针对T1(2，5)计算过程中，滑动窗口的尺寸为1×3，滑动窗口的步长为1，第一转换矩阵的尺寸为5×5，第二转换矩阵的尺寸为3×5，第三转换矩阵的尺寸为5×2，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000131
Figure BDA0002873050100000132
Figure BDA0002873050100000133
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为5×5(k＝5)，转换阶数为1(r＝1)，采用二维计算形式，即针对T1(22，52)计算过程中，滑动窗口的尺寸为3×3，滑动窗口的步长为1，第一转换矩阵的尺寸为5×5，第二转换矩阵的尺寸为3×5，第三转换矩阵的尺寸为5×2，此时这三个矩阵即T1(22，52)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T1(2，5)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T1(2，5)计算过程中，针对一个特征图子图中的3个数据，需执行5次乘法操作，可得到一个输出子矩阵中的2个输出值。现有的技术方案，针对一个特征图子图中的5个数据，执行5次乘法操作，只能得到1个输出值。若想要得到2个输出值，现有的技术方案总共需要执行10次乘法操作。
T1(22，52)计算过程中，针对一个特征图子图中的9个数据，需执行25(5×5)次乘法操作，可得到一个输出子矩阵中的4个输出值。现有的技术方案，针对一个特征图子图中的25个数据，执行25次乘法操作，只能得到1个输出值。若想要得到4个输出值，现有的技术方案总共需要执行100次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为1×5(k＝5)，转换阶数为2(r＝2)，采用一维计算形式，即针对T2(4，5)计算过程中，滑动窗口的尺寸为1×4，滑动窗口的步长为2，第一转换矩阵的尺寸为7×5，第二转换矩阵的尺寸为4×7，第三转换矩阵的尺寸为7×4，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000141
Figure BDA0002873050100000142
Figure BDA0002873050100000143
若转置卷积的步长为2(s＝2)，转置卷积核的尺寸为5×5(k＝5)，转换阶数为2(r＝2)，采用二维计算形式，即针对T2(42，52)计算过程中，滑动窗口的尺寸为4×4，滑动窗口的步长为2，第一转换矩阵的尺寸为7×5，第二转换矩阵的尺寸为4×7，第三转换矩阵的尺寸为7×4，此时这三个矩阵即T2(42，52)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T2(4，5)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T2(4，5)计算过程中，针对一个特征图子图中的4个数据，需执行7次乘法操作，可得到一个输出子矩阵中的4个输出值。现有的技术方案，针对一个特征图子图中的5个数据，执行5次乘法操作，只能得到1个输出值。若想要得到4个输出值，现有的技术方案总共需要执行20次乘法操作。
T2(42，52)计算过程中，针对一个特征图子图中的16个数据，需执行49(7×7)次乘法操作，可得到一个输出子矩阵中的16个输出值。现有的技术方案，针对一个特征图子图中的25个数据，执行25次乘法操作，只能得到1个输出值。若想要得到16个输出值，现有的技术方案总共需要执行400次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为3(s＝3)，转置卷积核的尺寸为1×5(k＝5)，转换阶数为1(r＝1)，采用一维计算形式，即针对T1(3，5)计算过程中，滑动窗口的尺寸为1×3，滑动窗口的步长为1，第一转换矩阵的尺寸为5×5，第二转换矩阵的尺寸为3×5，第三转换矩阵的尺寸为5×3，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000151
Figure BDA0002873050100000152
Figure BDA0002873050100000153
若转置卷积的步长为3(s＝3)，转置卷积核的尺寸为5×5(k＝5)，转换阶数为1(r＝1)，采用二维计算形式，即针对T1(32，52)计算过程中，滑动窗口的尺寸为3×3，滑动窗口的步长为1，第一转换矩阵的尺寸为5×5，第二转换矩阵的尺寸为3×5，第三转换矩阵的尺寸为5×3，此时这三个矩阵即T1(32，52)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T1(3，5)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T1(3，5)计算过程中，针对一个特征图子图中的3个数据，需执行5次乘法操作，可得到一个输出子矩阵中的3个输出值。现有的技术方案，针对一个特征图子图中的5个数据，执行5次乘法操作，只能得到1个输出值。若想要得到3个输出值，现有的技术方案总共需要执行15次乘法操作。
T1(32，52)计算过程中，针对一个特征图子图中的9个数据，需执行25(5×5)次乘法操作，可得到一个输出子矩阵中的9个输出值。现有的技术方案，针对一个特征图子图中的25个数据，执行25次乘法操作，只能得到1个输出值。若想要得到9个输出值，现有的技术方案总共需要执行225次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
若转置卷积的步长为3(s＝3)，转置卷积核的尺寸为1×5(k＝5)，转换阶数为2(r＝2)，采用一维计算形式，即针对T2(6，5)计算过程中，滑动窗口的尺寸为1×4，滑动窗口的步长为2，第一转换矩阵的尺寸为8×5，第二转换矩阵的尺寸为4×8，第三转换矩阵的尺寸为8×6，可将第一转换矩阵、第二转换矩阵及第三转换矩阵分别设置为：
Figure BDA0002873050100000154
Figure BDA0002873050100000161
Figure BDA0002873050100000162
若转置卷积的步长为3(s＝3)，转置卷积核的尺寸为5×5(k＝5)，转换阶数为2(r＝2)，采用二维计算形式，即针对T2(62，52)计算过程中，滑动窗口的尺寸为4×4，滑动窗口的步长为2，第一转换矩阵的尺寸为8×5，第二转换矩阵的尺寸为4×8，第三转换矩阵的尺寸为8×6，此时这三个矩阵即T2(62，52)的第一转换矩阵、第二转换矩阵、第三转换矩阵与T2(6，5)的第一转换矩阵、第二转换矩阵、第三转换矩阵分别一一对应相等。
实验表明，T2(6，5)计算过程中，针对一个特征图子图中的4个数据，需执行8次乘法操作，可得到一个输出子矩阵中的6个输出值。现有的技术方案，针对一个特征图子图中的5个数据，执行5次乘法操作，只能得到1个输出值。若想要得到6个输出值，现有的技术方案总共需要执行30次乘法操作。
T2(62，52)计算过程中，针对一个特征图子图中的16个数据，需执行64(8×8)次乘法操作，可得到一个输出子矩阵中的36个输出值。现有的技术方案，针对一个特征图子图中的25个数据，执行25次乘法操作，只能得到1个输出值。若想要得到36个输出值，现有的技术方案总共需要执行900次乘法操作。因此，本发明方案提出的转置卷积计算方法极大地提高了计算效率。
由以上几个例子可以看出，在转置卷积的步长s和转置卷积核的尺寸k不变，以及采用的计算形式一样的情况下，随着转换阶数r的增大，计算效率也会逐渐增大。
本申请通过预设的转置卷积核的尺寸、转置卷积的步长和转换阶数，设置第一转换矩阵、第二转换矩阵和第三转换矩阵，进而对转置卷积核、通过滑动窗口提取的特征图子图和运算过程中获得的中间子矩阵进行转换，从而可以实现在不需要补零的操作下，只需要对原特征图进行转置卷积运算；并且提出转换阶数的设置，扩大了适用范围，进一步降低计算复杂度。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (6)

1.一种高效的转置卷积计算方法，其特征在于，所述方法包括：
基于预设的转置卷积核的尺寸参数、转置卷积的步长和转换阶数确定转置卷积总体架构；
将原特征图和所述转置卷积核输入所述转置卷积总体架构，输出转置卷积计算结果；
其中，所述转置卷积总体架构包括第一提取转换模块、转置卷积计算模块和第二转换输出模块；
所述第一提取转换模块包括提取单元、第一转换单元和第二转换单元，所述提取单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置滑动窗口的尺寸和滑动窗口的步长，然后根据所述滑动窗口的尺寸和所述滑动窗口的步长，利用滑动窗口机制在原特征图上提取多个特征图子图；所述第一转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第一转换矩阵，根据所述第一转换矩阵对所述转置卷积核进行转换，获得第二转置卷积核；所述第二转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第二转换矩阵，根据所述第二转换矩阵对所述特征图子图进行转换，获得第二特征图子矩阵；
所述转置卷积计算模块被配置为将所述第二特征图子矩阵与第二转置卷积核上的元素一一对应相乘，获得中间子矩阵；
所述第二转换输出模块被配置为包括第三转换单元和输出单元，所述第三转换单元根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第三转换矩阵，根据所述第三转换矩阵对所述中间子矩阵进行转换，获得输出子矩阵；所述输出单元将所述输出子矩阵依次排列成输出特征图，输出转置卷积计算结果。
2.根据权利要求1所述的高效的转置卷积计算方法，其特征在于，
所述根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第一转换矩阵，具体为：
根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第一转换矩阵的尺寸；
根据所述第一转换矩阵的尺寸设置所述第一转换矩阵；
所述根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第二转换矩阵，具体为：
根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第二转换矩阵的尺寸；
根据所述第二转换矩阵的尺寸设置所述第二转换矩阵；
所述根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第三转换矩阵，具体为：
根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数设置第三转换矩阵的尺寸；
根据所述第三转换矩阵的尺寸设置所述第三转换矩阵。
3.根据权利要求2所述的高效的转置卷积计算方法，其特征在于，
根据所述转置卷积核的尺寸参数、所述转置卷积的步长和所述转换阶数，通过计算公式获取各项参数，其中计算公式为：
Figure FDA0002873050090000021
Er＝k+(r-1)×s
Or＝s×r
Sr＝r
其中，k为所述转置卷积核的尺寸参数，s为所述转置卷积的步长，r为所述转换阶数，k、s和r均为正整数，
Figure FDA0002873050090000022
为数学符号的上取整符号；
根据所述各项参数，确定所述第一转换矩阵的尺寸、所述第二转换矩阵的尺寸、所述第三转换矩阵的尺寸、所述滑动窗口的尺寸和所述滑动窗口的步长，
其中，
所述第一转换矩阵的尺寸为Er×k；
所述第二转换矩阵的尺寸为Ir×Er；
所述第三转换矩阵的尺寸为Er×Or；
在一维计算形式中，所述滑动窗口的尺寸为1×Ir；
在二维计算形式中，所述滑动窗口的尺寸为Ir×Ir；
所述滑动窗口的步长为Sr，Sr＝r。
4.根据权利要求1所述的高效的转置卷积计算方法，其特征在于，所述根据所述第一转换矩阵对所述转置卷积核进行转换，获得第二转置卷积核，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第一转换矩阵和所述转置卷积核依次相乘，得到所述第二转置卷积核；
对于二维计算形式，具体为：将所述第一转换矩阵、所述转置卷积核和所述第一转换矩阵的转置矩阵依次相乘，得到所述第二转置卷积核。
5.根据权利要求1所述的高效的转置卷积计算方法，其特征在于，根据所述第二转换矩阵对所述特征图子图进行转换，获得第二特征图子矩阵，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第二转换矩阵的转置矩阵和所述特征图子图依次相乘，得到所述第二特征图子矩阵；
对于二维计算形式，具体为：将所述第二转换矩阵的转置矩阵、所述特征图子图和所述第二转换矩阵依次相乘，得到所述第二特征图子矩阵。
6.根据权利要求1所述的高效的转置卷积计算方法，其特征在于，所述根据所述第三转换矩阵对所述中间子矩阵进行转换，获得输出子矩阵，具体分为两种计算形式：一维计算形式和二维计算形式；
对于一维计算形式，具体为：将所述第三转换矩阵的转置矩阵和所述中间子矩阵依次相乘，得到所述输出子矩阵；
对于二维计算形式，具体为：将所述第三转换矩阵的转置矩阵、所述中间子矩阵和所述第三转换矩阵依次相乘，得到所述输出子矩阵。
CN202011617770.2A 2020-12-30 2020-12-30 一种高效的转置卷积计算方法 Active CN112650974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011617770.2A CN112650974B (zh) 2020-12-30 2020-12-30 一种高效的转置卷积计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011617770.2A CN112650974B (zh) 2020-12-30 2020-12-30 一种高效的转置卷积计算方法

Publications (2)

Publication Number Publication Date
CN112650974A true CN112650974A (zh) 2021-04-13
CN112650974B CN112650974B (zh) 2023-10-13

Family

ID=75364584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011617770.2A Active CN112650974B (zh) 2020-12-30 2020-12-30 一种高效的转置卷积计算方法

Country Status (1)

Country Link
CN (1) CN112650974B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023044707A1 (en) * 2021-09-24 2023-03-30 Intel Corporation Methods and apparatus to accelerate convolution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754062A (zh) * 2017-11-07 2019-05-14 上海寒武纪信息科技有限公司 卷积扩展指令的执行方法以及相关产品
CN110766128A (zh) * 2018-07-26 2020-02-07 北京深鉴智能科技有限公司 卷积计算单元、计算方法及神经网络计算平台
CN110826709A (zh) * 2019-10-18 2020-02-21 华中科技大学 一种基于三维相变存储器的3d卷积运算装置及方法
WO2020186703A1 (en) * 2019-03-20 2020-09-24 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754062A (zh) * 2017-11-07 2019-05-14 上海寒武纪信息科技有限公司 卷积扩展指令的执行方法以及相关产品
CN110766128A (zh) * 2018-07-26 2020-02-07 北京深鉴智能科技有限公司 卷积计算单元、计算方法及神经网络计算平台
WO2020186703A1 (en) * 2019-03-20 2020-09-24 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus
CN110826709A (zh) * 2019-10-18 2020-02-21 华中科技大学 一种基于三维相变存储器的3d卷积运算装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENDONG MAO等: "FTA-GAN: A Computation-Efficient Accelerator for GANs With Fast Transformation Algorithm", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》，, vol. 34, no. 6, pages 2978 - 2992, XP011941729, DOI: 10.1109/TNNLS.2021.3110728 *
吴焕: "卷积神经网络压缩与前向推理加速技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, pages 140 - 790 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023044707A1 (en) * 2021-09-24 2023-03-30 Intel Corporation Methods and apparatus to accelerate convolution

Also Published As

Publication number Publication date
CN112650974B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US11449729B2 (en) Efficient convolutional neural networks
Oraintara et al. Integer fast Fourier transform
CN113011581B (zh) 神经网络模型压缩方法、装置、电子设备及可读存储介质
Meng et al. Efficient winograd convolution via integer arithmetic
CN110222598B (zh) 一种视频行为识别方法、装置、存储介质和服务器
CN110874636B (zh) 一种神经网络模型压缩方法、装置和计算机设备
US20220164663A1 (en) Activation Compression Method for Deep Learning Acceleration
CN112650974B (zh) 一种高效的转置卷积计算方法
JP6902318B2 (ja) ニューラルネットワークの全結合層を畳み込み層に置き換えるプログラム
CN112465130A (zh) 数论变换硬件
CN112016522B (zh) 一种视频数据处理方法、系统及相关组件
CN105551007A (zh) 基于频域及谱矩阵的sar图像多层贝叶斯盲解卷积方法
JP6528349B1 (ja) 情報処理装置及び情報処理方法
CN112258410B (zh) 一种可微分的低秩学习网络图像修复方法
CN103401650B (zh) 一种(n,1,m)有误码卷积码的盲识别方法
CN115146226B (zh) 基于张量压缩方法的流数据处理方法、装置及设备
US11960565B2 (en) Add-mulitply-add convolution computation for a convolutional neural network
CN106776475A (zh) 一种三项加权分数傅里叶变换的实现装置
CN112991181B (zh) 一种基于反应扩散方程的图像超分辨率重建方法
CN110399971A (zh) 一种卷积神经网络加速方法及装置、存储介质
US20220035890A1 (en) Time Domain Unrolling Sparse Matrix Multiplication System and Method
CN112766471B (zh) 运算装置及相关产品
CN112766473B (zh) 运算装置及相关产品
CN114118344A (zh) 应用于Transformer神经网络的硬件加速器及其计算方法
CN110689119A (zh) 一种应用于深度卷积神经网络中的特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant