CN108647776A - 一种卷积神经网络卷积膨胀处理电路及方法 - Google Patents

一种卷积神经网络卷积膨胀处理电路及方法 Download PDF

Info

Publication number
CN108647776A
CN108647776A CN201810431351.6A CN201810431351A CN108647776A CN 108647776 A CN108647776 A CN 108647776A CN 201810431351 A CN201810431351 A CN 201810431351A CN 108647776 A CN108647776 A CN 108647776A
Authority
CN
China
Prior art keywords
convolution
module
expansion
neural networks
characteristic pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810431351.6A
Other languages
English (en)
Inventor
王子彤
姜凯
聂林川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201810431351.6A priority Critical patent/CN108647776A/zh
Publication of CN108647776A publication Critical patent/CN108647776A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网络卷积膨胀处理电路及方法，属于人工智能数据处理技术领域。本发明的卷积神经网络卷积膨胀处理电路包括特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块和控制模块，卷积计算阵列包括若干卷积基本计算单元，特征图输入拆分模块、卷积核输入缓冲模块分别与卷积计算阵列相连接，卷积计算阵列与输出填充组合模块相连接，控制模块与特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块分别连接。该发明的卷积神经网络卷积膨胀处理电路无需增加复杂的单元互联及缓存空间，可以节省大量逻辑资源、布线资源及存储资源，处理不同膨胀系数的卷积运算，具有很好的推广应用价值。

Description

一种卷积神经网络卷积膨胀处理电路及方法
技术领域
本发明涉及人工智能数据处理技术领域，具体提供一种卷积神经网络卷积膨胀处理电路及方法。
背景技术
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，是近年发展起来并引起广泛重视的一种高效识别方法。卷积神经网络的人工神经元可以响应一部分覆盖范围内的周围单元，避免了对图像的复杂前期预处理，可以直接输入原始图像，对于大型图像处理有出色表现。
如附图1所示，卷积核膨胀是将卷积核扩张到膨胀尺度约束的尺度中，并将原卷积核没有占用的区域填充零。通过卷积核膨胀，可以利用已经训练好的模型进行微调，优化网络结构，避免过拟合。
目前在移动端卷积神经网络移植中，一般采用微处理器＋操作系统＋CNN框架模式或专用人工智能处理电路的模式实现。后者一般受限于片上存储与计算资源，往往设计一种通用结构以适应卷积神经网络模型中大多数的数据计算，但对于一些特定计算，如规模较大的膨胀卷积核卷积计算，需要消耗大量基本单元，且单元之间的数据互连会非常复杂。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种无需增加复杂的单元互联及缓存空间，可以节省大量逻辑资源、布线资源及存储资源，可以处理不同膨胀系数的卷积运算，灵活方便的卷积神经网络卷积膨胀处理电路。
本发明进一步的技术任务是提供一种卷积神经网络卷积膨胀处理方法。
为实现上述目的，本发明提供了如下技术方案：
一种卷积神经网络卷积膨胀处理电路，包括特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块和控制模块，所述卷积计算阵列包括若干卷积基本计算单元，特征图输入拆分模块、卷积核输入缓冲模块分别与卷积计算阵列相连接，卷积计算阵列与输出填充组合模块相连接，控制模块与特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块分别连接。
所述卷积基本计算单元为，以特定结构实现的能够计算输入矩阵卷积的硬件单元，如脉动阵列、“树型”计算单元等，一般以3x3、5x5为基本单元大小。
作为优选，所述特征图输入拆分模块用于根据卷积核膨胀系数及卷积基本计算单元实现形式，将特征图输入各位置的值分类，拆分成若干子特征图输入，并分别送入卷积计算阵列。
作为优选，所述卷积核输入缓冲模块用于接收膨胀前卷积核各数值，并分别送入卷积计算阵列。
作为优选，所述卷积计算阵列的卷积基本计算单元的数量与膨胀系数一致，用于计算拆分后各子特征图输入与膨胀前卷积核的卷积值，各卷积结果送入输出填充组合模块。
作为优选，所述输出填充组合模块用于将输入的各子特征图卷积计算结果，填充组合成输出形式输出。
作为优选，所述特征图输入拆分模块根据膨胀系数将卷积核扩展。
一种卷积神经网络卷积膨胀处理方法，所述方法包括以下步骤：
S1：使用膨胀系数将输入卷积核膨胀扩展，得到膨胀后的卷积核非零有效值的相对位置距离；
S2：根据所述相对位置距离将输入特征图拆分为若干子特征图输入；
S3：利用卷积基本计算单元对每类子特征图输入进行卷积计算；
S4：根据所述相对位置距离将各卷积结果填充组合为最终特征图输出结果。
作为优选，所述特征图拆分方式为，根据膨胀系数将卷积核扩展，从输入特征图最左上位置开始选取，以膨胀后的卷积核非零有效值相对位置距离为横和纵间隔，选取下一点，组成同一子特征图输入。
作为优选，所述填充组合方式为从应得到的输出特征图最上位置开始选取，以膨胀后的卷积核非零有效值的相对位置距离为横和纵间隔，将同一特征图输入得到的卷积结果填充，多种子特征图输入得到的卷积结果组合成最终卷积结果。
与现有技术相比，本发明的卷积神经网络卷积膨胀处理电路具有以下突出的有益效果：所述卷积神经网络卷积膨胀处理电路充分利用膨胀卷积核的离散有效特征，将特征图输入拆分成相应的自特征图输入，通过卷积基本处理单元，分别与卷积核有效值进行卷积计算，将得到的结果填充组合成最终特征图输出，保证卷积计算的精度与正确性，无需增加复杂的单元互联及缓存空间，可节省大量逻辑资源、布线资源及存储资源，可以用来处理不同膨胀系数的卷积计算，灵活方便，具有良好的推广应用价值。
附图说明
图1是现有技术中卷积核膨胀示意图；
图2是本发明所述卷积神经网络卷积膨胀处理电路的拓扑图；
图3是本发明所述卷积神经网络卷积膨胀处理方法的卷积核膨胀示意图；
图4是本发明所述输入特征图拆分示意图；
图5是本发明自特征图输入卷积计算示意图。
具体实施方式
下面将结合附图和实施例，对本发明的卷积神经网络卷积膨胀处理电路及方法作进一步详细说明。
实施例
如图2所示，本发明的卷积神经网络卷积膨胀处理电路，包括特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块和控制模块。卷积计算阵列包括若干卷积基本计算单元。
特征图输入拆分模块、卷积核输入缓冲模块分别与卷积计算阵列相连接。特征图输入拆分模块用于根据卷积核膨胀系数及卷积基本计算单元实现形式，将特征图输入各位置的值分类，拆分成若干子特征图输入，并分别送入卷积计算阵列。卷积核输入缓冲模块用于接收膨胀前卷积核各数值，并分别送入卷积计算阵列。卷积基本计算单元数量由膨胀系数决定，用于计算拆分后的各子特征图输入与膨胀前卷积核的卷积值，各卷积结果送入所述输出填充组合模块。卷积计算阵列与输出填充组合模块相连接。输出填充组合模块用于将输入的各子特征图卷积计算结果，填充组合成输出形式输出。
控制模块与特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块分别连接。控制模块用于卷积过程各模块控制，并根据膨胀系数输入给出拆分及填充组合方式。
如图3、图4和图5所示，本发明的卷积神经网络卷积膨胀处理方法的过程为：
S1：使用膨胀系数3将输入卷积核（3x3）膨胀扩展，得到膨胀后的卷积核非零有效值的相对位置距离。
S2：根据相对位置距离将输入特征图（11x11）拆分为若干子特征图输入，每隔两个点为同一类型的特征图输入点，共划分为a，b，c，d，e，f，g，h，i共9种类型。
S3：利用卷积基本计算单元（3x3）对每类子特征图输入进行卷积计算。
S4：根据相对位置距离将各类卷积结果填充组合为最终特征图输出结果（5x5）。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (9)

1.一种卷积神经网络卷积膨胀处理电路，其特征在于：包括特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块和控制模块，所述卷积计算阵列包括若干卷积基本计算单元，特征图输入拆分模块、卷积核输入缓冲模块分别与卷积计算阵列相连接，卷积计算阵列与输出填充组合模块相连接，控制模块与特征图输入拆分模块、卷积核输入缓冲模块、卷积计算阵列、输出填充组合模块分别连接。
2.根据权利要求1所述的卷积神经网络卷积膨胀处理电路，其特征在于：所述特征图输入拆分模块用于根据卷积核膨胀系数及卷积基本计算单元实现形式，将特征图输入各位置的值分类，拆分成若干子特征图输入，并分别送入卷积计算阵列。
3.根据权利要求1或2所述的卷积神经网络卷积膨胀处理电路，其特征在于：所述卷积核输入缓冲模块用于接收膨胀前卷积核各数值，并分别送入卷积计算阵列。
4.根据权利要求3所述的卷积神经网络卷积膨胀处理电路，其特征在于：所述卷积计算阵列的卷积基本计算单元的数量与膨胀系数一致，用于计算拆分后各子特征图输入与膨胀前卷积核的卷积值，各卷积结果送入输出填充组合模块。
5.根据权利要求4所述的卷积神经网络卷积膨胀处理电路，其特征在于：所述输出填充组合模块用于将输入的各子特征图卷积计算结果，填充组合成输出形式输出。
6.根据权利要求5所述的卷积神经网络卷积膨胀处理电路，其特征在于：所述特征图输入拆分模块根据膨胀系数将卷积核扩展。
7.一种卷积神经网络卷积膨胀处理方法，其特征在于：所述方法包括以下步骤：
S1：使用膨胀系数将输入卷积核膨胀扩展，得到膨胀后的卷积核非零有效值的相对位置距离；
S2：根据所述相对位置距离将输入特征图拆分为若干子特征图输入；
S3：利用卷积基本计算单元对每类子特征图输入进行卷积计算；
S4：根据所述相对位置距离将各卷积结果填充组合为最终特征图输出结果。
8.根据权利要求7所述的卷积神经网络卷积膨胀处理方法，其特征在于：所述特征图拆分方式为，根据膨胀系数将卷积核扩展，从输入特征图最左上位置开始选取，以膨胀后的卷积核非零有效值相对位置距离为横和纵间隔，选取下一点，组成同一子特征图输入。
9.根据权利要求7或8所述的卷积神经网络卷积膨胀处理方法，其特征在于：所述填充组合方式为从应得到的输出特征图最上位置开始选取，以膨胀后的卷积核非零有效值的相对位置距离为横和纵间隔，将同一特征图输入得到的卷积结果填充，多种子特征图输入得到的卷积结果组合成最终卷积结果。
CN201810431351.6A 2018-05-08 2018-05-08 一种卷积神经网络卷积膨胀处理电路及方法 Pending CN108647776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810431351.6A CN108647776A (zh) 2018-05-08 2018-05-08 一种卷积神经网络卷积膨胀处理电路及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810431351.6A CN108647776A (zh) 2018-05-08 2018-05-08 一种卷积神经网络卷积膨胀处理电路及方法

Publications (1)

Publication Number Publication Date
CN108647776A true CN108647776A (zh) 2018-10-12

Family

ID=63749816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810431351.6A Pending CN108647776A (zh) 2018-05-08 2018-05-08 一种卷积神经网络卷积膨胀处理电路及方法

Country Status (1)

Country Link
CN (1) CN108647776A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615059A (zh) * 2018-11-06 2019-04-12 海南大学 一种卷积神经网络中边缘填充和滤波器膨胀运算方法及系统
CN110008949A (zh) * 2019-01-24 2019-07-12 华南理工大学 一种图像目标检测方法、系统、装置和存储介质
CN110543849A (zh) * 2019-08-30 2019-12-06 北京市商汤科技开发有限公司 检测器的配置方法及装置、电子设备和存储介质
WO2020107847A1 (zh) * 2018-11-28 2020-06-04 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN111860809A (zh) * 2020-06-18 2020-10-30 清华大学 采用伪单元填充图像传感芯片进行首层卷积层处理的方法
CN113610223A (zh) * 2021-08-03 2021-11-05 安谋科技（中国）有限公司 乘法电路、卷积运算方法、介质、片上系统和电子设备
WO2021226782A1 (zh) * 2020-05-11 2021-11-18 深圳市大疆创新科技有限公司 卷积计算装置、方法和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447030A (zh) * 2016-08-30 2017-02-22 深圳市诺比邻科技有限公司 卷积神经网络的计算资源优化方法及系统
CN107437110A (zh) * 2017-07-11 2017-12-05 中国科学院自动化研究所 卷积神经网络的分块卷积优化方法及装置
CN107451654A (zh) * 2017-07-05 2017-12-08 深圳市自行科技有限公司 卷积神经网络的加速运算方法、服务器及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447030A (zh) * 2016-08-30 2017-02-22 深圳市诺比邻科技有限公司 卷积神经网络的计算资源优化方法及系统
CN107451654A (zh) * 2017-07-05 2017-12-08 深圳市自行科技有限公司 卷积神经网络的加速运算方法、服务器及存储介质
CN107437110A (zh) * 2017-07-11 2017-12-05 中国科学院自动化研究所 卷积神经网络的分块卷积优化方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615059A (zh) * 2018-11-06 2019-04-12 海南大学 一种卷积神经网络中边缘填充和滤波器膨胀运算方法及系统
CN109615059B (zh) * 2018-11-06 2020-12-25 海南大学 一种卷积神经网络中边缘填充和滤波器膨胀运算方法及系统
WO2020107847A1 (zh) * 2018-11-28 2020-06-04 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN110008949A (zh) * 2019-01-24 2019-07-12 华南理工大学 一种图像目标检测方法、系统、装置和存储介质
CN110543849A (zh) * 2019-08-30 2019-12-06 北京市商汤科技开发有限公司 检测器的配置方法及装置、电子设备和存储介质
CN110543849B (zh) * 2019-08-30 2022-10-04 北京市商汤科技开发有限公司 检测器的配置方法及装置、电子设备和存储介质
WO2021226782A1 (zh) * 2020-05-11 2021-11-18 深圳市大疆创新科技有限公司 卷积计算装置、方法和计算机存储介质
CN111860809A (zh) * 2020-06-18 2020-10-30 清华大学 采用伪单元填充图像传感芯片进行首层卷积层处理的方法
CN111860809B (zh) * 2020-06-18 2024-03-15 清华大学 采用填充后图像传感芯片进行首层卷积层处理的方法
CN113610223A (zh) * 2021-08-03 2021-11-05 安谋科技（中国）有限公司 乘法电路、卷积运算方法、介质、片上系统和电子设备
CN113610223B (zh) * 2021-08-03 2023-12-26 安谋科技（中国）有限公司 乘法电路、卷积运算方法、介质、片上系统和电子设备

Similar Documents

Publication Publication Date Title
CN108647776A (zh) 一种卷积神经网络卷积膨胀处理电路及方法
CN106022468B (zh) 人工神经网络处理器集成电路及该集成电路的设计方法
CN109003132B (zh) 广告推荐方法及相关产品
US20180157969A1 (en) Apparatus and Method for Achieving Accelerator of Sparse Convolutional Neural Network
CN108108809B (zh) 一种针对卷积神经元网络进行推理加速的硬件架构及其工作方法
CN205139973U (zh) 基于fpga器件构建的bp神经网络
CN111860828B (zh) 一种神经网络的训练方法、存储介质和设备
CN106951926A (zh) 一种混合架构的深度学习系统方法及装置
CN107918794A (zh) 基于计算阵列的神经网络处理器
CN112633490B (zh) 执行神经网络模型的数据处理装置、方法及相关产品
WO2019136764A1 (zh) 卷积器及其所应用的人工智能处理装置
CN107766292B (zh) 一种神经网络处理方法及处理系统
CN108665063A (zh) 用于bnn硬件加速器的双向并行处理卷积加速系统
CN110276447A (zh) 一种计算装置及方法
WO2019001323A1 (zh) 信号处理的系统和方法
Struharik et al. Conna–compressed cnn hardware accelerator
CN109657711A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN109992742A (zh) 一种信号处理方法及装置
CN110059809A (zh) 一种计算装置及相关产品
Maisano et al. Reducing complexity of 3D indoor object detection
CN107247944B (zh) 基于深度学习的人脸检测速度优化方法及装置
KR20240035999A (ko) 뉴럴 프로세싱 유닛 및 컴퓨트-인-메모리 프로세싱 엘리먼트들을 사용한 하이브리드 머신 러닝 아키텍처
CN113962378A (zh) 一种基于rs数据流的卷积硬件加速器及其方法
Wu et al. An energy-efficient accelerator with relative-indexing memory for sparse compressed convolutional neural network
CN110472700B (zh) 一种基于卷积神经网络的参数填充方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012