CN111445018A - 基于加速卷积神经网络算法的紫外成像实时信息处理方法 - Google Patents
基于加速卷积神经网络算法的紫外成像实时信息处理方法 Download PDFInfo
- Publication number
- CN111445018A CN111445018A CN202010232346.XA CN202010232346A CN111445018A CN 111445018 A CN111445018 A CN 111445018A CN 202010232346 A CN202010232346 A CN 202010232346A CN 111445018 A CN111445018 A CN 111445018A
- Authority
- CN
- China
- Prior art keywords
- data
- chip
- neural network
- convolutional neural
- integrated circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 title claims abstract description 15
- 230000010365 information processing Effects 0.000 title claims abstract description 9
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004870 electrical engineering Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
Abstract
基于加速卷积神经网络算法的紫外成像实时信息处理方法，包括：从FPGA或ASIC或其他形式的集成电路中选型；根据集成电路的片上存储的容量，从需要计算的数据中选择一部分计算数据；将一部分计算数据，卷积神经网络的权重以及卷积神经网络的偏置，通过DMA(Direct Memory Access)从内存中读取到所述片上存储中，然后通过所述集成电路片上存储的数据进行计算以加速卷积神经网络CNN，其中，对于卷积层而言，其能够多次复用输入的数据；将计算得到的数据通过合理的存储方式，安排存放到所述集成电路的片上的输出缓存中，当片上的数据复用结束，将输出缓存中的计算结果通过DMA传输到内存中；重复上述步骤，将剩余部分的数据分块传输到片上进行计算，直至选择完毕所有需要计算的数据。
Description
技术领域
本公开属于电气工程领域，涉及该领域中紫外成像仪的检测结果的数据处理，尤其涉及基于加速卷积神经网络算法的紫外成像实时信息处理方法。
背景技术
在电气工程领域，紫外成像一般采用光子倍增成像的技术，其成像原理是利用电子光学系统将紫外光转换荧光屏图像，原理如图1所示。
国内应用紫外成像手段开展电气设备状态检测的历史最早至少可以追溯至十年前，当时主要采用南非生产的CoroCAM以及以色列生产的OFIL紫外成像装置。国外的装置利用半透镜原理的日盲型紫外检测技术，巧妙的解决了日光对紫外成像的影响，使紫外光呈现在可见光的图像上，并实现放电计数，放电强度评估等功能。
虽然现有技术中已经涉及了利用神经网络来处理紫外图谱的技术，但是依然缺乏低功耗的紫外成像实时信息处理技术。
发明内容
为了解决上述技术问题，本公开揭示了一种基于加速卷积神经网络算法的紫外成像实时信息处理方法，包括以下步骤：
S100：从FPGA或ASIC或其他形式的集成电路中选型；
S200：根据所述集成电路的片上存储的容量，从需要计算的数据中选择一部分计算数据；
S300：将所述一部分计算数据，卷积神经网络的权重以及卷积神经网络的偏置，通过DMA(Direct Memory Access)从内存中读取到所述片上存储中，然后通过所述集成电路片上存储的数据进行计算以加速卷积神经网络CNN，其中，对于卷积层而言，其能够多次复用输入的数据；
S400：将计算得到的数据通过合理的存储方式，安排存放到所述集成电路的片上的输出缓存中，当片上的数据复用结束，将输出缓存中的计算结果通过DMA传输到内存中；
S500：重复上述S200至S300，将剩余部分的数据分块传输到片上进行计算，直至选择完毕所有需要计算的数据。
优选的，所述集成电路还包括输入缓存，所述剩余部分的数据事先预取到所述输入缓存。
优选的，
对于作为加速器的所述集成电路，其对加法与乘法均采用定点数运算。
由此，本公开能够在集成电路用于加速卷积神经网络领域，通过DMA(DirectMemory Access)方式存储数据以及在加速器中采用定点数进行加法与乘法运算，实现了低功耗的紫外成像实时信息处理。
附图说明
图1是本公开中简化的卷积神经网络的示意图；
图2是本公开的一个实施例的示意图。
具体实施方式
下文通过附图和文字来详细描述本公开的各个实施例。
在一个实施例中，本公开揭示了一种基于加速卷积神经网络算法的紫外成像实时信息处理方法，包括以下步骤：
S100：从FPGA或ASIC或其他形式的集成电路中选型；
S200：根据所述集成电路的片上存储的容量，从需要计算的数据中选择一部分计算数据；
S300：将所述一部分计算数据，卷积神经网络的权重以及卷积神经网络的偏置，通过DMA(Direct Memory Access)从内存中读取到所述片上存储中，然后通过所述集成电路片上存储的数据进行计算以加速卷积神经网络CNN，其中，对于卷积层而言，其能够多次复用输入的数据；
S400：将计算得到的数据通过合理的存储方式，安排存放到所述集成电路的片上的输出缓存中，当片上的数据复用结束，将输出缓存中的计算结果通过DMA传输到内存中；
S500：重复上述S200至S300，将剩余部分的数据分块传输到片上进行计算，直至选择完毕所有需要计算的数据。
为了方便理解上述实施例，参见图1和图2，
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(alternating convolutional layer)和池(化)层(pooling layer)。
卷积神经网络一般包含两部分，一部分是特征提取部分，一部分是
分类器部分。通常特征提取部分是由多个卷积层和池化层组成的。分类器部分则是由多个全连接层和分类网络组成的。图1为一个简化的卷积神经网络的结构图。图1中c1层和c3层都是卷积层，两个卷积层都分别有3个神经元；s2和s4是池化层。nn就是网络的全连接部分，也即分类器。全连接部分和传统的BP神经网络是一致的。图中转成一维向量的部分是将s4层的输出特征图由空间二维形式变为一维向量，以便送入nn中。
输入图片经过卷积层c1的三个神经元的卷积核卷积后加上偏置并进行非线性操作，就可以得到卷积层c1的输出特征图，如图1中c1层中的三个方块所示；s2主要针对c1层的特征图进行池化操作，达到缩小特征图尺寸的目的；c3层再以s2层获得的特征图为输入进行和c1层相同的操作并获得卷积后的层特征图；s4在对c3层的特征图进行池化操作；最后，由于s4层池化后的特征图可能为空间形式的，因此需要将特征图拉成一维向量形式的数据，以方便全连接层的传播，然后将数据传入全连接层。
目前，对于卷积神经网络来讲为了提高模型的性能，一般采用的方法是增加模型的层数，从而增加模型的复杂度，用较大的模型来训练并应用。然而当模型变大后，模型的参数也随之增多，带来了更高的计算需求以及存储需求，随之而来的是能耗的进一步提升以及计算时间的增加，这给实时处理带来了很大的影响。
在神经网络的计算中，我们需要存储很大数量的参数以及中间结果，以典型的卷积神经网络为例，任何一个高性能的卷积神经网络其参数的数量都十分巨大，无法直接放到FPGA等集成电路的片上存储中，因此必须将参数以及中间结果放到内存里，即片外的数据存储器中。因此对于计算过程能量的消耗大多都浪费在了对内存的存取上。
正是因此，所以上述实施例创造性的将数据一部分的逐次处理，并且采取DMA的方式，同时充分考虑到如何利用数据复用作为有利的一面：我们通过对卷积神经网络的计算特点分析发现，对于卷积层而言，输入的数据是可以进行复用的。
因此，为了减少在内存存取上浪费的能耗，同时也是为了能够充分利用FPGA等的片上资源，将卷积神经网络中：需要计算的部分数据、权重以及偏置通过DMA(DirectMemory Access)从内存中读取到片上存储中进行运算，并多次复用输入的数据，将计算得到的数据通过合理的存储安排存放到片上的输出缓存中，当片上的数据复用结束，将输出缓存中的计算结果通过DMA传输到内存中，然后再重复上述操作，将剩余部分的数据分块传输到片上进行计算。
也就是说，上述实施例大大减少了对于内存的访问次数，从而节省了大量的能量。这是因为，无论是定点还是浮点计算，其能量消耗都远远小于频繁访问片外数据存储器，即内存所带来的消耗。
在另一个实施例中，所述集成电路还包括输入缓存，所述剩余部分的数据事先预取到所述输入缓存。
在另一个实施例中，
对于作为加速器的所述集成电路，其对加法与乘法均采用定点数运算。
就该实施例而言，我们考虑到充分利用定点数计算的消耗要小于浮点数计算的消耗这一点，所以将加法和乘法均采用定点数运算。
在另一个实施例中，
为了最大化避免采用定点数运算所带来的精度损失，对算法所用的网络进行量化压缩，在不损失精度的前提下，把算法中原模型中双精度浮点的权重、数据以及偏置量，通过量化的方法以更少位数的定点数来表示。
显而易见的，经过这样的进一步创新操作，本公开将网络的参数所占的空间减少了数倍，减小了算法运算过程中对于带宽的需求。
在另一个实施例中，
也可以通过增大片上缓存大小的方法，进一步减少对内存的存取操作的次数，节约能耗。
综上，本公开通过DMA(Direct Memory Access)方式存储数据以及在加速器中采用定点数进行加法与乘法运算，实现了低功耗的紫外成像实时信息处理。
以上所述，以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开的各实施例技术方案的范围。
Claims (3)
1.基于加速卷积神经网络算法的紫外成像实时信息处理方法，包括以下步骤：
S100：从FPGA或ASIC或其他形式的集成电路中选型；
S200：根据所述集成电路的片上存储的容量，从需要计算的数据中选择一部分计算数据；
S300：将所述一部分计算数据，卷积神经网络的权重以及卷积神经网络的偏置，通过DMA(Direct Memory Access)从内存中读取到所述片上存储中，然后通过所述集成电路片上存储的数据进行计算以加速卷积神经网络CNN，其中，对于卷积层而言，其能够多次复用输入的数据；
S400：将计算得到的数据通过合理的存储方式，安排存放到所述集成电路的片上的输出缓存中，当片上的数据复用结束，将输出缓存中的计算结果通过DMA传输到内存中；
S500：重复上述S200至S300，将剩余部分的数据分块传输到片上进行计算，直至选择完毕所有需要计算的数据。
2.根据权利要求1所述的方法，其中：
优选的，所述集成电路还包括输入缓存，所述剩余部分的数据事先预取到所述输入缓存。
3.根据权利要求1所述的方法，其中：
对于作为加速器的所述集成电路，其对加法与乘法均采用定点数运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010232346.XA CN111445018B (zh) | 2020-03-27 | 2020-03-27 | 基于加速卷积神经网络算法的紫外成像实时信息处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010232346.XA CN111445018B (zh) | 2020-03-27 | 2020-03-27 | 基于加速卷积神经网络算法的紫外成像实时信息处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111445018A true CN111445018A (zh) | 2020-07-24 |
| CN111445018B CN111445018B (zh) | 2023-11-14 |
Family
ID=71651350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010232346.XA Active CN111445018B (zh) | 2020-03-27 | 2020-03-27 | 基于加速卷积神经网络算法的紫外成像实时信息处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445018B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239824A (zh) * | 2016-12-05 | 2017-10-10 | 北京深鉴智能科技有限公司 | 用于实现稀疏卷积神经网络加速器的装置和方法 |
| US20170316312A1 (en) * | 2016-05-02 | 2017-11-02 | Cavium, Inc. | Systems and methods for deep learning processor |
| CN109102065A (zh) * | 2018-06-28 | 2018-12-28 | 广东工业大学 | 一种基于PSoC的卷积神经网络加速器 |
| CN109360146A (zh) * | 2018-08-22 | 2019-02-19 | 国网甘肃省电力公司 | 基于深度卷积对抗生成网络dcgan的双光图像融合模型 |
| US20190095730A1 (en) * | 2017-09-25 | 2019-03-28 | Beijing University Of Posts And Telecommunications | End-To-End Lightweight Method And Apparatus For License Plate Recognition |
| CN109871949A (zh) * | 2017-12-22 | 2019-06-11 | 泓图睿语（北京）科技有限公司 | 卷积神经网络加速器及加速方法 |
| CN109948784A (zh) * | 2019-01-03 | 2019-06-28 | 重庆邮电大学 | 一种基于快速滤波算法的卷积神经网络加速器电路 |
| US20190244080A1 (en) * | 2018-02-02 | 2019-08-08 | Wisconsin Alumni Research Foundation | Neural Network Processor with On-Chip Convolution Kernel Storage |
| CN110287354A (zh) * | 2019-05-16 | 2019-09-27 | 中国科学院西安光学精密机械研究所 | 一种基于多模态神经网络的高分遥感图像语义理解方法 |
| CN110348574A (zh) * | 2019-07-17 | 2019-10-18 | 哈尔滨理工大学 | 一种基于zynq的通用卷积神经网络加速结构及设计方法 |
| CN110490312A (zh) * | 2019-07-10 | 2019-11-22 | 福州瑞芯微电子股份有限公司 | 一种池化计算方法和电路 |
| CN110569889A (zh) * | 2019-08-21 | 2019-12-13 | 广西电网有限责任公司电力科学研究院 | 一种基于l2归一化的卷积神经网络图象分类方法 |
| CN110782022A (zh) * | 2019-10-31 | 2020-02-11 | 福州大学 | 一种面向可编程逻辑器件移动终端的小型神经网络的实现方法 |
| CN110852428A (zh) * | 2019-09-08 | 2020-02-28 | 天津大学 | 基于fpga的神经网络加速方法和加速器 |
-
2020
- 2020-03-27 CN CN202010232346.XA patent/CN111445018B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316312A1 (en) * | 2016-05-02 | 2017-11-02 | Cavium, Inc. | Systems and methods for deep learning processor |
| US20180157969A1 (en) * | 2016-12-05 | 2018-06-07 | Beijing Deephi Technology Co., Ltd. | Apparatus and Method for Achieving Accelerator of Sparse Convolutional Neural Network |
| CN107239824A (zh) * | 2016-12-05 | 2017-10-10 | 北京深鉴智能科技有限公司 | 用于实现稀疏卷积神经网络加速器的装置和方法 |
| US20190095730A1 (en) * | 2017-09-25 | 2019-03-28 | Beijing University Of Posts And Telecommunications | End-To-End Lightweight Method And Apparatus For License Plate Recognition |
| CN109871949A (zh) * | 2017-12-22 | 2019-06-11 | 泓图睿语（北京）科技有限公司 | 卷积神经网络加速器及加速方法 |
| US20190244080A1 (en) * | 2018-02-02 | 2019-08-08 | Wisconsin Alumni Research Foundation | Neural Network Processor with On-Chip Convolution Kernel Storage |
| CN109102065A (zh) * | 2018-06-28 | 2018-12-28 | 广东工业大学 | 一种基于PSoC的卷积神经网络加速器 |
| CN109360146A (zh) * | 2018-08-22 | 2019-02-19 | 国网甘肃省电力公司 | 基于深度卷积对抗生成网络dcgan的双光图像融合模型 |
| CN109948784A (zh) * | 2019-01-03 | 2019-06-28 | 重庆邮电大学 | 一种基于快速滤波算法的卷积神经网络加速器电路 |
| CN110287354A (zh) * | 2019-05-16 | 2019-09-27 | 中国科学院西安光学精密机械研究所 | 一种基于多模态神经网络的高分遥感图像语义理解方法 |
| CN110490312A (zh) * | 2019-07-10 | 2019-11-22 | 福州瑞芯微电子股份有限公司 | 一种池化计算方法和电路 |
| CN110348574A (zh) * | 2019-07-17 | 2019-10-18 | 哈尔滨理工大学 | 一种基于zynq的通用卷积神经网络加速结构及设计方法 |
| CN110569889A (zh) * | 2019-08-21 | 2019-12-13 | 广西电网有限责任公司电力科学研究院 | 一种基于l2归一化的卷积神经网络图象分类方法 |
| CN110852428A (zh) * | 2019-09-08 | 2020-02-28 | 天津大学 | 基于fpga的神经网络加速方法和加速器 |
| CN110782022A (zh) * | 2019-10-31 | 2020-02-11 | 福州大学 | 一种面向可编程逻辑器件移动终端的小型神经网络的实现方法 |
Non-Patent Citations (3)
| Title |
|---|
| SEUNGSIK MOON: "FPGA-Based Sparsity-Aware CNN Accelerator for Noise-Resilient Edge-Level Image Recognition", 《2019 IEEE ASIAN SOLID-STATE CIRCUITS CONFERENCE (A-SSCC)》, pages 205 - 208 * |
| 杨照光 等: "基于稀疏表示法的绝缘子单片红外图谱的故障诊断方法", 《电瓷避雷器》, pages 218 - 222 * |
| 靳晶晶 等: "基于卷积神经网络的图像识别算法研究", 《通信与信息技术》, pages 76 - 81 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111445018B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102065B (zh) | 一种基于PSoC的卷积神经网络加速器 | |
| US10942986B2 (en) | Hardware implementation of convolutional layer of deep neural network | |
| US10459876B2 (en) | Performing concurrent operations in a processing element | |
| US11003985B2 (en) | Convolutional neural network system and operation method thereof | |
| CN109063825B (zh) | 卷积神经网络加速装置 | |
| CN109214504B (zh) | 一种基于fpga的yolo网络前向推理加速器设计方法 | |
| CN108665063B (zh) | 用于bnn硬件加速器的双向并行处理卷积加速系统 | |
| KR102335955B1 (ko) | 컨볼루션 신경망 시스템 및 그것의 동작 방법 | |
| KR20180083030A (ko) | 이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작 방법 | |
| CN108629406B (zh) | 用于卷积神经网络的运算装置 | |
| Park et al. | 9.3 a 40nm 4.81 TFLOPS/W 8b floating-point training processor for non-sparse neural networks using shared exponent bias and 24-way fused multiply-add tree | |
| CN111240746B (zh) | 一种浮点数据反量化及量化的方法和设备 | |
| Shahshahani et al. | Memory optimization techniques for fpga based cnn implementations | |
| CN112734020A (zh) | 卷积神经网络的卷积乘累加硬件加速装置、系统以及方法 | |
| CN111882053B (zh) | 一种基于拼接卷积的神经网络模型压缩方法 | |
| CN110110852B (zh) | 一种深度学习网络移植到fpag平台的方法 | |
| CN110598844A (zh) | 一种基于fpga的并行卷积神经网络加速器及加速方法 | |
| Li et al. | High-performance convolutional neural network accelerator based on systolic arrays and quantization | |
| US20210044303A1 (en) | Neural network acceleration device and method | |
| CN108647780B (zh) | 面向神经网络的可重构池化操作模块结构及其实现方法 | |
| Shu et al. | High energy efficiency FPGA-based accelerator for convolutional neural networks using weight combination | |
| CN114462587A (zh) | 一种用于光电混合计算神经网络的fpga实现方法 | |
| CN110874627A (zh) | 数据处理方法、数据处理装置及计算机可读介质 | |
| WO2023109748A1 (zh) | 一种神经网络的调整方法及相应装置 | |
| CN109948787B (zh) | 用于神经网络卷积层的运算装置、芯片及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |