CN105956660A - 一种用于实时图像识别的神经元网络芯片实现方法 - Google Patents
一种用于实时图像识别的神经元网络芯片实现方法 Download PDFInfo
- Publication number
- CN105956660A CN105956660A CN201610320676.8A CN201610320676A CN105956660A CN 105956660 A CN105956660 A CN 105956660A CN 201610320676 A CN201610320676 A CN 201610320676A CN 105956660 A CN105956660 A CN 105956660A
- Authority
- CN
- China
- Prior art keywords
- fpga
- chip
- arithmetic element
- data
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
Abstract
本发明公开一种用于实时图像识别的神经元网络芯片实现方法,属于图像识别芯片技术领域；根据实际需要方便快速完成神经网络模型选择和配置；基于FPGA实现通用神经网络芯片，后期根据编译平台提供的FPGA重构数据完成芯片中神经网络的生成，硬件平台可以方便快速的完成多种神经网络的实现，该方法可以大幅度提高用于实时图像识别的神经网络芯片的开发效率，使芯片设计具有可拓展性好、可灵活修改等特点，大幅降低芯片开发难度，提高项目推进速度。
Description
技术领域
本发明公开一种神经元网络芯片实现方法,属于图像识别芯片技术领域，具体地说是一种用于实时图像识别的神经元网络芯片实现方法。
背景技术
目前，由于现场图像实时处理的需要，机器视觉技术越来越多地借助硬件来完成，如DSP芯片、专用图像信号处理卡等。但是，DSP做图像处理也面临着由于数据存储与处理量大，导致处理速度较慢，系统实时性较差的情况时有发生，而且原始图像识别算法的模式不能识别图片中有部分变化的识别目标，通用性较差，识别成功度较低，使用范围受限制，不能完成图片翻译、物体识别、人脸模糊识别等功能。
本发明提供一种用于实时图像识别的神经元网络芯片实现方法，该方法设计实现的实时图像识别芯片系统用于实时视频图像处理、人脸识别和图像物体识别等领域。基于FPGA，根据编译平台提供的FPGA重构数据完成芯片中神经网络的生成，硬件平台可以方便快速的完成多种神经网络的实现，利用本发明方法可以大幅度提高实时图像识别的神经网络芯片的开发效率。
其中卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
发明内容
本发明针对现有技术中实时图像处理系统的资源需求大、实时性较差的问题，提供一种用于实时图像识别的神经元网络芯片实现方法，可以大幅度提高实时图像识别的神经网络芯片的开发效率。
本发明提出的具体方案是：
一种用于实时图像识别的神经元网络芯片实现方法：
设置自动化编译平台，用于图像识别的卷积神经网络形成神经网络模型库，
根据应用需求使用自动化编译平台完成神经网络的训练，并提取神经网络的结构和信息，利用信息形成重构FPGA的控制数据，
构建FPGA实现：根据接收的编译平台的控制数据，完成FPGA内部各运算单元的连接和快速配置，完成控制信号和数据信号通路的连通，使运算数据快速输入各运算单元，
神经元网络芯片的生成：根据需要配置的神经网络，使用需要识别的图像进行训练，训练完成后使用编译平台，得到FPGA重构数据，将FPGA实现下载到芯片中，生成通用神经网络芯片，并将重构数据输入FPGA芯片。
所述构建FPGA实现，其中FPGA包括控制模块、数据传输模块、运算模块，
控制模块用于根据接收的编译平台控制数据，完成FPGA内部各运算单元的连接，
数据传输模块用于FPGA内部各运算单元的快速配置，完成控制信号和数据信号通路的连通，使运算数据快速输入各运算单元，
运算模块构成神经元节点，各个运算模块连接形成神经网络。
所述控制模块包括FPGA内的软核CPU，存储模块， FPGA内部互联总线控制单元。
所述数据传输模块包括DMA模块和多路选择器网络，DMA模块完成芯片内各运算单元的多路选择器网络的快速配置，完成控制信号和数据信号通路的连通，DMA模块与多路选择器网络配合将运算数据输入各运算单元。
所述运算模块包括累加运算单元、乘运算单元、求余运算单元、归一化运算单元，各运算单元通过可配置互联线进行连接，不同的连接对应输入数据的不同处理流程。
所述神经网络信息主要包括：神经网络层数，每层神经元节点数目，每个神经元节点的运算类型和权重。
控制数据结构主要包括：目的DMA PORT地址，连通运算单元对地址，运算单元运算类型，运算单元权重。
本发明的有益之处是：
本方法针对现有实时图像处理系统的资源需求大、实时性较差的特点，提出了一种用于实时图像识别的神经元网络芯片实现方法。该方法根据实际需要方便快速完成神经网络模型选择和配置；基于FPGA实现通用神经网络芯片，后期根据编译平台提供的FPGA重构数据完成芯片中神经网络的生成，硬件平台可以方便快速的完成多种神经网络的实现，该方法可以大幅度提高用于实时图像识别的神经网络芯片的开发效率，使芯片设计具有可拓展性好、可灵活修改等特点，大幅降低芯片开发难度，提高项目推进速度。
附图说明
图1本发明方法框架流程示意图；
图2本发明神经元芯片的硬件实现示意图。
具体实施方式
一种用于实时图像识别的神经元网络芯片实现方法：
设置自动化编译平台，用于图像识别的卷积神经网络形成神经网络模型库，
根据应用需求使用自动化编译平台完成神经网络的训练，并提取神经网络的结构和信息，利用信息形成重构FPGA的控制数据，
构建FPGA实现：根据接收的编译平台的控制数据，完成FPGA内部各运算单元的连接和快速配置，完成控制信号和数据信号通路的连通，使运算数据快速输入各运算单元，
神经元网络芯片的生成：根据需要配置的神经网络，使用需要识别的图像进行训练，训练完成后使用编译平台，得到FPGA重构数据，将FPGA实现下载到芯片中，生成通用神经网络芯片，并将重构数据输入FPGA芯片。
根据上述方法，结合附图对本发明做进一步说明。
利用本发明方法，其中使用python脚本语言调用numpy，设置自动化编译平台，用于图像识别的卷积神经网络形成可配置神经网络规模、输入输出节点数的神经网络模型库，或者同时，也可以编写多种深度学习算法的函数库，使用户可以根据实际需要自行完成特定的神经网络模型；
根据应用需求使用自动化编译平台完成神经网络的训练，并提取神经网络的结构和信息，利用信息形成重构FPGA的控制数据，其中信息主要包括：神经网络层数，每层神经元节点数目，每个神经元节点的运算类型和权重；控制数据结构主要包括：目的DMA PORT地址，连通运算单元对地址，运算单元运算类型，运算单元权重；
构建FPGA实现，其中FPGA包括控制模块、数据传输模块、运算模块，
控制模块包括FPGA内的软核CPU，存储模块，FPGA内部互联总线控制单元，用于根据接收的编译平台控制数据，完成FPGA内部各运算单元的连接，
数据传输模块包括DMA模块和多路选择器网络，DMA模块和多路选择器网络通过互联线连接，DMA模块完成芯片内各运算单元的多路选择器网络的快速配置，完成控制信号和数据信号通路的连通，DMA模块与多路选择器网络配合将运算数据输入各运算单元；
运算模块构成神经元节点，各个运算模块连接形成神经网络，运算模块包括累加运算单元、乘运算单元、求余运算单元、归一化运算单元，各运算单元通过可配置互联线进行连接，不同的连接对应输入数据的不同处理流程；
神经元网络芯片的生成：根据需要配置的神经网络，使用需要识别的图像进行训练，训练完成后使用编译平台，得到FPGA重构数据，将FPGA实现下载到芯片中，生成通用神经网络芯片，并可使用网口等通讯接口将重构数据输入FPGA芯片，在硬件中实现训练完成的神经网络，神经元网络芯片得以硬件实现。
Claims (7)
1.一种用于实时图像识别的神经元网络芯片实现方法，其特征是
设置自动化编译平台，用于图像识别的卷积神经网络形成神经网络模型库，
根据应用需求使用自动化编译平台完成神经网络的训练，并提取神经网络的结构和信息，利用信息形成重构FPGA的控制数据，
构建FPGA实现：根据接收的编译平台的控制数据，完成FPGA内部各运算单元的连接和快速配置，完成控制信号和数据信号通路的连通，使运算数据快速输入各运算单元，
神经元网络芯片的生成：根据需要配置的神经网络，使用需要识别的图像进行训练，训练完成后使用编译平台，得到FPGA重构数据，将FPGA实现下载到芯片中，生成通用神经网络芯片，并将重构数据输入FPGA芯片。
2.根据权利要求1所述的方法，其特征是所述构建FPGA实现，其中FPGA包括控制模块、数据传输模块、运算模块，
控制模块用于根据接收的编译平台控制数据，完成FPGA内部各运算单元的连接，
数据传输模块用于FPGA内部各运算单元的快速配置，完成控制信号和数据信号通路的连通，使运算数据快速输入各运算单元，
运算模块构成神经元节点，各个运算模块连接形成神经网络。
3.根据权利要求2所述的方法，其特征是所述控制模块包括FPGA内的软核CPU，存储模块， FPGA内部互联总线控制单元。
4.根据权利要求2或3所述的方法，其特征是所述数据传输模块包括DMA模块和多路选择器网络，DMA模块完成芯片内各运算单元的多路选择器网络的快速配置，完成控制信号和数据信号通路的连通，DMA模块与多路选择器网络配合将运算数据输入各运算单元。
5.根据权利要求4所述的方法，其特征是所述运算模块包括累加运算单元、乘运算单元、求余运算单元、归一化运算单元，各运算单元通过可配置互联线进行连接，不同的连接对应输入数据的不同处理流程。
6.根据权利要求1-3或5任一项所述的方法，其特征是所述神经网络信息主要包括：神经网络层数，每层神经元节点数目，每个神经元节点的运算类型和权重。
7.根据权利要求1-3或5任一项所述的方法，其特征是控制数据结构主要包括：目的DMA PORT地址，连通运算单元对地址，运算单元运算类型，运算单元权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610320676.8A CN105956660A (zh) | 2016-05-16 | 2016-05-16 | 一种用于实时图像识别的神经元网络芯片实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610320676.8A CN105956660A (zh) | 2016-05-16 | 2016-05-16 | 一种用于实时图像识别的神经元网络芯片实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105956660A true CN105956660A (zh) | 2016-09-21 |
Family
ID=56911727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610320676.8A Pending CN105956660A (zh) | 2016-05-16 | 2016-05-16 | 一种用于实时图像识别的神经元网络芯片实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105956660A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682702A (zh) * | 2017-01-12 | 2017-05-17 | 张亮 | 深度学习方法和系统 |
| CN106779060A (zh) * | 2017-02-09 | 2017-05-31 | 武汉魅瞳科技有限公司 | 一种适于硬件设计实现的深度卷积神经网络的计算方法 |
| CN107844833A (zh) * | 2017-11-28 | 2018-03-27 | 郑州云海信息技术有限公司 | 一种卷积神经网络的数据处理方法、装置及介质 |
| WO2018058426A1 (zh) * | 2016-09-29 | 2018-04-05 | 清华大学 | 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统 |
| CN108090496A (zh) * | 2017-12-22 | 2018-05-29 | 银河水滴科技（北京）有限公司 | 基于卷积神经网络的图像处理的方法和装置 |
| CN108229645A (zh) * | 2017-04-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 卷积加速和计算处理方法、装置、电子设备及存储介质 |
| CN108681704A (zh) * | 2018-05-15 | 2018-10-19 | 北京理工大学 | 一种基于深度学习的人脸识别系统 |
| CN109496294A (zh) * | 2018-01-15 | 2019-03-19 | 深圳鲲云信息科技有限公司 | 人工智能处理装置的编译方法及系统、存储介质及终端 |
| CN109697408A (zh) * | 2018-11-22 | 2019-04-30 | 哈尔滨理工大学 | 一种基于fpga的人脸识别系统 |
| CN109960673A (zh) * | 2017-12-14 | 2019-07-02 | 北京中科寒武纪科技有限公司 | 集成电路芯片装置及相关产品 |
| CN109961134A (zh) * | 2017-12-14 | 2019-07-02 | 北京中科寒武纪科技有限公司 | 集成电路芯片装置及相关产品 |
| WO2020041960A1 (zh) * | 2018-08-28 | 2020-03-05 | 深圳鲲云信息科技有限公司 | 芯片适配确定方法及相关产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100076915A1 (en) * | 2008-09-25 | 2010-03-25 | Microsoft Corporation | Field-Programmable Gate Array Based Accelerator System |
| CN104915322A (zh) * | 2015-06-09 | 2015-09-16 | 中国人民解放军国防科学技术大学 | 一种卷积神经网络硬件加速方法及其axi总线ip核 |
| CN105426517A (zh) * | 2015-12-02 | 2016-03-23 | 上海越峰信息科技有限公司 | 一种具有图像处理功能的智能存储设备 |
-
2016
- 2016-05-16 CN CN201610320676.8A patent/CN105956660A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100076915A1 (en) * | 2008-09-25 | 2010-03-25 | Microsoft Corporation | Field-Programmable Gate Array Based Accelerator System |
| CN104915322A (zh) * | 2015-06-09 | 2015-09-16 | 中国人民解放军国防科学技术大学 | 一种卷积神经网络硬件加速方法及其axi总线ip核 |
| CN105426517A (zh) * | 2015-12-02 | 2016-03-23 | 上海越峰信息科技有限公司 | 一种具有图像处理功能的智能存储设备 |
Non-Patent Citations (2)
| Title |
|---|
| 张立: "基于支撑向量机的嵌入式车牌识别系统设计", 《信息科技辑》 * |
| 方睿: "卷积神经网络的FPGA并行加速方案设计", 《计算机工程与应用》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058426A1 (zh) * | 2016-09-29 | 2018-04-05 | 清华大学 | 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统 |
| US11544539B2 (en) | 2016-09-29 | 2023-01-03 | Tsinghua University | Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system |
| CN106682702A (zh) * | 2017-01-12 | 2017-05-17 | 张亮 | 深度学习方法和系统 |
| CN106779060A (zh) * | 2017-02-09 | 2017-05-31 | 武汉魅瞳科技有限公司 | 一种适于硬件设计实现的深度卷积神经网络的计算方法 |
| CN106779060B (zh) * | 2017-02-09 | 2019-03-08 | 武汉魅瞳科技有限公司 | 一种适于硬件设计实现的深度卷积神经网络的计算方法 |
| CN108229645A (zh) * | 2017-04-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 卷积加速和计算处理方法、装置、电子设备及存储介质 |
| US11429852B2 (en) | 2017-04-28 | 2022-08-30 | Beijing Sensetime Technology Development Co., Ltd. | Convolution acceleration and computing processing method and apparatus, electronic device, and storage medium |
| CN108229645B (zh) * | 2017-04-28 | 2021-08-06 | 北京市商汤科技开发有限公司 | 卷积加速和计算处理方法、装置、电子设备及存储介质 |
| CN107844833A (zh) * | 2017-11-28 | 2018-03-27 | 郑州云海信息技术有限公司 | 一种卷积神经网络的数据处理方法、装置及介质 |
| CN109960673B (zh) * | 2017-12-14 | 2020-02-18 | 中科寒武纪科技股份有限公司 | 集成电路芯片装置及相关产品 |
| CN109960673A (zh) * | 2017-12-14 | 2019-07-02 | 北京中科寒武纪科技有限公司 | 集成电路芯片装置及相关产品 |
| CN109961134A (zh) * | 2017-12-14 | 2019-07-02 | 北京中科寒武纪科技有限公司 | 集成电路芯片装置及相关产品 |
| CN108090496A (zh) * | 2017-12-22 | 2018-05-29 | 银河水滴科技（北京）有限公司 | 基于卷积神经网络的图像处理的方法和装置 |
| CN109496294A (zh) * | 2018-01-15 | 2019-03-19 | 深圳鲲云信息科技有限公司 | 人工智能处理装置的编译方法及系统、存储介质及终端 |
| CN108681704A (zh) * | 2018-05-15 | 2018-10-19 | 北京理工大学 | 一种基于深度学习的人脸识别系统 |
| WO2020041960A1 (zh) * | 2018-08-28 | 2020-03-05 | 深圳鲲云信息科技有限公司 | 芯片适配确定方法及相关产品 |
| CN109697408A (zh) * | 2018-11-22 | 2019-04-30 | 哈尔滨理工大学 | 一种基于fpga的人脸识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105956660A (zh) | 一种用于实时图像识别的神经元网络芯片实现方法 | |
| JP6714690B2 (ja) | 情報処理システム、情報処理システムの運用方法、および機械学習演算器 | |
| US11703939B2 (en) | Signal processing device and related products | |
| CN109543832B (zh) | 一种计算装置及板卡 | |
| US10872290B2 (en) | Neural network processor with direct memory access and hardware acceleration circuits | |
| CN111383637A (zh) | 信号处理装置、信号处理方法及相关产品 | |
| JP6960700B2 (ja) | マルチキャストネットワークオンチップに基づいた畳み込みニューラルネットワークハードウェアアクセラレータおよびその動作方式 | |
| WO2019228358A1 (zh) | 深度神经网络的训练方法和装置 | |
| CN109522052B (zh) | 一种计算装置及板卡 | |
| WO2020199690A1 (zh) | 基于云平台共享学习系统及方法、共享平台及方法、介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN112163601B (zh) | 图像分类方法、系统、计算机设备及存储介质 | |
| CN111931901A (zh) | 一种神经网络构建方法以及装置 | |
| WO2022267036A1 (zh) | 神经网络模型训练方法和装置、数据处理方法和装置 | |
| CN108320018A (zh) | 一种人工神经网络运算的装置及方法 | |
| Gao et al. | Natural scene recognition based on convolutional neural networks and deep Boltzmannn machines | |
| CN115563674A (zh) | 初始平面布置生成方法和装置、电子设备和存储介质 | |
| Li et al. | Detail preservation and feature refinement for object detection | |
| CN116468114A (zh) | 一种联邦学习方法及相关装置 | |
| CN111831354A (zh) | 数据精度配置方法、装置、芯片、芯片阵列、设备及介质 | |
| CN109711538B (zh) | 运算方法、装置及相关产品 | |
| WO2020042771A9 (zh) | 图像识别处理方法和装置 | |
| CN112434635A (zh) | 卷积神经网络特征提取方法、系统、嵌入式设备及介质 | |
| CN111105015A (zh) | 一种通用cnn推理加速器及其控制方法、可读存储介质 | |
| JP6957659B2 (ja) | 情報処理システムおよびその運用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160921 |
|
| RJ01 | Rejection of invention patent application after publication |