CN106250939A - 基于fpga+arm多层卷积神经网络的手写体字符识别方法 - Google Patents
基于fpga+arm多层卷积神经网络的手写体字符识别方法 Download PDFInfo
- Publication number
- CN106250939A CN106250939A CN201610619786.4A CN201610619786A CN106250939A CN 106250939 A CN106250939 A CN 106250939A CN 201610619786 A CN201610619786 A CN 201610619786A CN 106250939 A CN106250939 A CN 106250939A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional
- fpga
- arm
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data
Abstract
本发明属于数字图像处理、模式识别技术领域,具体为一种基于FPGA+ARM多层卷积神经网络的手写体字符识别方法。本发明实现的硬件平台是Xilinx ZYNQ‑7030可编程片上SoC,硬件平台内置FPGA处理器和ARM Cortex A9。本发明首先在ARM端对输入的待识别手写体字符图像进行预处理,然后将结果图像传输到FPGA端,利用多层卷积神经网络提取图像特征,特征向量传输至ARM端完成手写体字符的识别。本发明充分利用了FPGA对大量简单重复计算的硬件并行处理能力和ARM的灵活可扩展优势,在保证算法模型性能的前提下,大幅降低了系统功耗。本发明的处理效率功耗比是主流服务器+GPU实现方案的10倍以上,有效解决了主流服务器+GPU方案功耗过大的问题。
Description
技术领域
本发明属于数字图像处理、模式识别技术领域,具体涉及一种在FPGA+ARM硬件平台上实现基于多层卷积神经网络的手写体字符识别方法。
背景技术
手写体字符识别就是通过计算机利用数字图像处理技术实现图像中手写体字符的自动识别。随着实际应用需求的不断增长、计算机技术的快速发展,手写体字符识别在办公自动化、文献检索、邮件自动分拣、金融、财会等领域都有着重要的实际应用价值。虽然字符本身模式较为简单,然而一些字符的字形写法相近,不同人手写同一字符的形状差异较大,且存在不规范的书写情况,为字符识别带来干扰,大幅增加了计算机实现手写体字符识别的复杂性。
对于手写体字符识别问题,传统处理方法,包括基于字符结构特征和基于统计特征的方法在内,都侧重于设计者通过分析数据特点,人为设计待识别字符的特征,然后通过模式匹配方法进行手写体字符的识别。尽管在样本数据足够多的前提下,一些传统方法可以在设计特征性质良好时取得较好的识别性能,然而此类方法存在严重依赖特征设计者经验的特点,因此大规模应用推广存在局限性。
近年来,在模式识别、机器学习等人工智能相关领域中,深度学习技术依靠其在算法性能方面的突出表现被业内广泛关注,成为人工智能领域新一轮的研究热点。深度学习技术中被广泛应用的算法模型是卷积神经网络(Convolutional Neural Network,CNN),在计算机视觉、语音识别等方面表现突出。典型的CNN模型由两部分组成:特征提取器和分类器。与传统的人为设计特征不同,CNN特征提取器通过样本数据自主学习特征,生成输入数据的特征向量,具有较好的鲁棒性。该特征向量作为分类器的输入数据进行分类,最终得到输入数据的识别结果。因此对于手写体字符识别这一类问题,多层卷积神经网络是一种具备大规模推广应用能力的方法。
经测算,CNN中卷积层和池化层的计算占总计算量的90%以上,因此提高卷积层和池化层计算速度是提升整个算法模型效率的关键所在,业内通常采用服务器+高性能GPU的方法以提升计算效率,并取得了令人满意的加速效果。然而,GPU在带来高性能计算的同时,也存在功耗大的缺点,对运行环境和运行时间都有特定的要求,为其实际应用带来局限性。
与GPU类似,FPGA具有对大量简单重复计算的并行处理能力,此外,FPGA还具备极低功耗的高效能计算特性,和GPU相比可适用于更多的实际应用场合。
目前利用FPGA加速CNN计算主要有三种方法:
(1)利用软核CPU实现控制部分,配合FPGA实现算法加速;
(2)利用硬核SoC内嵌的硬核ARM Cortex A9 CPU实现控制部分,配合FPGA实现算法加速;
(3)利用云端服务器配合FPGA实现算法加速。
三种方法各有利弊,根据不同的应用场合,可以选择不同的加速方案。
发明内容
本发明的目的在于提出一种计算效率高、能耗低的基于FPGA+ARM多层卷积神经网络的手写体字符识别方法。
本发明提出的基于FPGA+ARM多层卷积神经网络的手写体字符识别方法,具体实现的硬件平台是Xilinx ZYNQ-7030可编程片上SoC,硬件平台内置FPGA处理器和ARM CortexA9。充分利用FPGA对大量简单重复计算的硬件并行处理能力和ARM的灵活可扩展优势,将多层卷积神经网络计算分为两个部分,其中FPGA端实现占据90%以上计算量的卷积层和池化层计算,ARM端实现计算量较小的输入层和全连接层。该方法可实现超过1000张/秒(图像像素大小28×28)的手写体字符识别速度,能满足实际应用需求,处理效率功耗比是主流服务器+GPU方案的10倍以上。
本发明提出的手写体字符识别方法,基于一个6层卷积神经网络模型,该卷积神经网络模型包括:1个输入层,2个卷积层,2个池化层,1个全连接层。卷积核大小为5×5,卷积核滑动步长为1。池化层采用均值法,其滑动窗口大小为2×2,滑动步长为2。待识别手写体字符图像像素大小为28×28。经测算,卷积层和池化层的计算量为38400次浮点数运算,输入层和全连接层的计算量为970次浮点数运算,卷积层与池化层计算占所有计算量的97%以上,是简单重复浮点数运算,因此适于在FPGA端实现,利用FPGA的硬件并行处理能力完成卷积层和池化层的大量简单重复计算。输入层和全连接层需要根据不同的输入图像及应用进行调整优化,计算量相对较小,适于在ARM端实现。在保证算法模型性能的前提下,大幅降低系统功耗。
基于上述6层卷积神经网络模型,本发明提出的手写体字符识别方法,具体步骤为:
一、模型参数处理与加载
(1)离线训练所使用的多层卷积神经网络模型;
(2)算法模型离线训练完毕后,将卷积层的参数(包括卷积核与偏置量)取负,并保存在ARM端;
(3)系统运行后,首先加载算法模型参数,并通过APB总线传输并缓存至FPGA端。
二、待识别图像预处理
(1)选择待识别的手写字符体图像;
(2)对输入图像进行归一化处理,使其满足模型的计算需要;
(3)ARM端将归一化结果通过APB总线传输到FPGA端,经FIFO缓存后,存放到Block RAM(块随机存储器)中。
三、卷积和池化计算
在FPGA端对输入图像数据进行卷积层和池化层计算,算法模型设定了2个卷积层和2个池化层,具体步骤为:
(1)第1个卷积层与池化层计算
对图像数据与网络模型中第1个卷积层的卷积核进行卷积计算,将结果矩阵的各元素加上网络模型第1层的偏置参数,利用网络模型中的激活函数Sigmoid激活。Sigmoid函数表达式为:;
例如,输入图像大小为28×28像素,第1个卷积层采用1个卷积核,大小为5×5的矩阵。卷积时,滑动窗尺度与卷积核大小相同,横向与纵向滑动步长均为1,卷积计算结果矩阵的行列均为28-5+1=24。结果矩阵各元素加上偏置参数,再经过Sigmoid函数进行激活后,结果矩阵大小不变。
然后对第1个卷积层计算结果进行池化计算,采用平均值池化方法,滑动窗尺度为2×2,步长为2,将滑动窗口中的4个数值相加后取均值。例如,第1个卷积层结果矩阵大小为24×24,由于滑动窗口不存在重叠情况,所以池化计算结果矩阵大小为12×12,将其存入Block RAM;
(2)第2个卷积层与池化层计算
将第1个池化层计算结果矩阵作为第2个卷积层计算的输入数据,参照第(1)步的实现过程,进行第2个卷积层和第2个池化层计算。第2个卷积层设定3个卷积核,大小均为5×5。第1个池化层计算结果矩阵大小为12×12,第2个卷积层计算结果是3个8×8的矩阵,第2池化层计算结果是3个4×4的矩阵。将第2个池化层结果存入Block RAM。
四、分类识别计算
(1)特征向量从FPGA端传回ARM端
在FPGA端,将两层卷积计算与池化计算的结果,即输入图像的特征向量传回ARM端。具体步骤为:将Block RAM中存储的3个4×4的结果矩阵,经过FIFO缓存后,通过APB总线传输回ARM端;
(2)Softmax计算获得识别结果
第(1)步返回的特征向量与网络模型中的Softmax相关数据进行计算并得出结果。具体步骤为:用Softmax权值参数矩阵乘以特征向量,加上Softmax偏置参数,并通过公式1的Sigmoid函数计算,在结果中取最大值对应的索引作为结果输出。其中,Softmax权值矩阵大小为10×48,10表示待识别字符的类别数量,48表示每个类别的权值数量。特征向量总计3×4×4=48个浮点数。Softmax偏置参数共10个,每种类别1个参数。在Sigmoid函数计算后,总计可得10个浮点数,按照从0至9的顺序,给出10个数中最大的数所对应的索引作为最终的结果输出;
(3)往复循环,实现多个手写体字符图像的识别。
本发明在相同的网络模型规模和相同的手写体字符图像的条件下,分别对基于FPGA+ARM和主流服务器+GPU的两种实现方式进行效率和功耗的对比:
1、基于FPGA+ARM的方法(本发明方法):ARM端功耗约0.24瓦,FPGA端功耗27.6瓦,功耗总计为27.84瓦。运算效率约1177.8张/秒(图像像素大小28×28),处理效能比为42.31张/(瓦秒);
2、基于主流服务器+GPU的方法:服务器功耗约为600瓦,GPU功耗235瓦(NVIDIA teslaK20x GPU),功耗总计为835瓦,运算效率约3000张/秒(图像像素大小28×28),处理效能比为3.59张/(瓦秒)。
本发明方法的效率功耗比是服务器+GPU方法的10倍以上,具有明显的高效能计算优势。
本发明的主要特点是:
(1)提出了一种基于FPGA+ARM多层卷积神经网络的手写体字符识别方法;
(2)充分利用FPGA的硬件高效并行计算能力和低功耗特性,实现了较高的计算效率能耗比;
(3)本发明在中低端FPGA+ARM硬件平台上实现了多层卷积神经网络算法模型,具有较大的实际应用价值。
附图说明
图1 基于FPGA+ARM多层神经网络的手写体字符识别流程图。
图2 矩阵转置计算。
图3 FPGA功耗情况。
图4 多层卷积神经网络结构图。
图5 卷积计算示意图。
图6 池化计算示意图。
图7 MNIST数据库(部分)。
图8 手写体识别的实测结果。
具体实施方式
以下结合附图说明本发明基于FPGA+ARM多层卷积神经网络的手写体字符识别方法的具体实施。
本发明方法的计算流程如附图1所示。具体步骤为:
1、首先离线训练本发明所使用的多层卷积神经网络模型,设计采用一个输入层,两个卷积层,两个池化层和一个全连接层。第1个卷积层有1个大小为5×5的卷积核,第2个卷积层7有3个大小为5×5的卷积核,两个池化层的滑动窗口大小为2×2,滑动步长为2。模型训练完毕后,将卷积层中的参数(包括卷积核与偏置量)全部取负,保存在ARM端。
2、系统开始运行后,ARM端加载保存着的网络模型参数,将网络模型参数先通过APB总线传输到FPGA端。
3、用户根据系统提示,选择如附图7所示的MNIST数据库中一副待识别手写体图像输入系统。ARM端将对输入图像进行预处理,通过APB总线将结果图像传入FPGA端。
4、根据附图4所示的计算流程,参照附图5和附图6的卷积计算和池化计算的示意,FPGA端对输入图像进行第1个卷积层计算和第1个池化层计算,卷积计算中需要使用的Sigmoid函数表达式如式(1)所示。
5、参考第4步继续对第1个池化层结果进行第2个卷积层计算和第2个池化层计算,结果存入Block RAM。
6、将第2个池化层结果的3个4×4大小的矩阵,通过APB总线传输回ARM端。
7、将FPGA端传回的结果与网络模型全连接层中的Softmax参数进行计算,结果再加上Softmax偏置量,最后通过Sigmoid函数计算,得出最后10个数。按照0至9的顺序,系统将得到10个数中最大的数对应的索引作为输入图片的分类结果输出给用户。
8、系统计算完毕将结果输出给用户后,用户根据提示是否继续进行识别,如不继续则系统退出。
上述方法处理附图7所示MNIST数据库中第1张数字图片“7”的实测分类结果如附图8所示。
Claims (1)
1. 基于FPGA+ARM多层卷积神经网络的手写体字符识别方法,其特征在于:基于一个6层卷积神经网络模型,该卷积神经网络模型包括:1个输入层,2个卷积层,2个池化层,1个全连接层;卷积核大小为5×5,卷积核滑动步长为1;池化层采用均值法,其滑动窗口大小为2×2,滑动步长为2;其中,卷积层和池化层的计算在FPGA端实现,输入层和全连接层的计算在ARM端实现;具体步骤为:
步骤一、模型参数处理与加载
(1)离线训练所使用的多层卷积神经网络模型;
(2)算法模型离线训练完毕后,将卷积层的参数包括卷积核与偏置量取负,并保存在ARM端;
(3)系统运行后,首先加载算法模型参数,并通过APB总线传输并缓存至FPGA端;
步骤二、待识别图像预处理
(1)选择待识别的手写字符体图像;
(2)对输入图像进行归一化处理,使其满足模型的计算需要;
(3)ARM端将归一化结果通过APB总线传输到FPGA端,经FIFO缓存后,存放到Block RAM(块随机存储器)中;
步骤三、卷积和池化计算
在FPGA端对输入图像数据进行卷积层和池化层计算,算法模型设定有2个卷积层和2个池化层,具体步骤为:
(1)第1个卷积层与池化层计算
对图像数据与网络模型中第1个卷积层的卷积核进行卷积计算,将结果矩阵的各元素加上网络模型第1层的偏置参数,利用网络模型中的激活函数Sigmoid激活, 激活函数Sigmoid的数学公式如下:
(1)
第1个卷积层采用1个卷积核,大小为5×5的矩阵;卷积时,滑动窗尺度与卷积核大小相同,横向与纵向滑动步长均为1;
然后对第1个卷积层计算结果进行池化计算,采用平均值池化方法,滑动窗尺度为2×2,步长为2,将滑动窗口中的4个数值相加后取均值;将第1个卷积层结果将存入Block RAM;
(2)第2个卷积层与池化层计算
将第1个池化层计算结果矩阵作为第2个卷积层计算的输入数据,参照第(1)步的实现过程,进行第2个卷积层和第2个池化层计算;将第2个池化层结果存入Block RAM;
步骤四、分类识别计算
(1)特征向量从FPGA端传回ARM端
在FPGA端,将两层卷积计算与池化计算的结果,即输入图像的特征向量传回ARM端;具体步骤为:将Block RAM中存储的结果矩阵,经过FIFO缓存后,通过APB总线传输回ARM端;
(2)Softmax计算获得识别结果
第(1)步返回的特征向量与网络模型中的Softmax相关数据进行计算并得出结果;具体步骤为:用Softmax权值参数矩阵乘以特征向量,加上Softmax偏置参数,并通过公式(1)的Sigmoid函数计算,在结果中取最大值对应的索引作为结果输出;
(3)往复循环,实现多个手写体字符图像的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610619786.4A CN106250939B (zh) | 2016-07-30 | 2016-07-30 | 基于fpga+arm多层卷积神经网络的手写体字符识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610619786.4A CN106250939B (zh) | 2016-07-30 | 2016-07-30 | 基于fpga+arm多层卷积神经网络的手写体字符识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106250939A true CN106250939A (zh) | 2016-12-21 |
CN106250939B CN106250939B (zh) | 2020-07-24 |
Family
ID=57606128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610619786.4A Active CN106250939B (zh) | 2016-07-30 | 2016-07-30 | 基于fpga+arm多层卷积神经网络的手写体字符识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106250939B (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650721A (zh) * | 2016-12-28 | 2017-05-10 | 吴晓军 | 一种基于卷积神经网络的工业字符识别方法 |
CN106682702A (zh) * | 2017-01-12 | 2017-05-17 | 张亮 | 深度学习方法和系统 |
CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
CN107169504A (zh) * | 2017-03-30 | 2017-09-15 | 湖北工业大学 | 一种基于扩展非线性核残差网络的手写字符识别方法 |
CN107369241A (zh) * | 2017-07-13 | 2017-11-21 | 深圳怡化电脑股份有限公司 | 一种票据处理装置及方法 |
CN108009631A (zh) * | 2017-11-30 | 2018-05-08 | 睿视智觉(深圳)算法技术有限公司 | 一种基于fpga的vgg-16通用处理模块及其控制方法 |
CN108198125A (zh) * | 2017-12-29 | 2018-06-22 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
CN108256636A (zh) * | 2018-03-16 | 2018-07-06 | 成都理工大学 | 一种基于异构计算的卷积神经网络算法设计实现方法 |
WO2018137177A1 (zh) * | 2017-01-25 | 2018-08-02 | 北京大学 | 一种基于nor flash阵列的卷积运算方法 |
CN108764466A (zh) * | 2018-03-07 | 2018-11-06 | 东南大学 | 基于现场可编程门阵列的卷积神经网络硬件及其加速方法 |
CN108805222A (zh) * | 2018-05-08 | 2018-11-13 | 南京邮电大学 | 一种基于arm平台的深度学习数字手写体识别方法 |
CN109508742A (zh) * | 2018-11-12 | 2019-03-22 | 南京邮电大学 | 基于arm平台和独立循环神经网络的手写数字识别方法 |
CN109902812A (zh) * | 2017-12-11 | 2019-06-18 | 北京中科寒武纪科技有限公司 | 板卡和神经网络运算方法 |
WO2019127838A1 (zh) * | 2017-12-29 | 2019-07-04 | 国民技术股份有限公司 | 卷积神经网络实现方法及装置、终端、存储介质 |
CN109995965A (zh) * | 2019-04-08 | 2019-07-09 | 复旦大学 | 一种基于fpga的超高分辨率视频图像实时校准方法 |
CN110097180A (zh) * | 2018-01-29 | 2019-08-06 | 上海寒武纪信息科技有限公司 | 计算机设备、数据处理方法及存储介质 |
CN110322389A (zh) * | 2018-03-29 | 2019-10-11 | 上海熠知电子科技有限公司 | 池化方法、装置及系统、计算机可读存储介质 |
CN110321807A (zh) * | 2019-06-13 | 2019-10-11 | 南京行者易智能交通科技有限公司 | 一种基于多层特征融合的卷积神经网络打哈欠行为识别方法及装置 |
CN110348574A (zh) * | 2019-07-17 | 2019-10-18 | 哈尔滨理工大学 | 一种基于zynq的通用卷积神经网络加速结构及设计方法 |
CN110991522A (zh) * | 2019-11-29 | 2020-04-10 | 山东万腾电子科技有限公司 | 一种字符识别方法、系统及工业智能网关 |
CN111310921A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种轻量级深度卷积神经网络的fpga实现方法 |
CN111341442A (zh) * | 2020-03-03 | 2020-06-26 | 宁波兰茜生物科技有限公司 | 一种多功能一体化肺癌辅助诊断系统 |
CN111427838A (zh) * | 2020-03-30 | 2020-07-17 | 电子科技大学 | 基于zynq动态更新卷积神经网络的分类系统及方法 |
CN111667053A (zh) * | 2020-06-01 | 2020-09-15 | 重庆邮电大学 | 一种新型卷积神经网络加速器及其前向传播计算加速方法 |
CN111709522A (zh) * | 2020-05-21 | 2020-09-25 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测系统 |
CN111797982A (zh) * | 2020-07-31 | 2020-10-20 | 北京润科通用技术有限公司 | 基于卷积神经网络的图像处理系统 |
CN111860784A (zh) * | 2020-07-24 | 2020-10-30 | 上海仪电(集团)有限公司中央研究院 | 基于arm和fpga的卷积神经识别系统及方法 |
WO2021081739A1 (en) * | 2019-10-29 | 2021-05-06 | Intel Corporation | Device capability aware technology to execute deep learning computation graphs in web applications |
CN113822202A (zh) * | 2021-09-24 | 2021-12-21 | 河南理工大学 | 一种基于OpenPose和PyQt的太极拳姿态检测系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090310015A1 (en) * | 2008-06-16 | 2009-12-17 | El-Mahdy Ahmed Hazem Mohamed R | Transformation of a video image from a high dynamic range image to a low dynamic range image |
CN103412619A (zh) * | 2013-07-30 | 2013-11-27 | 中国科学院上海技术物理研究所 | 一种异构多核的红外图像处理系统及方法 |
US20150178631A1 (en) * | 2013-09-04 | 2015-06-25 | Neural Id Llc | Pattern recognition system |
CN104915322A (zh) * | 2015-06-09 | 2015-09-16 | 中国人民解放军国防科学技术大学 | 一种卷积神经网络硬件加速方法及其axi总线ip核 |
-
2016
- 2016-07-30 CN CN201610619786.4A patent/CN106250939B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090310015A1 (en) * | 2008-06-16 | 2009-12-17 | El-Mahdy Ahmed Hazem Mohamed R | Transformation of a video image from a high dynamic range image to a low dynamic range image |
CN103412619A (zh) * | 2013-07-30 | 2013-11-27 | 中国科学院上海技术物理研究所 | 一种异构多核的红外图像处理系统及方法 |
US20150178631A1 (en) * | 2013-09-04 | 2015-06-25 | Neural Id Llc | Pattern recognition system |
CN104915322A (zh) * | 2015-06-09 | 2015-09-16 | 中国人民解放军国防科学技术大学 | 一种卷积神经网络硬件加速方法及其axi总线ip核 |
Non-Patent Citations (3)
Title |
---|
ALTUNCU M A ET AL: ""Real-time system implementation for image processing with hardware/software co-design on the Xilinx Zynq platform"", 《INTERNATIONAL JOURNAL OF INFORMATION AND ELECTRONICS ENGINEERING》 * |
ZHANG C ET AL: ""Optimizing fpga-based accelerator design for deep convolutional neural networks"", 《PROCEEDINGS OF THE 2015 ACM/SIGDA INTERNATIONAL SYMPOSIUM ON FIELD-PROGRAMMABLE GATE ARRAYS》 * |
方睿等: ""卷积神经网络的FPGA并行加速方案设计"", 《计算机工程与应用》 * |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650721B (zh) * | 2016-12-28 | 2019-08-13 | 吴晓军 | 一种基于卷积神经网络的工业字符识别方法 |
CN106650721A (zh) * | 2016-12-28 | 2017-05-10 | 吴晓军 | 一种基于卷积神经网络的工业字符识别方法 |
CN106682702A (zh) * | 2017-01-12 | 2017-05-17 | 张亮 | 深度学习方法和系统 |
CN106781014B (zh) * | 2017-01-24 | 2018-05-18 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
US11309026B2 (en) | 2017-01-25 | 2022-04-19 | Peking University | Convolution operation method based on NOR flash array |
WO2018137177A1 (zh) * | 2017-01-25 | 2018-08-02 | 北京大学 | 一种基于nor flash阵列的卷积运算方法 |
CN107169504B (zh) * | 2017-03-30 | 2019-06-18 | 湖北工业大学 | 一种基于扩展非线性核残差网络的手写字符识别方法 |
CN107169504A (zh) * | 2017-03-30 | 2017-09-15 | 湖北工业大学 | 一种基于扩展非线性核残差网络的手写字符识别方法 |
CN107369241A (zh) * | 2017-07-13 | 2017-11-21 | 深圳怡化电脑股份有限公司 | 一种票据处理装置及方法 |
CN108009631A (zh) * | 2017-11-30 | 2018-05-08 | 睿视智觉(深圳)算法技术有限公司 | 一种基于fpga的vgg-16通用处理模块及其控制方法 |
CN109902812A (zh) * | 2017-12-11 | 2019-06-18 | 北京中科寒武纪科技有限公司 | 板卡和神经网络运算方法 |
US11803735B2 (en) | 2017-12-11 | 2023-10-31 | Cambricon Technologies Corporation Limited | Neural network calculation apparatus and method |
CN109902812B (zh) * | 2017-12-11 | 2020-10-09 | 中科寒武纪科技股份有限公司 | 板卡和神经网络运算方法 |
US11657258B2 (en) | 2017-12-11 | 2023-05-23 | Cambricon Technologies Corporation Limited | Neural network calculation apparatus and method |
WO2019127838A1 (zh) * | 2017-12-29 | 2019-07-04 | 国民技术股份有限公司 | 卷积神经网络实现方法及装置、终端、存储介质 |
CN108198125A (zh) * | 2017-12-29 | 2018-06-22 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
CN108198125B (zh) * | 2017-12-29 | 2021-10-08 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
CN110097180A (zh) * | 2018-01-29 | 2019-08-06 | 上海寒武纪信息科技有限公司 | 计算机设备、数据处理方法及存储介质 |
CN108764466A (zh) * | 2018-03-07 | 2018-11-06 | 东南大学 | 基于现场可编程门阵列的卷积神经网络硬件及其加速方法 |
CN108764466B (zh) * | 2018-03-07 | 2022-02-11 | 东南大学 | 基于现场可编程门阵列的卷积神经网络硬件及其加速方法 |
CN108256636A (zh) * | 2018-03-16 | 2018-07-06 | 成都理工大学 | 一种基于异构计算的卷积神经网络算法设计实现方法 |
CN110322389A (zh) * | 2018-03-29 | 2019-10-11 | 上海熠知电子科技有限公司 | 池化方法、装置及系统、计算机可读存储介质 |
CN108805222A (zh) * | 2018-05-08 | 2018-11-13 | 南京邮电大学 | 一种基于arm平台的深度学习数字手写体识别方法 |
CN109508742A (zh) * | 2018-11-12 | 2019-03-22 | 南京邮电大学 | 基于arm平台和独立循环神经网络的手写数字识别方法 |
CN109995965A (zh) * | 2019-04-08 | 2019-07-09 | 复旦大学 | 一种基于fpga的超高分辨率视频图像实时校准方法 |
CN109995965B (zh) * | 2019-04-08 | 2021-12-03 | 复旦大学 | 一种基于fpga的超高分辨率视频图像实时校准方法 |
CN110321807A (zh) * | 2019-06-13 | 2019-10-11 | 南京行者易智能交通科技有限公司 | 一种基于多层特征融合的卷积神经网络打哈欠行为识别方法及装置 |
CN110348574A (zh) * | 2019-07-17 | 2019-10-18 | 哈尔滨理工大学 | 一种基于zynq的通用卷积神经网络加速结构及设计方法 |
WO2021081739A1 (en) * | 2019-10-29 | 2021-05-06 | Intel Corporation | Device capability aware technology to execute deep learning computation graphs in web applications |
CN110991522A (zh) * | 2019-11-29 | 2020-04-10 | 山东万腾电子科技有限公司 | 一种字符识别方法、系统及工业智能网关 |
CN111341442A (zh) * | 2020-03-03 | 2020-06-26 | 宁波兰茜生物科技有限公司 | 一种多功能一体化肺癌辅助诊断系统 |
CN111310921B (zh) * | 2020-03-27 | 2022-04-19 | 西安电子科技大学 | 一种轻量级深度卷积神经网络的fpga实现方法 |
CN111310921A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种轻量级深度卷积神经网络的fpga实现方法 |
CN111427838A (zh) * | 2020-03-30 | 2020-07-17 | 电子科技大学 | 基于zynq动态更新卷积神经网络的分类系统及方法 |
CN111427838B (zh) * | 2020-03-30 | 2022-06-21 | 电子科技大学 | 基于zynq动态更新卷积神经网络的分类系统及方法 |
CN111709522A (zh) * | 2020-05-21 | 2020-09-25 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测系统 |
CN111709522B (zh) * | 2020-05-21 | 2022-08-02 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测系统 |
CN111667053A (zh) * | 2020-06-01 | 2020-09-15 | 重庆邮电大学 | 一种新型卷积神经网络加速器及其前向传播计算加速方法 |
CN111667053B (zh) * | 2020-06-01 | 2023-05-09 | 重庆邮电大学 | 一种卷积神经网络加速器的前向传播计算加速方法 |
CN111860784A (zh) * | 2020-07-24 | 2020-10-30 | 上海仪电(集团)有限公司中央研究院 | 基于arm和fpga的卷积神经识别系统及方法 |
CN111797982A (zh) * | 2020-07-31 | 2020-10-20 | 北京润科通用技术有限公司 | 基于卷积神经网络的图像处理系统 |
CN113822202A (zh) * | 2021-09-24 | 2021-12-21 | 河南理工大学 | 一种基于OpenPose和PyQt的太极拳姿态检测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106250939B (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106250939A (zh) | 基于fpga+arm多层卷积神经网络的手写体字符识别方法 | |
CN104778242B (zh) | 基于图像动态分割的手绘草图图像检索方法及系统 | |
CN108921198A (zh) | 基于深度学习的商品图像分类方法、服务器及系统 | |
CN104317902B (zh) | 基于局部保持迭代量化哈希的图像检索方法 | |
CN110458279A (zh) | 一种基于fpga的二值神经网络加速方法及系统 | |
CN105868785A (zh) | 基于卷积神经网络的图片鉴别方法及系统 | |
Xia et al. | SparkNoC: An energy-efficiency FPGA-based accelerator using optimized lightweight CNN for edge computing | |
CN107340993A (zh) | 一种支持较少位数浮点数的神经网络运算的装置和方法 | |
Liu et al. | Deep convolutional neural networks-based age and gender classification with facial images | |
CN108304786A (zh) | 一种基于二值化卷积神经网络的行人检测方法 | |
CN107563407A (zh) | 一种面向网络空间多模态大数据的特征表示学习系统 | |
CN108492301A (zh) | 一种场景分割方法、终端及存储介质 | |
Feng et al. | Pedestrian detection based on attention mechanism and feature enhancement with SSD | |
Qi et al. | A Convolutional Encoder-Decoder Network With Skip Connections for Saliency Prediction. | |
Yang et al. | Research on bootstrapping algorithm for health insurance data fraud detection based on decision tree | |
Huang et al. | Mobile phone component object detection algorithm based on improved SSD | |
Jiang et al. | Underwater object detection based on improved single shot multibox detector | |
CN110110852A (zh) | 一种深度学习网络移植到fpag平台的方法 | |
CN110222835A (zh) | 一种基于零值检测的卷积神经网络硬件系统及运算方法 | |
CN109784145A (zh) | 基于深度图的目标检测方法及存储介质 | |
Han et al. | Asymmetric and square convolutional neural network for SAR ship detection from scratch | |
Jin et al. | VGG-S: Improved Small Sample Image Recognition Model Based on VGG16 | |
Wen et al. | An improved U-net method for sequence images segmentation | |
Yuan et al. | Research on Image Classification of Lightweight Convolutional Neural Network | |
Huang et al. | A 20 TOp/s/W binary neural network accelerator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |