CN108319988A - 一种用于手写汉字识别的深度神经网络的加速方法 - Google Patents
一种用于手写汉字识别的深度神经网络的加速方法 Download PDFInfo
- Publication number
- CN108319988A CN108319988A CN201710038008.0A CN201710038008A CN108319988A CN 108319988 A CN108319988 A CN 108319988A CN 201710038008 A CN201710038008 A CN 201710038008A CN 108319988 A CN108319988 A CN 108319988A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional
- neural network
- network
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 230000001133 acceleration Effects 0.000 claims abstract description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000003475 lamination Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
- G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
- G06V30/2455—Discrimination between machine-print, hand-print and cursive writing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种用于手写汉字识别的深度神经网络的加速方法，包括步骤：构建并训练出一个针对脱机手写汉字识别卷积神经网络；根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；针对逐层分解的卷积层进行训练；对所述用于手写汉字识别的深度神经网络进行重新训练，从而进行微调；编写所述用于手写汉字识别的深度神经网络的前向代码。本发明破除了传统的基于改进二次判别函数(MQDF)的分类器文字识别方法，采用深度卷积神经网络针对手写文字识别，并且将Batch Normalization和PReLU引入到网络设计之中，显著提高网络的识别率；加速网络收敛，增加网络的拟合能力。
Description
技术领域
本发明涉及模式识别和人工只能技术领域，尤其涉及一种用于手写汉字识别的深度神经网络的加速方法。
背景技术
汉字依旧是世界上使用人数最多的文字，有多达十几亿的书写者，其存在众多的书写者，而且有众多的书写风格，以及汉字集有极多的类别，并且有大量的相似字的存在，导致脱机手写汉字识别一直都是模式识别以及人工智能领域一个具有较大挑战性的研究方向。
近年来，由于有大规模的训练数据、具有较强计算能力的硬件以及最新的训练方法，导致深度神经网络的兴起，特别是深度卷积神经网络的发展，把脱机手写汉字的识别性能提高到很大的提高。但是由于基于深度卷积神经网络的计算量较大，特别是其卷积层的计算量较大，导致其识别速度较慢，在移动设备端体现的尤为明显，这样就极大地限制脱机手写汉字识别在现实生活中的使用。所以加速基于深度神经网络具有重大意义。
发明内容
为克服现有技术的不足，减少网络计算量的同时，提高网络的识别率，本发明提出一种用于手写汉字识别的深度神经网络的加速方法。
本发明的技术方案是这样实现的：
一种用于手写汉字识别的深度神经网络的加速方法，包括步骤
S1：构建并训练出一个针对脱机手写汉字识别卷积神经网络；
S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；
S3：针对逐层分解的卷积层进行训练；
S4：对所述用于手写汉字识别的深度神经网络进行重新训练，从而进行微调；
S5：编写所述用于手写汉字识别的深度神经网络的前向代码。
进一步地，步骤S1包括步骤
S11：设计所述深度卷积神经网络的结构，设置卷积层、池化层和全连接层参数，选取激活函数；
S12：将训练集的数据作为深度卷积神经网络的输入，采用随机梯度下降法对深度卷积神经网络进行训练，当深度卷积神经网络在训练集上的误差完全收敛时，终止训练，保存深度卷积神经网络各个层的参数。
更进一步地，步骤S11中每个卷积层与激活函数的之间以及第一个全连接层与激活函数之间添加有批归一化层，所述激活函数采用PReLU。
进一步地，步骤S3包括步骤
S31：在分解后的第一个卷积层输出后面，加上Batch Normalization和PReLU层；
S32：从第二个卷积层开始低秩分解，把第二个卷积层以及接在其后面的BatchNormalization和PReLU层，用两个较小的同样在其后面接有Batch Normalization和PReLU层的卷积层代替，用初始训练的模型参数对其他层进行初始化，然后将其学习率设置为0，最后采用随机梯度下降法对整个深度卷积神经网络进行训练，直至深度卷积神经网络收敛；
S33：对第三个卷积层进行低秩分解，此时除了此时要低秩分解的层和已经低秩分解过的层以外，将其他所有层的学习率设为0，在开始训练，直至收敛，然后按照依次将后面的卷积层进行低秩分解。
进一步地，步骤S4包括步骤：所有需要低秩分解的层分解完毕之后，在用保存下来的参数对各层进行初始化，对深度卷积神经网络重新进行训练，达到微调的效果。
进一步地，步骤S5包括步骤
S51：编写卷积层的前向代码；
S52：编写池化层的前向代码；
S53：编写全连接层的前向代码。
本发明的有益效果在于，与现有技术相比，本发明具有以下有益效果：
破除了传统的基于改进二次判别函数(MQDF)的分类器文字识别方法，采用深度卷积神经网络针对手写文字识别，并且将Batch Normalization和PReLU引入到网络设计之中，显著提高网络的识别率；
采用基于低秩分解的加速方法，创造性的把Batch Normalization和PReLU层加在分解的各个层的后面，加速网络收敛，增加网络的拟合能力，而且其引入的计算量和参数量可以忽略不计；
提出了一套全新的训练框架，在减小网络的计算量时，对识别率的影响不大，在采用脱机汉字手写数据库CASIA-HWDB1.0与CASIA-HWDB1.1作为训练集，off-ICDAR2013作为测试集，初始网络取得了97.30％，计算复杂度减少四倍后依旧取得了97.25％的结果，仅仅下降了0.05％，而且这两个结果均是公开发表在该数据集上单个模型的最高结果。
附图说明
图1是本发明一种用于手写汉字识别的深度神经网络的加速方法流程图；
图2是本发明步骤S2中低秩分解的示意图；
图3是本发明步骤S3中加Batch Normalization和PReLU的低秩分解图；
图4是本发明步骤S3中低秩分解训练框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要解决基于卷积神经网络的脱机手写汉字识别速度太慢的问题，对卷积层、池化层以及全连接层计算的特点进行分析，提出相应的策略，对卷积层采用低秩分解的策略，将之前较大的卷积层的计算转化两个较小卷积层的计算，然后采用矩阵的相乘进行计算，对于池化层和全连接层，我们采用循环展开的策略对其进行优化，同时采用了BatchNormalization以及Parametric Rectified Linear Unit(PReLU)提出一套全新的加速卷积神经网络的训练方法，在此框架下，在减少网络计算量的同时，识别率略微下降。整体流程如图1所示：
本发明包括步骤：S1：设计并训练一个适用于脱机手写汉字识别的卷积神经网络；S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；S3：出了一种对卷积层逐层分解的训练方法；S4：对整个网络进行重新训练，从而进行微调；S5：编写网络的前向代码。具体来说，先设计出一个网络进行训练，得到一个初始的模型，然后根据各个卷积输入输出的大小以及卷积核大小和加速的倍数，从而计算出各个要低秩分解的卷积层分解后中间层特征图的输出，在依据我们提出逐层分解的策略，对网络进行逐层训练，需要低秩分解层都分解后，在对整个网络进行从新训练，进行微调，最后在根据根据各个层的计算，编写网络的前向代码。
以下分别对本发明的主要步骤进行详细说明。
步骤S1：设计和训练出一个用于脱机手写汉字的卷积神经网络，包括步骤
S11：设计深度卷积神经网络模型。
在本发明中，设置的深度卷积神经网络模型结构，其输入为1×96×96，其一共包含五个卷积层，每个卷积层的卷积核大小均为3×3，卷积的步长设为1且在特征图的四周均有加一的补全，这可以使得特征图经过卷积操作后大小不发生变化；其包含四个最大池化层，其中池化核的大小3×3，其步长为2，每经过依次池化之后特征图的宽高均将减半；包含一个全连接层，其输出神经元的个数为1024；最后是一个输出层，输出3755类；其中值得说明的是，在每个卷积层和全连接层后面均接有Batch Normalization层以及采用PReLU作为激活函数。初始网络的整体结构表示为：
Input-
96C3-MP3-128C3-MP3-160C3-MP3-256C3-256C3-MP3-384C3-384C3-MP3-1024FC-Output
S12：对设计好的网络进行训练。
训练时做分类问题，采用随机梯度下降法对网络进行训练，训练时包括前向传播和反向传播两个步骤，前向网络传播网络的误差，反向传播对各个层的参数进行更新，对网络的参数不断进行优化。在进行训练时，每训练一万次时，都会用此时模型将测试集的数据全测试一遍，最后取测试时获得最高结果的模型保持下来。
步骤S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目。包括步骤
S21：通过已知低秩分解之前卷积层的计算复杂度以及需要加速的倍数，来计算低秩分解之后第一个卷积层输出特征图的数目
低秩分解的示意图如图2所示，可知某卷积层的输入输出特征图为与中C和N为输入与输出特征图的数目,H与W为输入特征图的高与宽，H′和W′为输出特征图的高和宽，卷积核为一个四维向量其中卷积核的大小为K×K，由卷积的定义可知，有
其计算复杂度为：O(CNK2H′W′)。
经过低秩分解之后，将输入特征图与卷积变成，输入特征图与卷积后，，其中D为该层输出特征图的数目，有
其计算复杂度为：O(CDKH′W)
得到的与进行卷积，又有
其计算复杂度为：O(NDKH′W′)，所以低秩分解之后的总计算复杂度为：O(DKH′(NW′+CW))。
所以，如果我们想对某层的加速x倍，D的值应该被设置为：
S22：计算各个需要低秩分解的卷积层，分解后第一个卷积层输出特征图的数目。
一般来说，由于网络第一个卷积层的冗余度是较小的，计算量也不是很大，所以我们从第二个卷积层开始，根据公式(4)，计算需要低秩分解层D的值。对我们的网络减少4倍的计算复杂度，低秩分解前后各个层的特征图数目如表1所示。
步骤S3：对卷积层进行逐层分解训练。包括步骤
S31：对原始低秩分解策略的改进。
正如图2所示，原始的低秩分解策略是将一个卷积层分解层两个连续卷积的卷积层。在这里，我们区别于这种做法，正如图3所示，我们对某个卷积层进行低秩分解时，在分解的第一个卷积层输出后面，我们同样也加上Batch Normalization和PReLU层，使得我网络中每个卷积层后面都会接有Batch Normalization和PReLU层，这样可以明显加速网络收敛，增加网络的拟合能力。
S32：训练出低秩分解后卷积层的参数。
训练过程如图4所示，当原始的模型训练好之后，我们从第二个卷积层开始低秩分解，用低秩分解之后的两个卷积层，取代低秩分解之前的卷积层，其它未被改变的层的参数用预训练好的模型参数进行初始化，然后在其的学习率固定为0，让其参数值停止更新，对整个网络进行训练，直至网络收敛。低秩分解前后各卷积层特征图的数目如表1所示。
表1：低秩分解前后各卷积层特征图的数目
S33；对整个网络进行低秩分解训练。
当第二个卷积层低秩分解完成后，我们继续对接下来的卷积层逐层进行低秩分解，如图4所示，对已经低秩分解的层和未做改变的层，用上次低秩分解结束的模型参数对其进行初始化，同样对未做改变的层的学习率固定为0，停止其参数更新，对整个网络进行训练，直至收敛。
步骤S4：对整个网络进行重新训练，从而进行微调。
由于在低秩分解卷积层时，第一个卷积层和全连接层以及输出层的参数始终是固定住的，所以当把所有需要低秩分解的层进行低秩分解之后，在用之前保存下来各个层的参数对网络进行初始化，对网络重新进行训练，进一步提高网络的识别率，达到微调的效果。
步骤S5：编写网络的前向代码。包括步骤
S51：针对卷积层的前向代码编写。
针对卷积层来说，由于存在大量的点乘操作，采用直接计算的方法计算速度较慢，在这里，我们采用im2col算法，将卷积计算转为为矩阵相乘的计算，然后采用经过数学上优化过的矩阵相乘库，对其进行优化，大幅减少其计算时间；
S52：针对池化层的前向代码编写。
针对池化层来说，由于我们采用的是最大池化层，主要的计算为在几个值中找到最大值，由于存在频繁的读数据和写数据操作，故采用循环展开策略；
S53：针对全连接层的前向代码编写。
针对全连接层来说，由于是一个列向量和一个矩阵的相乘，采用矩阵相乘的做法效果不太明显，故也采用循环展开策略对其进行优化计算。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (6)
1.一种用于手写汉字识别的深度神经网络的加速方法，其特征在于，包括步骤
S1：构建并训练出一个针对脱机手写汉字识别卷积神经网络；
S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；
S3：针对逐层分解的卷积层进行训练；
S4：对所述用于手写汉字识别的深度神经网络进行重新训练，从而进行微调；
S5：编写所述用于手写汉字识别的深度神经网络的前向代码。
2.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S1包括步骤
S11：设计所述深度卷积神经网络的结构，设置卷积层、池化层和全连接层参数，选取激活函数；
S12：将训练集的数据作为深度卷积神经网络的输入，采用随机梯度下降法对深度卷积神经网络进行训练，当深度卷积神经网络在训练集上的误差完全收敛时，终止训练，保存深度卷积神经网络各个层的参数。
3.如权利要求2所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S11中每个卷积层与激活函数的之间以及第一个全连接层与激活函数之间添加有批归一化层，所述激活函数采用PReLU。
4.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S3包括步骤
S31：在分解后的第一个卷积层输出后面，加上Batch Normalization和PReLU层；
S32：从第二个卷积层开始低秩分解，把第二个卷积层以及接在其后面的BatchNormalization和PReLU层，用两个较小的同样在其后面接有Batch Normalization和PReLU层的卷积层代替，用初始训练的模型参数对其他层进行初始化，然后将其学习率设置为0，最后采用随机梯度下降法对整个深度卷积神经网络进行训练，直至深度卷积神经网络收敛；
S33：对第三个卷积层进行低秩分解，此时除了此时要低秩分解的层和已经低秩分解过的层以外，将其他所有层的学习率设为0，在开始训练，直至收敛，然后按照依次将后面的卷积层进行低秩分解。
5.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S4包括步骤：所有需要低秩分解的层分解完毕之后，在用保存下来的参数对各层进行初始化，对深度卷积神经网络重新进行训练，达到微调的效果。
6.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S5包括步骤
S51：编写卷积层的前向代码；
S52：编写池化层的前向代码；
S53：编写全连接层的前向代码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710038008.0A CN108319988B (zh) | 2017-01-18 | 2017-01-18 | 一种用于手写汉字识别的深度神经网络的加速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710038008.0A CN108319988B (zh) | 2017-01-18 | 2017-01-18 | 一种用于手写汉字识别的深度神经网络的加速方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108319988A true CN108319988A (zh) | 2018-07-24 |
| CN108319988B CN108319988B (zh) | 2021-12-24 |
Family
ID=62892936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710038008.0A Active CN108319988B (zh) | 2017-01-18 | 2017-01-18 | 一种用于手写汉字识别的深度神经网络的加速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108319988B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102070A (zh) * | 2018-08-22 | 2018-12-28 | 地平线(上海)人工智能技术有限公司 | 卷积神经网络数据的预处理方法和装置 |
| CN109859167A (zh) * | 2018-12-28 | 2019-06-07 | 中国农业大学 | 黄瓜霜霉病严重度的评估方法及装置 |
| CN110969165A (zh) * | 2019-11-28 | 2020-04-07 | 中国科学院半导体研究所 | 手写字符识别方法、装置、电子设备及存储介质 |
| CN111105007A (zh) * | 2018-10-26 | 2020-05-05 | 中国科学院半导体研究所 | 用于目标检测的深度卷积神经网络的压缩加速方法 |
| WO2020087254A1 (zh) * | 2018-10-30 | 2020-05-07 | 深圳鲲云信息科技有限公司 | 卷积神经网络的优化方法及相关产品 |
| CN111914612A (zh) * | 2020-05-21 | 2020-11-10 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN112101343A (zh) * | 2020-08-17 | 2020-12-18 | 广东工业大学 | 一种车牌字符分割与识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205448A (zh) * | 2015-08-11 | 2015-12-30 | 中国科学院自动化研究所 | 基于深度学习的文字识别模型训练方法和识别方法 |
| CN106127297A (zh) * | 2016-06-02 | 2016-11-16 | 中国科学院自动化研究所 | 基于张量分解的深度卷积神经网络的加速与压缩方法 |
| US20160358070A1 (en) * | 2015-06-04 | 2016-12-08 | Samsung Electronics Co., Ltd. | Automatic tuning of artificial neural networks |
| CN106326985A (zh) * | 2016-08-18 | 2017-01-11 | 北京旷视科技有限公司 | 神经网络训练方法和装置及数据处理方法和装置 |
-
2017
- 2017-01-18 CN CN201710038008.0A patent/CN108319988B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160358070A1 (en) * | 2015-06-04 | 2016-12-08 | Samsung Electronics Co., Ltd. | Automatic tuning of artificial neural networks |
| CN105205448A (zh) * | 2015-08-11 | 2015-12-30 | 中国科学院自动化研究所 | 基于深度学习的文字识别模型训练方法和识别方法 |
| CN106127297A (zh) * | 2016-06-02 | 2016-11-16 | 中国科学院自动化研究所 | 基于张量分解的深度卷积神经网络的加速与压缩方法 |
| CN106326985A (zh) * | 2016-08-18 | 2017-01-11 | 北京旷视科技有限公司 | 神经网络训练方法和装置及数据处理方法和装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102070A (zh) * | 2018-08-22 | 2018-12-28 | 地平线(上海)人工智能技术有限公司 | 卷积神经网络数据的预处理方法和装置 |
| CN111105007A (zh) * | 2018-10-26 | 2020-05-05 | 中国科学院半导体研究所 | 用于目标检测的深度卷积神经网络的压缩加速方法 |
| CN111105007B (zh) * | 2018-10-26 | 2024-04-12 | 中国科学院半导体研究所 | 用于目标检测的深度卷积神经网络的压缩加速方法 |
| WO2020087254A1 (zh) * | 2018-10-30 | 2020-05-07 | 深圳鲲云信息科技有限公司 | 卷积神经网络的优化方法及相关产品 |
| CN109859167A (zh) * | 2018-12-28 | 2019-06-07 | 中国农业大学 | 黄瓜霜霉病严重度的评估方法及装置 |
| CN110969165A (zh) * | 2019-11-28 | 2020-04-07 | 中国科学院半导体研究所 | 手写字符识别方法、装置、电子设备及存储介质 |
| CN110969165B (zh) * | 2019-11-28 | 2024-04-09 | 中国科学院半导体研究所 | 手写字符识别方法、装置、电子设备及存储介质 |
| CN111914612A (zh) * | 2020-05-21 | 2020-11-10 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN111914612B (zh) * | 2020-05-21 | 2024-03-01 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN112101343A (zh) * | 2020-08-17 | 2020-12-18 | 广东工业大学 | 一种车牌字符分割与识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108319988B (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108319988A (zh) | 一种用于手写汉字识别的深度神经网络的加速方法 | |
| CN106919942B (zh) | 用于手写汉字识别的深度卷积神经网络的加速压缩方法 | |
| Qiu et al. | FReLU: Flexible rectified linear units for improving convolutional neural networks | |
| Nakkiran et al. | Compressing deep neural networks using a rank-constrained topology. | |
| WO2020172838A1 (zh) | 一种改进辅助分类器gan的图像分类方法 | |
| US20190095794A1 (en) | Methods and apparatus for training a neural network | |
| CN106919897B (zh) | 一种基于三级残差网络的人脸图像年龄估计方法 | |
| Cai et al. | Facial expression recognition method based on sparse batch normalization CNN | |
| CN111563841A (zh) | 一种基于生成对抗网络的高分辨率图像生成方法 | |
| CN110909801B (zh) | 基于卷积神经网络的数据分类方法、系统、介质及设备 | |
| Isaacs et al. | Hand pose estimation for american sign language recognition | |
| CN107229904A (zh) | 一种基于深度学习的目标检测与识别方法 | |
| CN106991646A (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
| CN109255340A (zh) | 一种融合多种改进vgg网络的人脸识别方法 | |
| CN110458085B (zh) | 基于注意力增强三维时空表征学习的视频行为识别方法 | |
| CN108960301B (zh) | 一种基于卷积神经网络的古彝文识别方法 | |
| CN113989890A (zh) | 基于多通道融合和轻量级神经网络的人脸表情识别方法 | |
| US20190279092A1 (en) | Convolutional Neural Network Compression | |
| CN105718943A (zh) | 基于粒子群优化算法的特征选择方法 | |
| CN103020979B (zh) | 基于稀疏遗传聚类的图像分割方法 | |
| CN111814448B (zh) | 预训练语言模型量化方法和装置 | |
| CN110162751A (zh) | 文本生成器训练方法和文本生成器训练系统 | |
| CN103208007A (zh) | 一种基于支持向量机和遗传算法的人脸识别方法 | |
| CN109858612A (zh) | 一种自适应形变空洞卷积方法 | |
| Du et al. | Efficient network construction through structural plasticity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240628 Address after: South China University of technology 381 Wushan Road Tianhe District Guangzhou City Guangdong Province Patentee after: SOUTH CHINA University OF TECHNOLOGY Country or region after: China Patentee after: FUJITSU RESEARCH AND DEVELOPMENT CENTER Co.,Ltd. Address before: 510640 South China University of technology, 381 Wushan Road, Tianhe District, Guangzhou City, Guangdong Province Patentee before: SOUTH CHINA University OF TECHNOLOGY Country or region before: China Patentee before: FUJITSU Ltd. Country or region before: Japan |