CN108319988A - 一种用于手写汉字识别的深度神经网络的加速方法 - Google Patents

一种用于手写汉字识别的深度神经网络的加速方法 Download PDF

Info

Publication number
CN108319988A
CN108319988A CN201710038008.0A CN201710038008A CN108319988A CN 108319988 A CN108319988 A CN 108319988A CN 201710038008 A CN201710038008 A CN 201710038008A CN 108319988 A CN108319988 A CN 108319988A
Authority
CN
China
Prior art keywords
layer
neural network
convolutional
recognition
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710038008.0A
Other languages
English (en)
Other versions
CN108319988B (zh
Inventor
肖学锋
金连文
梁凯焕
陈伟杰
常天海
刘汝杰
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Fujitsu Research Development Centre Co Ltd
Original Assignee
South China University of Technology SCUT
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Fujitsu Ltd filed Critical South China University of Technology SCUT
Priority to CN201710038008.0A priority Critical patent/CN108319988B/zh
Publication of CN108319988A publication Critical patent/CN108319988A/zh
Application granted granted Critical
Publication of CN108319988B publication Critical patent/CN108319988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2455—Discrimination between machine-print, hand-print and cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种用于手写汉字识别的深度神经网络的加速方法，包括步骤：构建并训练出一个针对脱机手写汉字识别卷积神经网络；根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；针对逐层分解的卷积层进行训练；对所述用于手写汉字识别的深度神经网络进行重新训练，从而进行微调；编写所述用于手写汉字识别的深度神经网络的前向代码。本发明破除了传统的基于改进二次判别函数(MQDF)的分类器文字识别方法，采用深度卷积神经网络针对手写文字识别，并且将Batch Normalization和PReLU引入到网络设计之中，显著提高网络的识别率；加速网络收敛，增加网络的拟合能力。

Description

一种用于手写汉字识别的深度神经网络的加速方法
技术领域
本发明涉及模式识别和人工只能技术领域，尤其涉及一种用于手写汉字识别的深度神经网络的加速方法。
背景技术
汉字依旧是世界上使用人数最多的文字，有多达十几亿的书写者，其存在众多的书写者，而且有众多的书写风格，以及汉字集有极多的类别，并且有大量的相似字的存在，导致脱机手写汉字识别一直都是模式识别以及人工智能领域一个具有较大挑战性的研究方向。
近年来，由于有大规模的训练数据、具有较强计算能力的硬件以及最新的训练方法，导致深度神经网络的兴起，特别是深度卷积神经网络的发展，把脱机手写汉字的识别性能提高到很大的提高。但是由于基于深度卷积神经网络的计算量较大，特别是其卷积层的计算量较大，导致其识别速度较慢，在移动设备端体现的尤为明显，这样就极大地限制脱机手写汉字识别在现实生活中的使用。所以加速基于深度神经网络具有重大意义。
发明内容
为克服现有技术的不足，减少网络计算量的同时，提高网络的识别率，本发明提出一种用于手写汉字识别的深度神经网络的加速方法。
本发明的技术方案是这样实现的：
一种用于手写汉字识别的深度神经网络的加速方法，包括步骤
S1：构建并训练出一个针对脱机手写汉字识别卷积神经网络；
S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；
S3：针对逐层分解的卷积层进行训练；
S4：对所述用于手写汉字识别的深度神经网络进行重新训练，从而进行微调；
S5：编写所述用于手写汉字识别的深度神经网络的前向代码。
进一步地，步骤S1包括步骤
S11：设计所述深度卷积神经网络的结构，设置卷积层、池化层和全连接层参数，选取激活函数；
S12：将训练集的数据作为深度卷积神经网络的输入，采用随机梯度下降法对深度卷积神经网络进行训练，当深度卷积神经网络在训练集上的误差完全收敛时，终止训练，保存深度卷积神经网络各个层的参数。
更进一步地，步骤S11中每个卷积层与激活函数的之间以及第一个全连接层与激活函数之间添加有批归一化层，所述激活函数采用PReLU。
进一步地，步骤S3包括步骤
S31：在分解后的第一个卷积层输出后面，加上Batch Normalization和PReLU层；
S32：从第二个卷积层开始低秩分解，把第二个卷积层以及接在其后面的BatchNormalization和PReLU层，用两个较小的同样在其后面接有Batch Normalization和PReLU层的卷积层代替，用初始训练的模型参数对其他层进行初始化，然后将其学习率设置为0，最后采用随机梯度下降法对整个深度卷积神经网络进行训练，直至深度卷积神经网络收敛；
S33：对第三个卷积层进行低秩分解，此时除了此时要低秩分解的层和已经低秩分解过的层以外，将其他所有层的学习率设为0，在开始训练，直至收敛，然后按照依次将后面的卷积层进行低秩分解。
进一步地，步骤S4包括步骤：所有需要低秩分解的层分解完毕之后，在用保存下来的参数对各层进行初始化，对深度卷积神经网络重新进行训练，达到微调的效果。
进一步地，步骤S5包括步骤
S51：编写卷积层的前向代码；
S52：编写池化层的前向代码；
S53：编写全连接层的前向代码。
本发明的有益效果在于，与现有技术相比，本发明具有以下有益效果：
破除了传统的基于改进二次判别函数(MQDF)的分类器文字识别方法，采用深度卷积神经网络针对手写文字识别，并且将Batch Normalization和PReLU引入到网络设计之中，显著提高网络的识别率；
采用基于低秩分解的加速方法，创造性的把Batch Normalization和PReLU层加在分解的各个层的后面，加速网络收敛，增加网络的拟合能力，而且其引入的计算量和参数量可以忽略不计；
提出了一套全新的训练框架，在减小网络的计算量时，对识别率的影响不大，在采用脱机汉字手写数据库CASIA-HWDB1.0与CASIA-HWDB1.1作为训练集，off-ICDAR2013作为测试集，初始网络取得了97.30％，计算复杂度减少四倍后依旧取得了97.25％的结果，仅仅下降了0.05％，而且这两个结果均是公开发表在该数据集上单个模型的最高结果。
附图说明
图1是本发明一种用于手写汉字识别的深度神经网络的加速方法流程图；
图2是本发明步骤S2中低秩分解的示意图；
图3是本发明步骤S3中加Batch Normalization和PReLU的低秩分解图；
图4是本发明步骤S3中低秩分解训练框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要解决基于卷积神经网络的脱机手写汉字识别速度太慢的问题，对卷积层、池化层以及全连接层计算的特点进行分析，提出相应的策略，对卷积层采用低秩分解的策略，将之前较大的卷积层的计算转化两个较小卷积层的计算，然后采用矩阵的相乘进行计算，对于池化层和全连接层，我们采用循环展开的策略对其进行优化，同时采用了BatchNormalization以及Parametric Rectified Linear Unit(PReLU)提出一套全新的加速卷积神经网络的训练方法，在此框架下，在减少网络计算量的同时，识别率略微下降。整体流程如图1所示：
本发明包括步骤：S1：设计并训练一个适用于脱机手写汉字识别的卷积神经网络；S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；S3：出了一种对卷积层逐层分解的训练方法；S4：对整个网络进行重新训练，从而进行微调；S5：编写网络的前向代码。具体来说，先设计出一个网络进行训练，得到一个初始的模型，然后根据各个卷积输入输出的大小以及卷积核大小和加速的倍数，从而计算出各个要低秩分解的卷积层分解后中间层特征图的输出，在依据我们提出逐层分解的策略，对网络进行逐层训练，需要低秩分解层都分解后，在对整个网络进行从新训练，进行微调，最后在根据根据各个层的计算，编写网络的前向代码。
以下分别对本发明的主要步骤进行详细说明。
步骤S1：设计和训练出一个用于脱机手写汉字的卷积神经网络，包括步骤
S11：设计深度卷积神经网络模型。
在本发明中，设置的深度卷积神经网络模型结构，其输入为1×96×96，其一共包含五个卷积层，每个卷积层的卷积核大小均为3×3，卷积的步长设为1且在特征图的四周均有加一的补全，这可以使得特征图经过卷积操作后大小不发生变化；其包含四个最大池化层，其中池化核的大小3×3，其步长为2，每经过依次池化之后特征图的宽高均将减半；包含一个全连接层，其输出神经元的个数为1024；最后是一个输出层，输出3755类；其中值得说明的是，在每个卷积层和全连接层后面均接有Batch Normalization层以及采用PReLU作为激活函数。初始网络的整体结构表示为：
Input-
96C3-MP3-128C3-MP3-160C3-MP3-256C3-256C3-MP3-384C3-384C3-MP3-1024FC-Output
S12：对设计好的网络进行训练。
训练时做分类问题，采用随机梯度下降法对网络进行训练，训练时包括前向传播和反向传播两个步骤，前向网络传播网络的误差，反向传播对各个层的参数进行更新，对网络的参数不断进行优化。在进行训练时，每训练一万次时，都会用此时模型将测试集的数据全测试一遍，最后取测试时获得最高结果的模型保持下来。
步骤S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目。包括步骤
S21：通过已知低秩分解之前卷积层的计算复杂度以及需要加速的倍数，来计算低秩分解之后第一个卷积层输出特征图的数目
低秩分解的示意图如图2所示，可知某卷积层的输入输出特征图为与中C和N为输入与输出特征图的数目,H与W为输入特征图的高与宽，H′和W′为输出特征图的高和宽，卷积核为一个四维向量其中卷积核的大小为K×K，由卷积的定义可知，有
其计算复杂度为：O(CNK2H′W′)。
经过低秩分解之后，将输入特征图与卷积变成，输入特征图与卷积后，，其中D为该层输出特征图的数目，有
其计算复杂度为：O(CDKH′W)
得到的与进行卷积，又有
其计算复杂度为：O(NDKH′W′)，所以低秩分解之后的总计算复杂度为：O(DKH′(NW′+CW))。
所以，如果我们想对某层的加速x倍，D的值应该被设置为：
S22：计算各个需要低秩分解的卷积层，分解后第一个卷积层输出特征图的数目。
一般来说，由于网络第一个卷积层的冗余度是较小的，计算量也不是很大，所以我们从第二个卷积层开始，根据公式(4)，计算需要低秩分解层D的值。对我们的网络减少4倍的计算复杂度，低秩分解前后各个层的特征图数目如表1所示。
步骤S3：对卷积层进行逐层分解训练。包括步骤
S31：对原始低秩分解策略的改进。
正如图2所示，原始的低秩分解策略是将一个卷积层分解层两个连续卷积的卷积层。在这里，我们区别于这种做法，正如图3所示，我们对某个卷积层进行低秩分解时，在分解的第一个卷积层输出后面，我们同样也加上Batch Normalization和PReLU层，使得我网络中每个卷积层后面都会接有Batch Normalization和PReLU层，这样可以明显加速网络收敛，增加网络的拟合能力。
S32：训练出低秩分解后卷积层的参数。
训练过程如图4所示，当原始的模型训练好之后，我们从第二个卷积层开始低秩分解，用低秩分解之后的两个卷积层，取代低秩分解之前的卷积层，其它未被改变的层的参数用预训练好的模型参数进行初始化，然后在其的学习率固定为0，让其参数值停止更新，对整个网络进行训练，直至网络收敛。低秩分解前后各卷积层特征图的数目如表1所示。
表1：低秩分解前后各卷积层特征图的数目
S33；对整个网络进行低秩分解训练。
当第二个卷积层低秩分解完成后，我们继续对接下来的卷积层逐层进行低秩分解，如图4所示，对已经低秩分解的层和未做改变的层，用上次低秩分解结束的模型参数对其进行初始化，同样对未做改变的层的学习率固定为0，停止其参数更新，对整个网络进行训练，直至收敛。
步骤S4：对整个网络进行重新训练，从而进行微调。
由于在低秩分解卷积层时，第一个卷积层和全连接层以及输出层的参数始终是固定住的，所以当把所有需要低秩分解的层进行低秩分解之后，在用之前保存下来各个层的参数对网络进行初始化，对网络重新进行训练，进一步提高网络的识别率，达到微调的效果。
步骤S5：编写网络的前向代码。包括步骤
S51：针对卷积层的前向代码编写。
针对卷积层来说，由于存在大量的点乘操作，采用直接计算的方法计算速度较慢，在这里，我们采用im2col算法，将卷积计算转为为矩阵相乘的计算，然后采用经过数学上优化过的矩阵相乘库，对其进行优化，大幅减少其计算时间；
S52：针对池化层的前向代码编写。
针对池化层来说，由于我们采用的是最大池化层，主要的计算为在几个值中找到最大值，由于存在频繁的读数据和写数据操作，故采用循环展开策略；
S53：针对全连接层的前向代码编写。
针对全连接层来说，由于是一个列向量和一个矩阵的相乘，采用矩阵相乘的做法效果不太明显，故也采用循环展开策略对其进行优化计算。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种用于手写汉字识别的深度神经网络的加速方法，其特征在于，包括步骤
S1：构建并训练出一个针对脱机手写汉字识别卷积神经网络；
S2：根据所需加速的倍数，计算低秩分解后第一个卷积层输出特征图的数目；
S3：针对逐层分解的卷积层进行训练；
S4：对所述用于手写汉字识别的深度神经网络进行重新训练，从而进行微调；
S5：编写所述用于手写汉字识别的深度神经网络的前向代码。
2.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S1包括步骤
S11：设计所述深度卷积神经网络的结构，设置卷积层、池化层和全连接层参数，选取激活函数；
S12：将训练集的数据作为深度卷积神经网络的输入，采用随机梯度下降法对深度卷积神经网络进行训练，当深度卷积神经网络在训练集上的误差完全收敛时，终止训练，保存深度卷积神经网络各个层的参数。
3.如权利要求2所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S11中每个卷积层与激活函数的之间以及第一个全连接层与激活函数之间添加有批归一化层，所述激活函数采用PReLU。
4.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S3包括步骤
S31：在分解后的第一个卷积层输出后面，加上Batch Normalization和PReLU层；
S32：从第二个卷积层开始低秩分解，把第二个卷积层以及接在其后面的BatchNormalization和PReLU层，用两个较小的同样在其后面接有Batch Normalization和PReLU层的卷积层代替，用初始训练的模型参数对其他层进行初始化，然后将其学习率设置为0，最后采用随机梯度下降法对整个深度卷积神经网络进行训练，直至深度卷积神经网络收敛；
S33：对第三个卷积层进行低秩分解，此时除了此时要低秩分解的层和已经低秩分解过的层以外，将其他所有层的学习率设为0，在开始训练，直至收敛，然后按照依次将后面的卷积层进行低秩分解。
5.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S4包括步骤：所有需要低秩分解的层分解完毕之后，在用保存下来的参数对各层进行初始化，对深度卷积神经网络重新进行训练，达到微调的效果。
6.如权利要求1所述的用于手写汉字识别的深度神经网络的加速方法，其特征在于，步骤S5包括步骤
S51：编写卷积层的前向代码；
S52：编写池化层的前向代码；
S53：编写全连接层的前向代码。
CN201710038008.0A 2017-01-18 2017-01-18 一种用于手写汉字识别的深度神经网络的加速方法 Active CN108319988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710038008.0A CN108319988B (zh) 2017-01-18 2017-01-18 一种用于手写汉字识别的深度神经网络的加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710038008.0A CN108319988B (zh) 2017-01-18 2017-01-18 一种用于手写汉字识别的深度神经网络的加速方法

Publications (2)

Publication Number Publication Date
CN108319988A true CN108319988A (zh) 2018-07-24
CN108319988B CN108319988B (zh) 2021-12-24

Family

ID=62892936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710038008.0A Active CN108319988B (zh) 2017-01-18 2017-01-18 一种用于手写汉字识别的深度神经网络的加速方法

Country Status (1)

Country Link
CN (1) CN108319988B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102070A (zh) * 2018-08-22 2018-12-28 地平线(上海)人工智能技术有限公司 卷积神经网络数据的预处理方法和装置
CN109859167A (zh) * 2018-12-28 2019-06-07 中国农业大学 黄瓜霜霉病严重度的评估方法及装置
CN110969165A (zh) * 2019-11-28 2020-04-07 中国科学院半导体研究所 手写字符识别方法、装置、电子设备及存储介质
CN111105007A (zh) * 2018-10-26 2020-05-05 中国科学院半导体研究所 用于目标检测的深度卷积神经网络的压缩加速方法
WO2020087254A1 (zh) * 2018-10-30 2020-05-07 深圳鲲云信息科技有限公司 卷积神经网络的优化方法及相关产品
CN111914612A (zh) * 2020-05-21 2020-11-10 淮阴工学院 一种基于改进的卷积神经网络的施工图图元自适应识别方法
CN112101343A (zh) * 2020-08-17 2020-12-18 广东工业大学 一种车牌字符分割与识别方法
CN114494145A (zh) * 2021-12-29 2022-05-13 中汽创智科技有限公司 一种图像处理方法、装置、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205448A (zh) * 2015-08-11 2015-12-30 中国科学院自动化研究所 基于深度学习的文字识别模型训练方法和识别方法
CN106127297A (zh) * 2016-06-02 2016-11-16 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
US20160358070A1 (en) * 2015-06-04 2016-12-08 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
CN106326985A (zh) * 2016-08-18 2017-01-11 北京旷视科技有限公司 神经网络训练方法和装置及数据处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358070A1 (en) * 2015-06-04 2016-12-08 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
CN105205448A (zh) * 2015-08-11 2015-12-30 中国科学院自动化研究所 基于深度学习的文字识别模型训练方法和识别方法
CN106127297A (zh) * 2016-06-02 2016-11-16 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
CN106326985A (zh) * 2016-08-18 2017-01-11 北京旷视科技有限公司 神经网络训练方法和装置及数据处理方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102070A (zh) * 2018-08-22 2018-12-28 地平线(上海)人工智能技术有限公司 卷积神经网络数据的预处理方法和装置
CN111105007A (zh) * 2018-10-26 2020-05-05 中国科学院半导体研究所 用于目标检测的深度卷积神经网络的压缩加速方法
CN111105007B (zh) * 2018-10-26 2024-04-12 中国科学院半导体研究所 用于目标检测的深度卷积神经网络的压缩加速方法
WO2020087254A1 (zh) * 2018-10-30 2020-05-07 深圳鲲云信息科技有限公司 卷积神经网络的优化方法及相关产品
CN109859167A (zh) * 2018-12-28 2019-06-07 中国农业大学 黄瓜霜霉病严重度的评估方法及装置
CN110969165A (zh) * 2019-11-28 2020-04-07 中国科学院半导体研究所 手写字符识别方法、装置、电子设备及存储介质
CN110969165B (zh) * 2019-11-28 2024-04-09 中国科学院半导体研究所 手写字符识别方法、装置、电子设备及存储介质
CN111914612A (zh) * 2020-05-21 2020-11-10 淮阴工学院 一种基于改进的卷积神经网络的施工图图元自适应识别方法
CN111914612B (zh) * 2020-05-21 2024-03-01 淮阴工学院 一种基于改进的卷积神经网络的施工图图元自适应识别方法
CN112101343A (zh) * 2020-08-17 2020-12-18 广东工业大学 一种车牌字符分割与识别方法
CN114494145A (zh) * 2021-12-29 2022-05-13 中汽创智科技有限公司 一种图像处理方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN108319988B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN108319988A (zh) 一种用于手写汉字识别的深度神经网络的加速方法
CN106919942B (zh) 用于手写汉字识别的深度卷积神经网络的加速压缩方法
Nakkiran et al. Compressing deep neural networks using a rank-constrained topology.
Liu et al. Comprehensive graph gradual pruning for sparse training in graph neural networks
CN111126602A (zh) 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法
CN105243398B (zh) 基于线性判别分析准则的改进卷积神经网络性能的方法
CN108510012A (zh) 一种基于多尺度特征图的目标快速检测方法
CN114038055A (zh) 一种基于对比学习和生成对抗网络的图像生成方法
CN110490298A (zh) 基于膨胀卷积的轻量化深度卷积神经网络模型
CN107273426A (zh) 一种基于深度语义路径搜索的短文本聚类方法
CN111652264B (zh) 基于最大均值差异的负迁移样本筛选方法
CN111914994B (zh) 多层感知机的生成方法、装置、电子设备及存储介质
CN108415888A (zh) 用于神经网络语言模型的压缩方法和系统
CN111210815B (zh) 一种用于语音命令词识别的深度神经网络构建方法和识别方法及装置
US20240160858A1 (en) Systems and methods for vision-language model instruction tuning
CN108985457A (zh) 一种受优化算法启发的深度神经网络结构设计方法
CN107229945A (zh) 一种基于竞争学习的深度聚类方法
WO2020060659A1 (en) System and method for synthesis of compact and accurate neural networks (scann)
CN114254108B (zh) 一种中文文本对抗样本生成的方法、系统及介质
CN115545005A (zh) 一种融合知识和约束图的远程监督关系抽取方法
CN113095421A (zh) 生成字体数据库的方法、神经网络模型的训练方法和装置
CN113851113A (zh) 模型训练方法及装置、语音唤醒方法及装置
CN104915566A (zh) 一种支持增量更新的深度计算模型设计方法
WO2024233332A1 (en) Systems and methods for vision-language model instruction tuning
Du et al. Efficient network construction through structural plasticity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240628

Address after: South China University of technology 381 Wushan Road Tianhe District Guangzhou City Guangdong Province

Patentee after: SOUTH CHINA University OF TECHNOLOGY

Country or region after: China

Patentee after: FUJITSU RESEARCH AND DEVELOPMENT CENTER Co.,Ltd.

Address before: 510640 South China University of technology, 381 Wushan Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: SOUTH CHINA University OF TECHNOLOGY

Country or region before: China

Patentee before: FUJITSU Ltd.

Country or region before: Japan

TR01 Transfer of patent right