CN113516224A - 神经网络的优化方法及装置、电子设备及存储介质 - Google Patents

神经网络的优化方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113516224A
CN113516224A CN202010275066.7A CN202010275066A CN113516224A CN 113516224 A CN113516224 A CN 113516224A CN 202010275066 A CN202010275066 A CN 202010275066A CN 113516224 A CN113516224 A CN 113516224A
Authority
CN
China
Prior art keywords
convolution
neural network
point
channel
retention factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010275066.7A
Other languages
English (en)
Inventor
吴天舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202010275066.7A priority Critical patent/CN113516224A/zh
Publication of CN113516224A publication Critical patent/CN113516224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种神经网络的优化方法、装置、电子设备及存储介质，所述方法包括：获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的卷积通道数为N；获取卷积通道保留因子K/N，其中，N大于K；根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的通道数为K；通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络；通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。通过通道保留因子对目标神经网络的卷积部分进行卷积通道裁剪，提高了卷积通道的裁剪效率，进而提高神经网络的优化效率。

Description

神经网络的优化方法及装置、电子设备及存储介质
技术领域
本发明涉及神经网络技术领域，尤其涉及一种神经网络的优化方法、装置、电子设备及存储介质。
背景技术
在对图像进行分类时，使用卷积神经网络进行训练较传统特征提取更具有有鲁棒性，提取到的特征更为显著。在卷积神经网络中，通过卷积核(也可以称为权重参数)来提取对应的图像通道特征，以得到与卷积核数量相同的特征通道。便是，在对卷积神经网络进行训练前，初始的通道数由工作人员进行设定，即是一个固定的值，由于工作人员无法得知最佳的通道数，因此这个固定的值会存在一定的余量，而这个余量会造成通道数冗余，使得整个卷积网络需要更多的计算资源，计算的时间也较长，也更容易过拟合。面对这个问题，工作人员可以在一次的训练与实验中对神经网络进行通道数的优化，裁剪掉多余的通道数，便这样的裁剪方式需要工作人员一次一次的尝试，存在裁剪效率不高的问题，使得神经网络的优化效率低。
发明内容
本发明实施例提供一种神经网络的优化方法，能够在提高提高卷积神经网络中的冗余通道的剪裁效率，进而提高卷积神经网络的优化效率。
第一方面，本发明实施例提供一种神经网络的优化方法，包括：
获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的卷积通道数为N，所述目标神经网络用于图像属性的分类任务，所述卷积部分用于提取图像属性的分类特征；
获取卷积通道保留因子K/N，其中，N大于K；
根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的卷积通道数为K；
通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络，所述训练数据包括标注有图像属性标签的样本图像；
通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。
可选的，所述卷积通道保留因子K/N为随机值；或者所述K为随机值，N为固定值。
可选的，所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
对所述卷积通道保留因子K/N进行线性变换，得到N数量维度的卷积权重参数；
将所述N数量维度的卷积权重参数按预设规则进行维度裁剪，得到K维度的卷积权重参数，并将所述K数量维度的卷积权重参数传递到所述卷积部分作为所述卷积部分的权重参数，以使所述卷积部分的卷积通道数为K。
可选的，所述卷积部分包括分离卷积部分以及逐点卷积部分，所述分离卷积部分的卷积通道数为N1，所述逐点卷积部分的卷积通道数为N2，所述获取卷积通道保留因子K/N，包括：
获取分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2，其中，所述N1大于所述K1，所述N2大于所述K2；
所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
根据所述分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2分别对所述分离卷积部分以及逐点卷积部分进行通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，所述分离卷积部分的卷积通道数为K1，所述逐点卷积部分的卷积通道数为K2。
可选的，在多次训练过程中：
所述分离卷积通道保留因子K1/N1为以D1为公差，S1为初始值的等差数列中的任意一个值；或者所述K1为以D2为公差，S2为初始值的等差数据中的任意一个值，N1为定值；
所述逐点卷积通道保留因子K2/N2为以D3为公差，S3为初始值的等差数列中的任意一个值；或者所述K2为以D4为公差，S4为初始值的等差数据中的任意一个值，N2为定值。
可选的，所述根据所述卷积通道保留因子K/N对所述卷积部分进行通道裁剪，得到裁剪神经网络，包括：
通过第一变换线程对所述分离卷积通道保留因子K1/N1进行线性变换，得到N1数量维度的分离卷积权重参数；
将所述N1数量维度的分离卷积权重参数按预设规则进行维度裁剪，得到K1数量维度的分离卷积权重参数，并将所述K1数量维度的分离卷积权重参数传递到所述卷积部分作为所述分离卷积部分的权重参数，以使所述分离卷积部分的卷积通道数为K1；
通过第二变换线程对所述逐点卷积通道保留因子K2/N2进行线性变换，得到N2数量维度的逐点卷积权重参数；
将所述N2数量维度的逐点卷积权重参数按预设规则进行维度裁剪，得到K2数量维度的逐点卷积权重参数，并将所述K2数量维度的逐点卷积权重参数传递到所述卷积部分作为所述逐点卷积部分的权重参数，以使所述逐点卷积部分的卷积通道数为K2。
可选的，所述通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络，包括：
通过遗传算法对不同保留因子所对应的训练神经网络进行处理，得到不同卷积通道保留因子所对应的训练神经网络所对应的神经网络个体以及个体评估值；
根据所述个体评估值确定最佳神经网络个体，并选取所述最佳神经网络个体作为最终神经网络。
第二方面，本发明实施例提供一种神经网络的优化装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的通道数为N，所述目标神经网络用于图像属性的分类任务，所述卷积部分用于提取图像属性的分类特征；
第二获取模块，用于获取卷积通道保留因子K/N，其中，N大于K；
裁剪模块，用于根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的卷积通道数为K；
训练模块，用于通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络，所述训练数据包括标注有图像属性标签的样本图像；
选取模块，用于通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。
第三方面，本发明实施例提供一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中任一项所述的神经网络的优化方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例中任一项所述的神经网络的优化方法中的步骤。
本发明实施例中，获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的卷积通道数为N，所述目标神经网络用于图像属性的分类任务，所述卷积部分用于提取图像属性的分类特征；获取卷积通道保留因子K/N，其中，N大于K；根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的通道数为K；通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络，所述训练数据包括标注有图像属性标签的样本图像；通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。通过通道保留因子对目标神经网络的卷积部分进行卷积通道裁剪，可以得到不同通道保留因子所对应的裁剪神经网络，并在裁剪神经网络训练后通过遗传算法，选取得到最终神经网络，提高了卷积通道的裁剪效率，进而提高神经网络的优化效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种神经网络的优化方法的流程图；
图2是本发明实施例提供的一种卷积通道裁剪方法的流程图；
图3是本发明实施例提供的一种神经网络的裁剪示意图；
图4是本发明实施例提供的一种卷积通道数量裁剪的示意图；
图5是本发明实施例提供的另一种神经网络的优化方法的流程图；
图6是本发明实施例提供的一种深度可分离卷积网络的裁剪示意图；
图7是本发明实施例提供的一种神经网络的优化装置的结构示意图；
图8是本发明实施例提供的另一种神经网络的优化装置的结构示意图；
图9是本发明实施例提供的另一种神经网络的优化装置的结构示意图；
图10是本发明实施例提供的另一种神经网络的优化装置的结构示意图。
图11是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种神经网络的优化方法的流程图，如图1所示，包括以下步骤：
101、获取目标神经网络。
在该步骤中，目标神经网络包括卷积部分，上述卷积部分的通道数为N，上述目标神经网络用于图像属性的分类任务，上述卷积部分用于提取图像属性的分类特征。
上述目标神经网络可以是任意用于图像属性分类的卷积神经网络，上述的卷积神经网络可以对图像进行卷积计算，以提取图像的属性特征来进行识别。
上述的卷积部分的通道数为预先进行设定的，在卷积神经网络中，上述的通道数可以通过卷积通道(称权重参数或卷积核)进行维护。可以理解的是，一个卷积通道进行遍历卷积一次图像，对应得到一个特征通道。比如，假设输入图像为RGB三通道，在卷积层进行卷积计算时，该卷积层的卷积通道为1*1*3*8，其中，1*1为卷积核的大小，3为卷积通道的维度，该卷积通道的维度需要与输入图像的通道数相同，因此与RGB三通道数是相同的，8则为卷积核的个数，表示对输入图像进行8次遍历卷积，在卷积后会形成8个特征通道。上述的卷积部分的通道数可以被工作人员预先设定为固定数，即可以理解为上述卷积部分的卷积通道数量为预先设定的固定数。比如，可以设置为10个、50个、100个等。需要说明的是，在本发明实施例中，并不对目标神经网络预先设定的卷积通道数量进行限定。
上述目标神经网络可以是工作人员自行进行搭建的卷积神经网络，也可以是通过从开源网站中获取别人开源的卷积神经网络，可以是训练过的卷积神经网络，也可以没有训练过的卷积神经网络。
进一步的，上述的目标神经网络可以是用于图像分类任务的卷积神经网络，比如用于人员属性分类、车辆属性分类、物体分类等分类任务的卷积神经网络。
上述的人员属性分类可以包括：衣服、帽子、眼镜等属性的分类，上述的车辆属性分类可以包括：品牌、颜色、车身长度等属性的分类，上述的物体分类可以包括：物体颜色、物体大小等属性的分类。
更进一步的，上述的目标神经网络可以是深度可分离卷积神经网络。上述的深度可分离卷积神经网络与传统的多通道卷积神经网络不同，深度可分离卷积神经网络将卷积计算的深度分离出来，使得整体的计算量降低。
上述的深度可分离卷积神经网络可以包括至少一个分离卷积部分以及至少一个逐点卷积部分。上述的逐点卷积后接于一个分离卷积部分以组成一个完整的特征提取单位。在深度可分离卷积神经网络中，可以存在多个串接的特征提取单位，以提高特征的提取能力。
上述的分离卷积部分可以对输入该分离卷积部分的图像进行逐通道卷积，得到与输入图像通道相同的特征通道。上述的逐点卷积部分可以对特征通道进行通道维度上的卷积计算。
比如，假设一个图像为RGB三通道，多通道卷积神经网络中的卷积核为3*3*3*8，卷积核的空间大小为3*3，通道维度(通道深度)为3，卷积核的个数为8，则总共的计算量为3*3*3*8＝216。同样的，在深度可分离卷积神经网络中，通过3个3*3空间大小的卷积核分别对RGB三个通道进行卷积计算，得到3个特征通道，这3个3*3空间大小的卷积核可以默认为通道维度为1，即每个卷积核的张量表达形式为3*3*1。再通过8个1*1*3的逐点卷积核对三个特征通道进行卷积计算，得到8个特征通道，其中1*1*3的卷积可以理解为通道维度为3的1*1卷积核，总共的计算量为3*3*3+1*1*3*8＝51。
102、获取卷积通道保留因子K/N。
其中，N大于K。N为上述步骤1中，工作人员预先设定的固定数。
在本发明实施例中，上述的卷积通道保留因子K/N是小于1，且大于0的，可以是小于1，且大于0的随机数值。
在一种获取方式中，在需要对目标神经网络进行裁剪时，可以通过随机数生成方式获取上述卷积通道保留因子。该方式可以理解为自动生成一个0到1之间的随机数值，用户不需要输出卷积通道保留因子。
在另一种获取方式中，用户可以输入N值，则会根据预设的规则自动生成对应的卷积通道保留因子，比如，当用户输入的N值为10，则预设的规则为小数点后一位，卷积通道保留因子可以在离散型区间[0.1，0.2，0.3，04，0.5，0.6，0.7，0.8，0.9]中进行自动选取。当用户输入的N值为100时，则预设的规则为小数点后两位，卷积通道保留因子可以在离散型区间[0.01，0.02，……，0.99]中进行自动选取。当然，用户也可以直接输入卷积通道保留因子K/N的值。
在另一种获取方式中，用户可以输入N值，或系统自动默认或自动检测N值，在得到N值信息后，随机生成0到N的K值或用户输入对应的K值，并计算K/N，得到对应卷积通道保留因子。
需要说明的是，上述的卷积通道保留因子也可以称为卷积通道保留比例。
当上述目标神经网络中包括多个卷积部分时，则每个卷积部分分别获取对应的卷积通道保留因子，不同卷积部分获取的卷积通道保留因子可以是相同的，也可以是不同的。这样，可以同时对多个卷积部分的卷积通道进行裁剪，进一步提高神经网络的优化效率。需要说明的是，上述的卷积通道也可以称为卷积核。
进一步的，上述的目标神经网络可以是深度可分离卷积神经网络，此时，上述的目标神经网络中的卷积部分可以包括分离卷积部分以及逐点卷积部分。每个分离卷积部分后面串接一个逐点卷积部分。其中，分离卷积部分对图像单通道作高宽上的空间卷积计算，逐点卷积部分对图像多通道作深度上的深度卷积计算，在降低计算量的情况下，将空间信息与深度信息进行结合，避免信息丢失。
上述分离卷积部分的通道数为N1，为目标神经网络中预先设定的固定数(定值)。上述逐点卷积部分的通道数为N2，也为目标神经网络中预先设定的固定数(定值)。
获取分离卷积通道保留因子K1/N1以及逐点卷积通道保留因子K2/N2。
上述的分离卷积部分获取分离卷积通道保留因子K1/N1，以对分离卷积部分的卷积通道进行裁剪，得到剩余K1个卷积通道的分离卷积部分；上述的逐点卷积部分获取逐点卷积通道保留因子K2/N2，以对逐点卷积部分的卷积通道进行裁剪，得到剩余K2个卷积通道的分离卷积部分。上述N1大于上述K1，上述N2大于上述K2
其中，上述的逐点卷积通道的维度与分离卷积通道的数量相同，上述分离卷积通道的数量与输入图像的通道数量相同。
举例来说，假设输入图像为H*W*F0的张量，其中，H、W分别表示输入图像的高、宽，F0表示输入图像的通道数(也可以称为深度)，通过深度可分离卷积神经网络进行特征提取时，会先输入到分离卷积部分。此时，分离卷积通道的个数需要为F0个，每个分离卷积通道的维度(深度)为1，在传统多通道卷积中，每个卷积通道的维度需要为F0。假设卷积通道为3*3*1的张量，则卷积计算后，得到F0个特征通道H*W*1作为逐点卷积部分的输入，其张量形式为H*W*F0。此时，逐点卷积部分中，逐点卷积的卷积通道数量为F1，维度为F0，则逐点卷积通道的张量表达形式为1*1*F0，在逐点卷积部分进行计算后，输出结果的张量表达形式为H*W*F1。
在本发明实施例中，上述的分离卷积通道保留因子K1/N1，以及上述的逐点卷积通道保留因子K2/N2，均是小于1，且大于0的，进一步的，可以是小于1，且大于0的随机数值。
在一种获取方式中，在需要对分离卷积部分和/或逐点卷积部分进行裁剪时，可以通过随机数生成方式获取上述分离卷积通道保留因子以及逐点卷积通道保留因子。该方式可以理解为自动生成一个0到1之间的随机数值，用户不需要输出卷积通道保留因子。
在另一种获取方式中，用户可以输入N1值和/或N2值，则会根据预设的规则自动生成对应的分离卷积通道保留因子和/或逐点卷积通道保留因子，比如，当用户输入的N1值为10，则预设的规则为小数点后一位，分离卷积通道保留因子可以在离散型区间[0.1，0.2，0.3，04，0.5，0.6，0.7，0.8，0.9]中进行自动选取。当用户输入的N2值为100时，则预设的规则为小数点后两位，卷积通道保留因子可以在离散型区间[0.01，0.02，……，0.99]中进行自动选取。当然，用户也可以直接输入分离卷积通道保留因子K1/N1的值，和/或逐点卷积通道保留因子K2/N2的值。
在另一种获取方式中，用户可以输入N1值和/或N2值，或系统自动默认或自动检测N1值和/或N2值，在得到N1值和/或N2值信息后，随机生成0到N1的K1值，和/或随机生成0到N2的K2值，或用户输入对应的K1值和/或K2值，并计算K1/N1和/或K2/N2，得到对应分离卷积通道保留因子和/或逐点卷积通道保留因子。
在另一种获取方式中，由于最初的输入图像可以经过预处理，形成具定值的通道数，比如输入图像为RGB三通道图像时，此时的输入图像的通道为3，则第一个分离卷积部分的分离卷积通道数可以是3即可；在第一个分离卷积部分后，会串接一个逐点卷积部分，用以将提取深度信息，假设逐点卷积部分的逐点卷积通道数为K2，则逐点卷积部分的输出结果为K2通道；此时，第二个分离卷积部分的分离卷积通道数也需要裁剪为K2。这样，在深度可分离卷积神经网络中，也就可以只获取逐点卷积通道保留因子K2/N2即可得到分离卷积通道保留因子K1/N1。这样，可以减少参数的生成量。
103、根据卷积通道保留因子K/N对卷积部分进行卷积通道裁剪，得到裁剪神经网络。
在上述裁剪神经网络中，卷积部分的卷积通道数被裁剪为K。
在该步骤103中，卷积通道保留因子中，N为目标神经网络预告设定的固定值，K为所需要保留的个数，因此，被裁剪的卷积通道数为N－K个。
具体的卷积通道裁剪如图2所示，包括：
201、对卷积通道保留因子K/N进行线性变换，得到N数量维度的卷积权重参数。
在该步骤中，上述的线性变换可以是通过在卷积部分外接至少一个全连接层进行，上述的全连接层中包括有线性变化的权重参数，可以对卷积通道保留因子进行升维或降维处理，以得到对应的卷积权重参数。
其中，卷积通道保留因子K/N为一个数值，也可看作一个一维的1*1的张量，全连接层中的权重参数与可以看作卷积通道，假设全连接层中的卷积通道为1*1*32，其中，3*3为卷积通道的大小信息，32为卷积通道的数量。通过全连接层后，通道保留因子数量维度增加为32维，张量形式为1*1*32。
由于目标神经网络中的卷积部分的卷积通道数为N，所以需要将卷积通道保留因子K/N通过线性变换进行升维，得到到N数量维度，假设目标神经网络中的卷积部分的卷积通道的张量为3*3*3*N，表示卷积通道的大小为3*3，深度为3，数量为N个，则卷积通道保留因子通过全连接层的线性变换，得到卷积权重参数3*3*3*N作为全连接层的输出。
需要说明的是，全连接层的层数可由工作人员进行设定。为使拟合效果更好，可以设置至少两个全连接层。进一步的，还可以在全连接层间设置激活层，进一步提高卷积权重参数的拟合效果。具体的连接结构可以如图3所示，在目标神经网络中的卷积层外接全连接层。
202、将N数量维度的卷积权重参数按预设规则进行维度裁剪，得到K数量维度的卷积权重参数。
在步骤201中，通过全连接层的线性变换，得到N数量维度的卷积权重参数，该卷积权重参数与卷积部分中的卷积通道的大小相同，比如，卷积通道的大小为3*3*3，则该卷积权重参数的大小也为3*3*3。
上述的预设规则可以是裁剪N数量维度中的N－K个数量维度的权重参数，可以是裁剪最开始的N－K个，也可以是裁剪最后的N－K个，还可以是随机裁剪掉N－K个，从而得到K数量维度的卷积权重参数。比如，卷积权重参数的张量为3*3*3*N，则裁剪为3*3*3*K。如图4所示，图4中，3*3*3*5被裁剪为3*3*3*4。
203、将K数量维度的卷积权重参数传递到卷积部分作为卷积部分的权重参数，以使卷积部分的卷积通道数为K。
在该步骤中，K数量维度的卷积权重参数是裁剪过后的卷积权重参数，与卷积通道保留因子中K/N相对应。
步骤202中，卷积通道保留因子在经过全连接层的线性变换后，全连接层的输出已经可以作为目标神经网络中的卷积部分的卷积通道来使用，因此，可以将全连接层输出的权重参数直接进行裁剪，再将裁剪后的权重参数传递到目标神经网络中的卷积部分，用裁剪后的K数量维度的权重参数取代原来的N个卷积通道，使得裁剪后的卷积部分的卷积通道数量为K个，从而完成目标神经网络的裁剪，得到裁剪神经网络。
如图5所示，本发明还提供一种深度可分离卷积神经网络的卷积通道裁剪，包括：
301、通过第一变换线程对分离卷积通道保留因子K1/N1进行线性变换，得到N1数量维度的分离卷积权重参数。
302、将N1数量维度的分离卷积权重参数按预设规则进行维度裁剪，得到K1数量维度的分离卷积权重参数。
303、将K1数量维度的分离卷积权重参数传递到卷积部分作为分离卷积部分的权重参数，以使分离卷积部分的卷积通道数为K1。
304、通过第二变换线程对逐点卷积通道保留因子K2/N2进行线性变换，得到N2数量维度的逐点卷积权重参数。
305、将N2数量维度的逐点卷积权重参数按预设规则进行维度裁剪，得到K2数量维度的逐点卷积权重参数。
306、将K2数量维度的逐点卷积权重参数传递到卷积部分作为逐点卷积部分的权重参数，以使逐点卷积部分的卷积通道数为K2。
其中，上述的步骤301－303为对分离卷积部分的裁剪，上述的步骤304－306为对逐点卷积部分的裁剪，裁剪方法与图2实施例相似，在此不另外赘述。
需要说明的是，上述的第一变换线程与第二变换线程均可以通过全连接层进行线性变换，上述第一变换线程中的全连接层数量可以与第二变换线程中的全连接层数量相同或不同。另外，第一变换线程在数量维度与空间大小上进行升维，即是将1*1*1*1的分离卷积通道保留因子，通过线性变换为3*3*1*N1的张量形式；而第二变换纯种在数量维度与深度维度上进行升维，即是将1*1*1*1的逐点卷积通道保留因子，通过线性变换为1*1*N1*N2的张量形式。
在深度可分离卷积神经网络中，具体的连接结构可以如图6所示，在分离卷积层以及逐点卷积层分别外接全连接层。当然，在第一变换线程与第二变换线程中，存在多个全连接层时，全连接层间也可以设置激活层，以权重参数的拟合效果。
104、通过预先准备的训练数据对裁剪神经网络进行训练，得到训练神经网络。
上述预先准备的训练数据可以根据目标神经网络具体任务进行准备，上述的训练数据可以是包括标注有图像属性标签的样本图像，比如，当目标神经网络的任务为人员属性分类时，则训练数据为人员属性分类图像以及对应标签，当目标神经网络的任务为车辆属性分类时，则训练数据为车辆属性分类图像以及对应标签，当目标神经网络的任务为物体分类时，则训练数据为等分类物体图像以及对应标签。上述的标签可以是通过自动标注系统自动标注的，也可以是人工进行标注的。
在训练过程中，会遍历训练数据与标签，并计算损失值，根据损失值进行反向传播，不断更新各个卷积部分的卷积通道值(权重值)。由于是将全连接的输出直接传递给卷积部分，所以整个过程全程可微，所以更新的梯度误差可以直接作用在线性变换中得到的卷积权重参数上，从而改变线性变换中得到的卷积权重参数，进而改变目标神经网络中卷积部分的卷积通道值。
在多次训练过程中，或以获取多次分离卷积通道保留因子以及多次逐点卷积通道保留因子。
具体的，上述分离卷积通道保留因子K1/N1可以是为以D1为公差，S1为首项的等差数列中的任意一个值；或者上述的K1也可以是为以D2为公差，S2为初始值的等差数据中的任意一个值，N1为定值；
同样的，上述逐点卷积通道保留因子K2/N2可以是为以D3为公差，S3为初始值的等差数列中的任意一个值；或者上述K2可以是为以D4为公差，S4为初始值的等差数据中的任意一个值，N2为定值。
105、通过遗传算法对训练神经网络进行处理，并基于遗传算法的处理结果选取最终神经网络。
在步骤104之后，每遍历完一次训练数据，可以保存一次目标神经网络中卷积部分的卷积通道值(权重值)。
上述的遗传算法是一种全局优化搜索算法，将训练神经网络通过遗传算法进行卷积部分的重组(杂交)，得到不同卷积通道值(权重值)的，新的神经网络个体，并在所有的神经网络个体中搜索最优个体。
具体的，通过遗传算法对不同保留因子所对应的训练神经网络进行处理，得到不同卷积通道保留因子所对应的训练神经网络所对应的神经网络个体以及个体评估值；根据个体评估值确定最佳神经网络个体，并选取最佳神经网络个体作为最终神经网络。
本发明实施例中，获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的卷积通道数为N；获取卷积通道保留因子K/N，其中，N大于K；根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的通道数为K；通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络；通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。通过通道保留因子对目标神经网络的卷积部分进行卷积通道裁剪，可以得到不同通道保留因子所对应的裁剪神经网络，并在裁剪神经网络训练后通过遗传算法，选取得到最终神经网络，提高了卷积通道的裁剪效率，进而提高神经网络的优化效率。
另外，经过裁剪后的目标神经网络在速度和准确度上具有显著提高。在试验过程中，以车辆属性分类任务为例，神经网络选择深度可分离卷积神经网络，对照组为未裁剪的深度可分离卷积神经网络，在车辆属性数据集上进行对比试验，通过训练集迭代训练200轮完成后，通过测试集进行测试。
本试验制作1000类的车辆属性数据集，其中一类的类别代表车辆品牌，车辆具体型号与年份的组合，如丰田凯美瑞2012年。得到以下表1的结果：
速度 准确度
未裁剪 0.62ms 93.8％
裁剪后 0.49ms 95.2％
表1
由表1可看出，裁剪掉冗余卷积通道(卷积核)后，可以降低神经网络过拟合的情况，所以在测试集上准确率反而会有所提升。而裁剪掉冗余卷积通道(卷积核)后，多余计算量降低，所以速度得到提高。
需要说明的是，本发明实施例提供的神经网络的优化方法可以应用于需要对神经网络进行优化的手机、监控器、计算机、服务器等设备。
请参见图7，图7是本发明实施例提供的一种神经网络的优化装置的结构示意图，如图7所示，所述装置包括：
第一获取模块701，用于获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的通道数为N，所述目标神经网络用于图像属性的分类任务，所述卷积部分用于提取图像属性的分类特征；
第二获取模块702，用于获取卷积通道保留因子K/N，其中，N大于K；
裁剪模块703，用于根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的卷积通道数为K；
训练模块704，用于通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络，所述训练数据包括标注有图像属性标签的样本图像；
选取模块705，用于通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。
可选的，所述卷积通道保留因子K/N为随机值；或者所述K为随机值，N为固定值。
可选的，如图8所示，所述裁剪模块703包括：
变换子模块7031，用于对所述卷积通道保留因子K/N进行线性变换，得到N数量维度的卷积权重参数；
裁剪子模块7032，用于将所述N数量维度的卷积权重参数按预设规则进行维度裁剪，得到K数量维度的卷积权重参数，并将所述K数量维度的卷积权重参数传递到所述卷积部分作为所述卷积部分的权重参数，以使所述卷积部分的卷积通道数为K。
可选的，所述卷积部分包括分离卷积部分以及逐点卷积部分，所述分离卷积部分的卷积通道数为N1，所述逐点卷积部分的卷积通道数为N2，所述第二获取模块702还用于获取分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2，其中，所述N1大于所述K1，所述N2大于所述K2；
所述裁剪模块703还用于根据所述分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2分别对所述分离卷积部分以及逐点卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，所述分离卷积部分的卷积通道数为K1，所述逐点卷积部分的卷积通道数为K2。
可选的，在多次训练过程中：
所述分离卷积通道保留因子K1/N1为以D1为公差，S1为初始值的等差数列中的任意一个值；或者所述K1为以D2为公差，S2为初始值的等差数据中的任意一个值，N1为定值；
所述逐点卷积通道保留因子K2/N2为以D3为公差，S3为初始值的等差数列中的任意一个值；或者所述K2为以D4为公差，S4为初始值的等差数据中的任意一个值，N2为定值。
可选的，如图9所示，所述裁剪模块703包括：
第一变换子模块7033，用于通过第一变换线程对所述分离卷积通道保留因子K1/N1进行线性变换，得到N1数量维度的分离卷积权重参数；
第一裁剪子模块7034，用于将所述N1数量维度的分离卷积权重参数按预设规则进行维度裁剪，得到K1数量维度的分离卷积权重参数，并将所述K1数量维度的分离卷积权重参数传递到所述卷积部分作为所述分离卷积部分的权重参数，以使所述分离卷积部分的卷积通道数为K1；
第二变换子模块7035，用于通过第二变换线程对所述逐点卷积通道保留因子K2/N2进行线性变换，得到N2数量维度的逐点卷积权重参数；
第二裁剪子模块7036，用于将所述N2数量维度的逐点卷积权重参数按预设规则进行维度裁剪，得到K2数量维度的逐点卷积权重参数，并将所述K2数量维度的逐点卷积权重参数传递到所述卷积部分作为所述逐点卷积部分的权重参数，以使所述逐点卷积部分的卷积通道数为K2。
可选的，如图10所示，所述选取模块705包括：
遗传处理子模块7051，用于通过遗传算法对不同保留因子所对应的训练神经网络进行处理，得到不同卷积通道保留因子所对应的训练神经网络所对应的神经网络个体以及个体评估值；
个体选取子模块7052，用于根据所述个体评估值确定最佳神经网络个体，并选取所述最佳神经网络个体作为最终神经网络。
需要说明的是，本发明实施例提供的神经网络的优化装置可以应用于需要对神经网络进行优化的手机、监控器、计算机、服务器等设备。
本发明实施例提供的神经网络的优化装置能够实现上述方法实施例中神经网络的优化方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图11，图11是本发明实施例提供的一种电子设备的结构示意图，如图11所示，包括：存储器1102、处理器1101及存储在所述存储器1102上并可在所述处理器1101上运行的计算机程序，其中：
处理器1101用于调用存储器1102存储的计算机程序，执行如下步骤：
获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的卷积通道数为N，所述目标神经网络用于图像属性的分类任务，所述卷积部分用于提取图像属性的分类特征；
获取卷积通道保留因子K/N，其中，N大于K；
根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的卷积通道数为K；
通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络，所述训练数据包括标注有图像属性标签的样本图像；
通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。
可选的，所述卷积通道保留因子K/N为随机值；或者所述K为随机值，N为固定值。
可选的，处理器1101执行的所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
对所述卷积通道保留因子K/N进行线性变换，得到N数量维度的卷积权重参数；
将所述N数量维度的卷积权重参数按预设规则进行维度裁剪，得到K数量维度的卷积权重参数，并将所述K数量维度的卷积权重参数传递到所述卷积部分作为所述卷积部分的权重参数，以使所述卷积部分的卷积通道数为K。
可选的，所述卷积部分包括分离卷积部分以及逐点卷积部分，所述分离卷积部分的卷积通道数为N1，所述逐点卷积部分的卷积通道数为N2，处理器1101执行的所述获取卷积通道保留因子K/N，包括：
获取分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2，其中，所述N1大于所述K1，所述N2大于所述K2；
所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
根据所述分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2分别对所述分离卷积部分以及逐点卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，所述分离卷积部分的卷积通道数为K1，所述逐点卷积部分的卷积通道数为K2。
可选的，在多次训练过程中：
所述分离卷积通道保留因子K1/N1为以D1为公差，S1为初始值的等差数列中的任意一个值；或者所述K1为以D2为公差，S2为初始值的等差数据中的任意一个值，N1为定值；
所述逐点卷积通道保留因子K2/N2为以D3为公差，S3为初始值的等差数列中的任意一个值；或者所述K2为以D4为公差，S4为初始值的等差数据中的任意一个值，N2为定值。
可选的，处理器1101执行的所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
通过第一变换线程对所述分离卷积通道保留因子K1/N1进行线性变换，得到N1数量维度的分离卷积权重参数；
将所述N1数量维度的分离卷积权重参数按预设规则进行维度裁剪，得到K1数量维度的分离卷积权重参数，并将所述K1数量维度的分离卷积权重参数传递到所述卷积部分作为所述分离卷积部分的权重参数，以使所述分离卷积部分的卷积通道数为K1；
通过第二变换线程对所述逐点卷积通道保留因子K2/N2进行线性变换，得到N2数量维度的逐点卷积权重参数；
将所述N2数量维度的逐点卷积权重参数按预设规则进行维度裁剪，得到K2数量维度的逐点卷积权重参数，并将所述K2数量维度的逐点卷积权重参数传递到所述卷积部分作为所述逐点卷积部分的权重参数，以使所述逐点卷积部分的卷积通道数为K2。
可选的，处理器1101执行的所述通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络，包括：
通过遗传算法对不同保留因子所对应的训练神经网络进行处理，得到不同卷积通道保留因子所对应的训练神经网络所对应的神经网络个体以及个体评估值；
根据所述个体评估值确定最佳神经网络个体，并选取所述最佳神经网络个体作为最终神经网络。
需要说明的是，上述电子设备可以是可以应用于需要对神经网络进行优化的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中神经网络的优化方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的神经网络的优化方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种神经网络的优化方法，其特征在于，包括以下步骤：
获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的卷积通道数为N，所述目标神经网络用于图像属性的分类任务，所述卷积部分用于提取图像属性的分类特征；
获取卷积通道保留因子K/N，其中，N大于K；
根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的卷积通道数为K；
通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络，所述训练数据包括标注有图像属性标签的样本图像；
通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。
2.如权利要求1所述的神经网络的优化方法，其特征在于，所述卷积通道保留因子K/N为随机值；或者所述K为随机值，N为固定值。
3.如权利要求1所述的神经网络的优化方法，其特征在于，所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
对所述卷积通道保留因子K/N进行线性变换，得到N数量维度的卷积权重参数；
将所述N数量维度的卷积权重参数按预设规则进行维度裁剪，得到K数量维度的卷积权重参数，并将所述K数量维度的卷积权重参数传递到所述卷积部分作为所述卷积部分的权重参数，以使所述卷积部分的卷积通道数为K。
4.如权利要求1所述的神经网络的优化方法，其特征在于，所述卷积部分包括分离卷积部分以及逐点卷积部分，所述分离卷积部分的卷积通道数为N1，所述逐点卷积部分的卷积通道数为N2，所述获取卷积通道保留因子K/N，包括：
获取分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2，其中，所述N1大于所述K1，所述N2大于所述K2；
所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
根据所述分离卷积通道保留因子K1/N1与逐点卷积通道保留因子K2/N2分别对所述分离卷积部分以及逐点卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，所述分离卷积部分的卷积通道数为K1，所述逐点卷积部分的卷积通道数为K2。
5.如权利要求4所述的神经网络的优化方法，其特征在于，在多次训练过程中：
所述分离卷积通道保留因子K1/N1为以D1为公差，S1为初始值的等差数列中的任意一个值；或者所述K1为以D2为公差，S2为初始值的等差数据中的任意一个值，N1为定值；
所述逐点卷积通道保留因子K2/N2为以D3为公差，S3为初始值的等差数列中的任意一个值；或者所述K2为以D4为公差，S4为初始值的等差数据中的任意一个值，N2为定值。
6.如权利要求4所述的神经网络的优化方法，其特征在于，所述根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，包括：
通过第一变换线程对所述分离卷积通道保留因子K1/N1进行线性变换，得到N1数量维度的分离卷积权重参数；
将所述N1数量维度的分离卷积权重参数按预设规则进行维度裁剪，得到K1数量维度的分离卷积权重参数，并将所述K1数量维度的分离卷积权重参数传递到所述卷积部分作为所述分离卷积部分的权重参数，以使所述分离卷积部分的卷积通道数为K1；
通过第二变换线程对所述逐点卷积通道保留因子K2/N2进行线性变换，得到N2数量维度的逐点卷积权重参数；
将所述N2数量维度的逐点卷积权重参数按预设规则进行维度裁剪，得到K2数量维度的逐点卷积权重参数，并将所述K2数量维度的逐点卷积权重参数传递到所述卷积部分作为所述逐点卷积部分的权重参数，以使所述逐点卷积部分的卷积通道数为K2。
7.如权利要求1所述的神经网络的优化方法，其特征在于，所述通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络，包括：
通过遗传算法对不同保留因子所对应的训练神经网络进行处理，得到不同卷积通道保留因子所对应的训练神经网络所对应的神经网络个体以及个体评估值；
根据所述个体评估值确定最佳神经网络个体，并选取所述最佳神经网络个体作为最终神经网络。
8.一种神经网络的优化装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标神经网络，所述目标神经网络包括卷积部分，所述卷积部分的通道数为N，所述目标神经网络用于图像属性的分类任务，所述卷积部分用于提取图像属性的分类特征；
第二获取模块，用于获取卷积通道保留因子K/N，其中，N大于K；
裁剪模块，用于根据所述卷积通道保留因子K/N对所述卷积部分进行卷积通道裁剪，得到裁剪神经网络，在所述裁剪神经网络中，卷积部分的卷积通道数为K；
训练模块，用于通过预先准备的训练数据对所述裁剪神经网络进行训练，得到训练神经网络，所述训练数据包括标注有图像属性标签的样本图像；
选取模块，用于通过遗传算法对所述训练神经网络进行处理，并基于所述遗传算法的处理结果选取最终神经网络。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的神经网络的优化方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的神经网络的优化方法中的步骤。
CN202010275066.7A 2020-04-09 2020-04-09 神经网络的优化方法及装置、电子设备及存储介质 Pending CN113516224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010275066.7A CN113516224A (zh) 2020-04-09 2020-04-09 神经网络的优化方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010275066.7A CN113516224A (zh) 2020-04-09 2020-04-09 神经网络的优化方法及装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113516224A true CN113516224A (zh) 2021-10-19

Family

ID=78060190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010275066.7A Pending CN113516224A (zh) 2020-04-09 2020-04-09 神经网络的优化方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113516224A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071359A (zh) * 2023-03-08 2023-05-05 中汽研新能源汽车检验中心(天津)有限公司 一种电池老化程度检测方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071359A (zh) * 2023-03-08 2023-05-05 中汽研新能源汽车检验中心(天津)有限公司 一种电池老化程度检测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP3138058A1 (en) Method and apparatus for classifying object based on social networking service, and storage medium
CN109918498B (zh) 一种问题入库方法和装置
JP2008542911A (ja) メトリック埋め込みによる画像比較
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN108009594A (zh) 一种基于变分组卷积的图像识别方法
CN113642445B (zh) 一种基于全卷积神经网络的高光谱影像分类方法
CN110443296B (zh) 面向高光谱图像分类的数据自适应激活函数学习方法
CN111126401A (zh) 一种基于上下文信息的车牌字符识别方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
WO2021195643A1 (en) Pruning compression of convolutional neural networks
WO2021178981A1 (en) Hardware-friendly multi-model compression of neural networks
CN110674333B (zh) 基于多视图增强深度哈希的大规模图像高速检索方法
CN113516224A (zh) 神经网络的优化方法及装置、电子设备及存储介质
CN110956201A (zh) 一种基于卷积神经网络的图像失真类型分类方法
CN110427870B (zh) 眼部图片识别方法、目标识别模型训练方法及装置
CN112085164A (zh) 一种基于无锚框网络的区域推荐网络提取方法
CN115619774B (zh) 染色体异常识别方法、系统及存储介质
KR20210038027A (ko) 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법
CN115760687A (zh) 一种基于多尺度空间自适应空洞卷积的图像分割方法
CN117689890B (zh) 一种基于晴雾场景的语义分割方法、装置及存储介质
CN116662415B (zh) 基于数据挖掘的智能匹配方法及系统
US20240144447A1 (en) Saliency maps and concept formation intensity for diffusion models
CN117851650B (zh) 一种基于用户群和强化学习的项目推荐方法、系统和设备
CN118097089B (zh) 基于整体性网络的夜间仓储机器人目标检测方法及系统
CN113139576B (zh) 一种结合图像复杂度的深度学习图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination