CN117236375A - 深度学习模型的获取方法、装置、电子设备及介质 - Google Patents
深度学习模型的获取方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117236375A CN117236375A CN202311418922.XA CN202311418922A CN117236375A CN 117236375 A CN117236375 A CN 117236375A CN 202311418922 A CN202311418922 A CN 202311418922A CN 117236375 A CN117236375 A CN 117236375A
- Authority
- CN
- China
- Prior art keywords
- model
- trained
- training
- lightweight
- chemical raw
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013136 deep learning model Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000013138 pruning Methods 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000011002 quantification Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种深度学习模型的获取方法、装置、电子设备及介质，属于计算机技术领域。该方法包括：获取教师模型和待训练轻量化学生模型；设置训练集及最大轮次，所述训练集包括多个训练子集；执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度，能够在有限的计算资源下实现高效的深度估计算法，且鲁棒性强。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种深度学习模型的获取方法、装置、电子设备及介质。
背景技术
双目深度估计是计算机视觉领域中的一个重要问题，它的目标是通过分析两个摄像头(或者图像)之间的视差信息来估计场景中物体的距离或深度。轻量化的难点主要是：计算资源限制：在实际应用中，嵌入式系统计算资源通常有限。双目深度估计需要进行大量的计算。对于包括双目深度估计模型在内的深度学习模型的轻量化的挑战在于如何在有限的计算资源下实现高效的深度估计算法。
发明内容
为了解决上述技术问题，本申请实施例提供了一种深度学习模型的获取方法、装置、电子设备及介质。
第一方面，本申请实施例提供了一种深度学习模型的获取方法，所述方法包括：
获取教师模型和待训练轻量化学生模型；
设置训练集及最大轮次，所述训练集包括多个训练子集；
执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度。
在一实施方式中，执行对待训练轻量化学生模型的一次剪枝处理和轮次训练，包括：
在每一次剪枝处理中，获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，根据各卷积核的剪枝系数对当前轮次的待训练轻量化学生模型进行剪枝处理，得到当前轮次的剪枝后轻量化学生模型；
在每一轮次训练中，向所述教师模型输入对应的训练子集，通过所述教师模型输出第一输出结果，根据所述第一输出结果和超参数确定对应轮次的训练目标；
向剪枝后轻量化学生模型输入对应的训练子集，以所述训练目标对所述剪枝后轻量化学生模型进行训练。
在一实施方式中，剪枝后轻量化学生模型的训练子集的数据量随着轮次增加而增加，当前轮次的待训练轻量化学生模型为上一轮次的训练后轻量化学生模型。
在一实施方式中，所述获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，包括：
根据当前轮次的待训练轻量化学生模型的各卷积核的核值，确定当前轮次的待训练轻量化学生模型的各卷积核的权重；
根据所述目标稀疏度、当前轮次、剪枝次数确定目标序号；
对当前轮次的待训练轻量化学生模型的各卷积核的权重进行排序；
确定排列序号在所述目标序号之前的目标卷积核，将所述目标卷积核的剪枝系数设置为0。
在一实施方式中，所述方法还包括：
采用动态范围量化对训练好的轻量化学生模型进行量化，得到量化后学生模型。
在一实施方式中，执行对量化后学生模型的重复剪枝处理和轮次训练，直至达到所述预设终止条件。
在一实施方式中，所述教师模型为双目深度估计教师模型，所述待训练轻量化学生模型为待训练轻量化双目深度估计学生模型，所述训练好的轻量化学生模型为轻量化双目深度估计模型。
第二方面，本申请实施例提供了一种深度学习模型的获取装置，所述装置包括：
获取模块，用于获取教师模型和待训练轻量化学生模型；
设置模块，用于设置训练集及最大轮次，所述训练集包括多个训练子集；
执行模块，用于执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的深度学习模型的获取方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的深度学习模型的获取方法。
上述本申请提供的深度学习模型的获取方法、装置、电子设备及介质，获取教师模型和待训练轻量化学生模型；设置训练集及最大轮次，所述训练集包括多个训练子集；执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度，能够在有限的计算资源下实现高效的深度估计算法，且鲁棒性强。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提供的深度学习模型的获取方法的一流程示意图；
图2示出了本申请实施例提供的一原理示意图；
图3示出了本申请实施例提供的一卷积层示意图；
图4示出了本申请实施例提供的一卷积核的映射关系示意图；
图5示出了本申请实施例提供的一量化过程示意图；
图6示出了本申请实施例提供的深度学习模型的获取装置的一结构示意图。
图标：600-深度学习模型的获取装置，601-获取模块，602-设置模块，603-执行模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
在现有技术中，对于包括双目深度估计模型在内的深度学习模型的轻量化的难点主要包括以下4方面：1.计算资源限制：在实际应用中，嵌入式系统计算资源通常有限。如何在有限的计算资源下实现高效的深度估计算法。
2.网络结构设计：传统的网络结构比较复杂，包含大量3D卷积和循环，不适合实现轻量化。因此轻量化难点在于设计紧凑、高效的网络结构，以减少参数数量和计算复杂度，同时保持较高的深度估计精度。
3.数据集和训练：深度学习方法通常需要大量的标注数据进行训练，以获得准确的深度估计模型。然后轻量化模型的泛化能力会相应变差，当数据集的复杂度太高，会导致轻量化模型无法收敛。因此训练中的难点在于如何通过有效的数据增强技术、迁移学习或半监督学习等方法，从有限的标注数据中训练出高效的深度估计模型。
4.实时性和稳定性：轻量化的深度估计算法通常需要在实时场景下进行深度估计，并且需要保持较高的估计精度和稳定性。稳定性要求算法对噪声、遮挡和光照变化等因素具有较好的鲁棒性。轻量化的难点在于在满足实时性和稳定性要求的同时，保持较高的深度估计质量。
实施例1
本申请实施例提供了一种深度学习模型的获取方法。
参见图1，深度学习模型的获取方法包括步骤S101-S103，下面对给步骤进行说明。
步骤S101，获取教师模型和待训练轻量化学生模型。
参见图2，在算法1(algorithm 1)中，采用知识提取训练轻量级神经网络(trainlight i weight neural naetwork with knowledge distillation)，获取获取教师模型Teacherθt和待训练轻量化学生模型Studentθs。
步骤S102，设置训练集及最大轮次，所述训练集包括多个训练子集。
参见图2，设置训练集Dataset X＝{x1，x2…xn}，设置最大轮次Max epoch E，设置学习率learning rate lr。设置超参数Temperature T。
步骤S103，执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度。
请参见图2，Ensure：|f(x|θs)-y)|＜∈，e＝E表示待训练轻量化学生模型的训练最终目标，∈是训练停止的超参数，可以是0.8。
表示求神经元梯度的公式。表示神经元参数更新的公式。
在一实施方式中，执行对待训练轻量化学生模型的一次剪枝处理和轮次训练，包括：
在每一次剪枝处理中，获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，根据各卷积核的剪枝系数对当前轮次的待训练轻量化学生模型进行剪枝处理，得到当前轮次的剪枝后轻量化学生模型；
在每一轮次训练中，向所述教师模型输入对应的训练子集，通过所述教师模型输出第一输出结果，根据所述第一输出结果和超参数确定对应轮次的训练目标；
向剪枝后轻量化学生模型输入对应的训练子集，以所述训练目标对所述剪枝后轻量化学生模型进行训练。
在本实施例中，剪枝后轻量化学生模型的训练子集的数据量随着轮次增加而增加，当前轮次的待训练轻量化学生模型为上一轮次的训练后轻量化学生模型。
需要补充说明的是，输入剪枝后轻量化学生模型的训练子集的数据量随着轮次(epoch)增加而增加，以此缓慢提升待训练轻量化学生模型的训练复杂度，防止待训练轻量化学生模型在面对太复杂的情况下无法收敛。
在一实施方式中，所述获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，包括：
根据当前轮次的待训练轻量化学生模型的各卷积核的核值，确定当前轮次的待训练轻量化学生模型的各卷积核的权重；
根据所述目标稀疏度、当前轮次、剪枝次数确定目标序号；
对当前轮次的待训练轻量化学生模型的各卷积核的权重进行排序；
确定排列序号在所述目标序号之前的目标卷积核，将所述目标卷积核的剪枝系数设置为0。
参见图3，图3为待训练轻量化学生模型的一卷积层的示意图，该待训练轻量化学生模型的卷积层带有剪枝系数的卷积操作。在本实施例中，可以预先设置目标稀疏度c、剪枝次数n、逐步对待训练轻量化学生模型进行剪枝，设当前轮次(epoch)为e，则可以采用以下步骤确定剪枝系数：第一步，剪枝系数取决于卷积核的权重，卷积核的权重采用以下公式计算，其中，am表示第m个卷积核的权重，km表示第m个卷积核的核值(kernel)，∑kn表示所有卷积核的核值的总和(从第1至n的所有卷积核的核值的总和)。第m个卷积核的权重越大，卷积值(kernel)越重要，第m个卷积核的权重越小越不重要，最后不重要的会被剪枝。
第二步，对各个卷积核的权重进行从小到大排序，根据以下公式确定目标序号，x＝c×(e/n)，其中，x表示目标序号，c为目标稀疏度，e为当前轮次，n为所有卷积核的数量。将排列序号小于目标序号x的目标卷积核的剪枝系数置0。这样，按重要程度排序，然后删除排序在后的卷积核。
在一实施方式中，所述方法还包括：
采用动态范围量化对训练好的轻量化学生模型进行量化，得到量化后学生模型。
在本实施例中，使用动态范围量化对学生模型进行量化。但是量化会引入精度损失。因此需要对量化后的模型进行微调，以恢复性能损失并提高模型的准确性。
示范性的，可以采用8位量化实现量化张量的表示。参见图4，rmin、rmax表示训练好的轻量化学生模型在量化前的卷积核的值的最小值、最大值，qmin、qmax表示量化后学生模型卷积核的值的最小值、最大值。
通过以下公式计算量化后的卷积核的值：
其中，Z表示量化后的卷积核的值，S表示量化前的卷积核的值的相差范围，round表示返回一个数值。上述公式的含义为：实现正则化，根据卷积层内部所有kernel的最大值和最小值，对这层卷积按照上述公式做正则，重新将卷积核的值映射到[-128,127]。量化后包含两个主要部分：由int8补码值表示的逐轴(即逐通道)或逐张量权重，范围为[-127,127]，零点等于0。由int8补码值表示的按张量激活/输入，范围为[-128,127]，零点范围为[-128,127]。
参见图5，对于输入数据input为uint8，权重weights为uint8，经过卷积(conv)得到输出数据为uint32，blases数据为uint32，将blases数据和uint32的输出数据融合处理，得到uint8的输出数据，uint8的输出数据通过激活函数ReLU6激活处理，得到输出数据output为uint8。
在一实施方式中，所述方法还包括：
执行对量化后学生模型的重复剪枝处理和轮次训练，直至达到所述预设终止条件。
在本实施例中，执行对量化后学生模型的重复剪枝处理和轮次训练，和前述执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，两者执行步骤相似，为避免重复，在此不做赘述。
在一实施方式中，所述教师模型为双目深度估计教师模型，所述待训练轻量化学生模型为待训练轻量化双目深度估计学生模型，所述训练好的轻量化学生模型为轻量化双目深度估计模型。
这样，可以面向双目深度估计模型进行轻量化处理，降低双目深度估计模型进行轻量化处理成本，且设计紧凑、高效的网络结构，以减少参数数量和计算复杂度，同时保持较高的深度估计精度，鲁棒性强。
本实施例提供的深度学习模型的获取方法，获取教师模型和待训练轻量化学生模型；设置训练集及最大轮次，所述训练集包括多个训练子集；执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度，能够在有限的计算资源下实现高效的深度估计算法，且鲁棒性强。
实施例2
此外，本申请实施例提供了一种深度学习模型的获取装置。
如图6所示，深度学习模型的获取装置600包括：
获取模块601，用于获取教师模型和待训练轻量化学生模型；
设置模块602，用于设置训练集及最大轮次，所述训练集包括多个训练子集；
执行模块603，用于执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度。
在一实施方式中，执行模块603，用于在每一次剪枝处理中，获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，根据各卷积核的剪枝系数对当前轮次的待训练轻量化学生模型进行剪枝处理，得到当前轮次的剪枝后轻量化学生模型；
在每一轮次训练中，向所述教师模型输入对应的训练子集，通过所述教师模型输出第一输出结果，根据所述第一输出结果和超参数确定对应轮次的训练目标；
向剪枝后轻量化学生模型输入对应的训练子集，以所述训练目标对所述剪枝后轻量化学生模型进行训练。
在一实施方式中，剪枝后轻量化学生模型的训练子集的数据量随着轮次增加而增加，当前轮次的待训练轻量化学生模型为上一轮次的训练后轻量化学生模型。
在一实施方式中，执行模块603，用于根据当前轮次的待训练轻量化学生模型的各卷积核的核值，确定当前轮次的待训练轻量化学生模型的各卷积核的权重；
根据所述目标稀疏度、当前轮次、剪枝次数确定目标序号；
对当前轮次的待训练轻量化学生模型的各卷积核的权重进行排序；
确定排列序号在所述目标序号之前的目标卷积核，将所述目标卷积核的剪枝系数设置为0。
在一实施方式中，深度学习模型的获取装置600还包括：
量化模块，用于采用动态范围量化对训练好的轻量化学生模型进行量化，得到量化后学生模型。
在一实施方式中，深度学习模型的获取装置600还包括：
处理模块，用于执行对量化后学生模型的重复剪枝处理和轮次训练，直至达到所述预设终止条件。
在一实施方式中，所述教师模型为双目深度估计教师模型，所述待训练轻量化学生模型为待训练轻量化双目深度估计学生模型，所述训练好的轻量化学生模型为轻量化双目深度估计模型。
本实施例提供的深度学习模型的获取装置600可以实现实施例1所提供的深度学习模型的获取方法，为避免重复，在此不再赘述。
本实施例提供的深度学习模型的获取装置，获取教师模型和待训练轻量化学生模型；设置训练集及最大轮次，所述训练集包括多个训练子集；执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度，能够在有限的计算资源下实现高效的深度估计算法，且鲁棒性强。
实施例3
此外，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的深度学习模型的获取方法。
本实施例提供的电子设备可以实现实施例1所提供的深度学习模型的获取方法，为避免重复，在此不再赘述。
实施例4
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的深度学习模型的获取方法。
在本实施例中，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本实施例提供的计算机可读存储介质可以实现实施例1所提供的深度学习模型的获取方法，为避免重复，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种深度学习模型的获取方法，其特征在于，所述方法包括：
获取教师模型和待训练轻量化学生模型；
设置训练集及最大轮次，所述训练集包括多个训练子集；
执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度。
2.根据权利要求1所述的方法，其特征在于，执行对待训练轻量化学生模型的一次剪枝处理和轮次训练，包括：
在每一次剪枝处理中，获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，根据各卷积核的剪枝系数对当前轮次的待训练轻量化学生模型进行剪枝处理，得到当前轮次的剪枝后轻量化学生模型；
在每一轮次训练中，向所述教师模型输入对应的训练子集，通过所述教师模型输出第一输出结果，根据所述第一输出结果和超参数确定对应轮次的训练目标；
向剪枝后轻量化学生模型输入对应的训练子集，以所述训练目标对所述剪枝后轻量化学生模型进行训练。
3.根据权利要求2所述的方法，其特征在于，剪枝后轻量化学生模型的训练子集的数据量随着轮次增加而增加，当前轮次的待训练轻量化学生模型为上一轮次的训练后轻量化学生模型。
4.根据权利要求2所述的方法，其特征在于，所述获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，包括：
根据当前轮次的待训练轻量化学生模型的各卷积核的核值，确定当前轮次的待训练轻量化学生模型的各卷积核的权重；
根据所述目标稀疏度、当前轮次、剪枝次数确定目标序号；
对当前轮次的待训练轻量化学生模型的各卷积核的权重进行排序；
确定排列序号在所述目标序号之前的目标卷积核，将所述目标卷积核的剪枝系数设置为0。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
采用动态范围量化对训练好的轻量化学生模型进行量化，得到量化后学生模型。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
执行对量化后学生模型的重复剪枝处理和轮次训练，直至达到所述预设终止条件。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述教师模型为双目深度估计教师模型，所述待训练轻量化学生模型为待训练轻量化双目深度估计学生模型，所述训练好的轻量化学生模型为轻量化双目深度估计模型。
8.一种深度学习模型的获取装置，其特征在于，所述装置包括：
获取模块，用于获取教师模型和待训练轻量化学生模型；
设置模块，用于设置训练集及最大轮次，所述训练集包括多个训练子集；
执行模块，用于执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度。
9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的深度学习模型的获取方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的深度学习模型的获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311418922.XA CN117236375A (zh) | 2023-10-27 | 2023-10-27 | 深度学习模型的获取方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311418922.XA CN117236375A (zh) | 2023-10-27 | 2023-10-27 | 深度学习模型的获取方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117236375A true CN117236375A (zh) | 2023-12-15 |
Family
ID=89089598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311418922.XA Pending CN117236375A (zh) | 2023-10-27 | 2023-10-27 | 深度学习模型的获取方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117236375A (zh) |
-
2023
- 2023-10-27 CN CN202311418922.XA patent/CN117236375A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6483667B2 (ja) | ベイズの最適化を実施するためのシステムおよび方法 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| WO2019155064A1 (en) | Data compression using jointly trained encoder, decoder, and prior neural networks | |
| CN113128419B (zh) | 一种障碍物识别方法和装置、电子设备及存储介质 | |
| CN114358203B (zh) | 图像描述语句生成模块的训练方法及装置、电子设备 | |
| CN110930996B (zh) | 模型训练方法、语音识别方法、装置、存储介质及设备 | |
| CN111553477A (zh) | 图像处理方法、装置及存储介质 | |
| CN111105017A (zh) | 神经网络量化方法、装置及电子设备 | |
| CN113240079A (zh) | 一种模型训练方法及装置 | |
| CN111694977A (zh) | 一种基于数据增强的车辆图像检索方法 | |
| CN111724370A (zh) | 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统 | |
| CN116188878A (zh) | 基于神经网络结构微调的图像分类方法、装置和存储介质 | |
| CN116264847A (zh) | 用于生成机器学习多任务模型的系统和方法 | |
| CN117496582B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| CN116416212B (zh) | 路面破损检测神经网络训练方法及路面破损检测神经网络 | |
| CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN116543259A (zh) | 一种深度分类网络噪声标签建模与纠正方法、系统及存储介质 | |
| CN117236375A (zh) | 深度学习模型的获取方法、装置、电子设备及介质 | |
| CN114970732A (zh) | 分类模型的后验校准方法、装置、计算机设备及介质 | |
| CN110659962B (zh) | 一种商品信息输出方法及相关装置 | |
| Latif et al. | Online Multimodal Compression using Pruning and Knowledge Distillation for Iris Recognition | |
| CN116992944B (zh) | 基于可学习重要性评判标准剪枝的图像处理方法及装置 | |
| CN113298248B (zh) | 一种针对神经网络模型的处理方法、装置以及电子设备 | |
| US12112524B2 (en) | Image augmentation method, electronic device and readable storage medium | |
| Saxena et al. | Semantic image completion and enhancement using gans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |