CN111242285A - 一种深度学习模型的训练方法、系统、装置及存储介质 - Google Patents
一种深度学习模型的训练方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN111242285A CN111242285A CN202010025976.XA CN202010025976A CN111242285A CN 111242285 A CN111242285 A CN 111242285A CN 202010025976 A CN202010025976 A CN 202010025976A CN 111242285 A CN111242285 A CN 111242285A
- Authority
- CN
- China
- Prior art keywords
- neural network
- training
- filter
- layer
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013136 deep learning model Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 101
- 230000006870 function Effects 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Filters That Use Time-Delay Elements (AREA)
Abstract
本发明公开了一种深度学习模型的训练方法、系统、装置及存储介质。该方法通过获取神经网络中各层节点的联结权重；基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；当联结权重更新后的神经网络收敛时输出所述神经网络。通过使用本发明中的方法能够在训练模型的过程中根据滤波器的正交性调整训练网络，有效解决了模型的过拟合问题，提升了模型的训练性能和精确度。本发明可广泛应用于人工智能技术领域内。
Description
技术领域
本发明涉及人工智能技术领域，尤其是一种深度学习模型的训练方法、系统、装置及存储介质。
背景技术
深度学习解决了许多具有挑战的问题，其成果已经广泛地应用于计算机视觉、语音识别、自然语言处理等领域。基于深度学习图像识别、视频处理、语音识别等技术在边缘计算系统的端设备上有巨大的应用前景和需求。然而传统的深度学习模型通常包含大量的参数冗余，容易遇到过拟合问题，在训练过程中难以保证得到最优的结果。目前，现有技术中还缺少一种良好的训练机制，以用于解决以上问题。
发明内容
本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本发明实施例的一个目的在于提供一种深度学习模型的训练方法，该方法能够在训练模型的过程中根据滤波器的正交性调整训练网络，有效解决了模型的过拟合问题，提升了模型的训练性能和精确度。
本发明实施例的另一个目的在于提供一种深度学习模型的训练系统。
为了达到上述技术目的，本发明实施例所采取的技术方案包括：
第一方面，本发明实施例提供了一种深度学习模型的训练方法，包括以下步骤：
获取神经网络中各层节点的联结权重；
基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；
根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；
基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；
当联结权重更新后的神经网络收敛时，输出所述神经网络。
另外，根据本发明上述实施例的深度学习模型的训练方法，还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述获取神经网络中各层节点的联结权重这一步骤之前，还包括模型初始化步骤；
所述模型初始化步骤具体包括：
建立神经网络的输入层、隐藏层和输出层；
对所述神经网络中各层节点的联结权重进行初始赋值；
确定所述神经网络的激活函数和误差函数。
进一步地，在本发明的一个实施例中，所述确定所述神经网络的激活函数这一步骤，其具体包括：
将sigmoid函数作为所述神经网络的激活函数；
所述sigmoid函数的公式为sigmoid(x)＝1/(1+e^(-x))。
进一步地，在本发明的一个实施例中，所述基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值这一步骤，其具体包括：
获取所述联结权重的矩阵，并确定各个卷积层的归一化权重；
基于各个卷积层的所述归一化权重，确定卷积层内各个滤波器的正交性度量值。
进一步地，在本发明的一个实施例中，所述根据各个滤波器的所述正交性度量值对所述神经网络进行优化这一步骤，其具体包括：
对各个滤波器的所述正交性度量值按照大小关系进行排序；
基于预设阈值对所述正交性度量值进行筛选；
根据筛选结果剔除掉所述神经网络中的部分滤波器，得到子神经网络。
进一步地，在本发明的一个实施例中，所述基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新这一步骤，其具体包括：
对所述子神经网络进行QR分解，得到每一层中的滤波器的零空间向量；
通过所述滤波器的零空间向量，更新所述联结权重。
第二方面，本发明实施例提出了一种深度学习模型的训练系统，包括：
获取模块，用于获取神经网络中各层节点的联结权重；
处理模块，用于基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；
网络优化模块，用于根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；
权重更新模块，用于基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；
输出模块，用于当联结权重更新后的神经网络收敛时，输出所述神经网络。
第三方面，本发明实施例提供了一种深度学习模型的训练装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现所述的深度学习模型的训练方法。
第四方面，本发明实施例还提供了一种介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的深度学习模型的训练方法。
本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：
本发明实施例能够基于神经网络卷积层中滤波器间的正交性(inter-filterorthogonality)度量值，在训练过程中自动调整训练的网络结构和滤波器的正交性，可以有效解决模型的过拟合问题，极大地提升了模型的训练性能和精确度。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本发明一种深度学习模型的训练方法具体实施例的流程示意图；
图2为本发明一种深度学习模型具体实施例的结构示意图；
图3为本发明一种深度学习模型的训练系统具体实施例的结构示意图；
图4为本发明一种深度学习模型的训练装置具体实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
下面参照附图详细描述根据本发明实施例提出的深度学习模型的训练方法和系统，首先将参照附图描述根据本发明实施例提出的深度学习模型的训练方法。
参照图1，本发明实施例中所述的深度学习模型的训练方法，主要包括以下步骤：
S1：获取神经网络中各层节点的联结权重；
S2：基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；
S3：根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；
S4：基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；
S5：当联结权重更新后的神经网络收敛时，输出所述神经网络。
本发明实施例中，提供了一种基于滤波器正交性改善深度学习模型训练的方法。针对神经网络中的参数冗余问题，基于卷积层内的滤波器间的正交性(inter-filterorthogonality)提出了一个度量。在经过一定数量的标准训练迭代后，选择暂时丢弃模型中的一部分滤波器。在对简化的子神经网络进行权重更新后，再重新引入先前丢弃的滤波器，使用更新后的权重进行初始化，并继续进行标准训练。在重新引入之前丢弃的滤波器之后，该深度学习模型能够比下降之前获得更高的性能，重复应用该过程获得的模型优于通过标准训练获得的模型，并且可以大大加快模型的训练速度。
进一步作为优选的实施方式，所述获取神经网络中各层节点的联结权重这一步骤之前，还包括模型初始化步骤；
所述模型初始化步骤具体包括：
建立神经网络的输入层、隐藏层和输出层；
对所述神经网络中各层节点的联结权重进行初始赋值；
确定所述神经网络的激活函数和误差函数。
具体地，本发明实施例中模型初始化可以参照图2，图2中的{x1,x2,x3}表示输入，wij(k)表示联结权重，其中i表示每次输入中的第i个元素，j表示经过联结权重处理之后的输出中的第j个元素，k表示该联结权重是第k层到第(k+1)层之间的联结权重。aij表示经过联结权重处理后的输出，其中i表示第i层，j表示第j个输出；H(x)表示激活函数，Zij表示aij经过激活函数处理之后的输出，即Zij＝H(aij)。{y1,y2,y3}表示经过神经网络处理之后最终的输出。
进一步作为优选的实施方式，所述确定所述神经网络的激活函数这一步骤，其具体包括：
将sigmoid函数作为所述神经网络的激活函数；
所述sigmoid函数的公式为sigmoid(x)＝1/(1+e^(-x))。
本发明实施例中，经过模型初始化后的网络可以采用前向传播算法训练，具体地，对给定的网络中每个结点的联结权重赋初始值，并且选定一个激活函数，本发明实施例中选定sigmoid函数作为函数，其函数形式为：
有了联结权重w和激活函数H(x)之后，就可以由前往后计算，依次算出所有的a值，z值，最终算出输出层的y值，即前向传播算法。
进一步作为优选的实施方式，所述基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值这一步骤，其具体包括：
获取所述联结权重的矩阵，并确定各个卷积层的归一化权重；
基于各个卷积层的所述归一化权重，确定卷积层内各个滤波器的正交性度量值。
进一步作为优选的实施方式，所述根据各个滤波器的所述正交性度量值对所述神经网络进行优化这一步骤，其具体包括：
对各个滤波器的所述正交性度量值按照大小关系进行排序；
基于预设阈值对所述正交性度量值进行筛选；
根据筛选结果剔除掉所述神经网络中的部分滤波器，得到子神经网络。
本发明实施例中，根据滤波器间的正交性对每一层节点的权重W进行排序，从大到小删除掉正交性最靠前的30％，得到一个子神经网络。实际的删除比例可以根据需要自行调节。本发明实施例中的所述正交性度量值通过以下原理获得：
内核大小为k×k的滤波器通常是形状为k×k×c的3D张量，其中c是输入激活中的通道数。将该张量展开为大小为k*k*c的1D向量，并用f表示。用Jl表示卷积层l中的滤波器数量，l∈L，L是神经网络中卷积层的总数量。
将神经网络中卷积层l的联结权重化为一个矩阵Wl，Wl中每一行表示卷积层l中展开的滤波器向量。表示卷积层l的归一化权重公式为：
则卷积层l中滤波器的正交性度量值表示如下：
其中
Pl是一个大小为Jl×Jl的矩阵，Pl[i]表示Pl的第i行。Pl的第i行非对角线元素表示其他滤波器对第i个滤波器的投影，可以理解为相关性。当其他滤波器与该给定滤波器正交时，行的总和最小。如果此值在网络中的所有滤波器中最大，则我们将该滤波器排名为最不重要(需要进行剔除)。本发明实施例中，在单个卷积层上计算滤波器的度量，在整个网络中对所有滤波器计算排名。考虑到每一卷积层滤波器的维度不一致，为了使得排名更为合理，滤波器的正交性度量值Of应当乘以一个参数以消除维度干扰。本发明实施例中，在进行权重初始化时，对所述子神经网络进行QR分解，得到每一层中的滤波器的零空间向量；通过所述滤波器的零空间向量，更新所述联结权重。
更进一步地，前面用初始后化的联结权重计算的输出层值和实际值肯定会有很大的偏差，我们需要对联结权重进行优化，此时就需要使用反向传播算法。
假设经过前向传播算法计算的某个输出值为yk，表示输出层的第k个输出，而其实际的值为tk，那么误差函数定义如下：
反向传播算法是通过梯度下降的方法对联结权重进行优化，所以需要计算误差函数对联结权重的偏导数δ。先根据输出层的误差，计算出输出层对应的δ，然后再依次反向往前推出隐藏层的δ。其实第k层的某个δk，相当于从第k+1层的δk+1中分配了一部分误差过来，而这个分配的权重，就是前向传播算法中使用的联结权重w，所以这类似于一个反复的过程。
综上，本发明提出一种基于正交性度量的深度学习模型训练方法，与传统的训练方法相比，该方法根据正交性对每一层节点的权重W进行排序，从大到小删除掉正交性度量值靠前的固定百分比的权重，得到子网络，并对权重进行更新，重新初始化，根据线性代数里面的QR分解，求得子神经网络每一层滤波器的零空间向量，用零空间中的向量重新初始化滤波器的权重。该方法主要解决训深度学习模型训练中的过拟合问题，删除权重和重新初始化交替进行多次后达到优化网络模型的目的。
本发明基于卷积层内滤波器间的正交性(inter-filter orthogonality)，根据其正交性度量值在训练过程中自动调整，有效解决模型的过拟合问题，从而提升模型的训练性能和精确度。
其次，参照附图描述根据本发明实施例提出的深度学习模型的训练系统。
图3是本发明一个实施例的深度学习模型的训练系统结构示意图。
所述系统具体包括：
获取模块101，用于获取神经网络中各层节点的联结权重；
处理模块102，用于基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；
网络优化模块103，用于根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；
权重更新模块104，用于基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；
输出模块105，用于当联结权重更新后的神经网络收敛时，输出所述神经网络。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图4，本发明实施例提供了一种深度学习模型的训练装置，包括：
至少一个处理器201；
至少一个存储器202，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器201执行时，使得所述至少一个处理器201实现所述的深度学习模型的训练方法。
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种存储介质，其中存储有处理器201可执行的指令，所述处理器201可执行的指令在由处理器201执行时用于执行所述的深度学习模型的训练方法。
同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的物体销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件物体的形式体现出来，该计算机软件物体存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种深度学习模型的训练方法，其特征在于，包括以下步骤：
获取神经网络中各层节点的联结权重；
基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；
根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；
基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；
当联结权重更新后的神经网络收敛时，输出所述神经网络。
2.根据权利要求1所述的一种深度学习模型的训练方法，其特征在于，所述获取神经网络中各层节点的联结权重这一步骤之前，还包括模型初始化步骤；
所述模型初始化步骤具体包括：
建立神经网络的输入层、隐藏层和输出层；
对所述神经网络中各层节点的联结权重进行初始赋值；
确定所述神经网络的激活函数和误差函数。
3.根据权利要求2所述的一种深度学习模型的训练方法，其特征在于，所述确定所述神经网络的激活函数这一步骤，其具体包括：
将sigmoid函数作为所述神经网络的激活函数；
所述sigmoid函数的公式为
4.根据权利要求1所述的一种深度学习模型的训练方法，其特征在于，所述基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值这一步骤，其具体包括：
获取所述联结权重的矩阵，并确定各个卷积层的归一化权重；
基于各个卷积层的所述归一化权重，确定卷积层内各个滤波器的正交性度量值。
5.根据权利要求1-4中任一项所述的一种深度学习模型的训练方法，其特征在于，所述根据各个滤波器的所述正交性度量值对所述神经网络进行优化这一步骤，其具体包括：
对各个滤波器的所述正交性度量值按照大小关系进行排序；
基于预设阈值对所述正交性度量值进行筛选；
根据筛选结果剔除掉所述神经网络中的部分滤波器，得到子神经网络。
6.根据权利要求5所述的一种深度学习模型的训练方法，其特征在于，所述基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新这一步骤，其具体包括：对所述子神经网络进行QR分解，得到每一层中的滤波器的零空间向量；
通过所述滤波器的零空间向量，更新所述联结权重。
7.一种深度学习模型的训练系统，其特征在于，包括：
获取模块，用于获取神经网络中各层节点的联结权重；
处理模块，用于基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；
网络优化模块，用于根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；
权重更新模块，用于基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；
输出模块，用于当联结权重更新后的神经网络收敛时，输出所述神经网络。
8.一种深度学习模型的训练装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6中任一项所述的一种深度学习模型的训练方法。
9.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-6中任一项所述的一种深度学习模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010025976.XA CN111242285A (zh) | 2020-01-06 | 2020-01-06 | 一种深度学习模型的训练方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010025976.XA CN111242285A (zh) | 2020-01-06 | 2020-01-06 | 一种深度学习模型的训练方法、系统、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111242285A true CN111242285A (zh) | 2020-06-05 |
Family
ID=70874403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010025976.XA Pending CN111242285A (zh) | 2020-01-06 | 2020-01-06 | 一种深度学习模型的训练方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242285A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598114A (zh) * | 2020-12-17 | 2021-04-02 | 海光信息技术股份有限公司 | 功耗模型构建方法、功耗测量方法、装置和电子设备 |
| CN112950591A (zh) * | 2021-03-04 | 2021-06-11 | 鲁东大学 | 用于卷积神经网络的滤波器裁剪方法及贝类自动分类系统 |
| CN113537492A (zh) * | 2021-07-19 | 2021-10-22 | 第六镜科技(成都)有限公司 | 模型训练及数据处理方法、装置、设备、介质、产品 |
| CN113641684A (zh) * | 2021-10-18 | 2021-11-12 | 上海英哈科技有限公司 | 物联网大数据处理装置及方法 |
| CN114897154A (zh) * | 2022-03-23 | 2022-08-12 | 阿里巴巴（中国）有限公司 | 数据预测方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846445A (zh) * | 2018-06-26 | 2018-11-20 | 清华大学 | 一种基于相似性学习的卷积神经网络滤波器剪枝技术 |
-
2020
- 2020-01-06 CN CN202010025976.XA patent/CN111242285A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846445A (zh) * | 2018-06-26 | 2018-11-20 | 清华大学 | 一种基于相似性学习的卷积神经网络滤波器剪枝技术 |
Non-Patent Citations (1)
| Title |
|---|
| AADITYA PRAKASH ET AL.: "RePr: Improved Training of Convolutional Filters", ARXIV:1811.07275V3 [CS.CV], 25 February 2019 (2019-02-25), pages 1 - 13 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598114A (zh) * | 2020-12-17 | 2021-04-02 | 海光信息技术股份有限公司 | 功耗模型构建方法、功耗测量方法、装置和电子设备 |
| CN112598114B (zh) * | 2020-12-17 | 2023-11-03 | 海光信息技术股份有限公司 | 功耗模型构建方法、功耗测量方法、装置和电子设备 |
| CN112950591A (zh) * | 2021-03-04 | 2021-06-11 | 鲁东大学 | 用于卷积神经网络的滤波器裁剪方法及贝类自动分类系统 |
| CN112950591B (zh) * | 2021-03-04 | 2022-10-11 | 鲁东大学 | 用于卷积神经网络的滤波器裁剪方法及贝类自动分类系统 |
| CN113537492A (zh) * | 2021-07-19 | 2021-10-22 | 第六镜科技(成都)有限公司 | 模型训练及数据处理方法、装置、设备、介质、产品 |
| CN113537492B (zh) * | 2021-07-19 | 2024-04-26 | 第六镜科技(成都)有限公司 | 模型训练及数据处理方法、装置、设备、介质、产品 |
| CN113641684A (zh) * | 2021-10-18 | 2021-11-12 | 上海英哈科技有限公司 | 物联网大数据处理装置及方法 |
| CN114897154A (zh) * | 2022-03-23 | 2022-08-12 | 阿里巴巴（中国）有限公司 | 数据预测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242285A (zh) | 一种深度学习模型的训练方法、系统、装置及存储介质 | |
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| CN111814966A (zh) | 神经网络架构搜索方法、神经网络应用方法、设备及存储介质 | |
| WO2022100379A1 (zh) | 基于图像和三维模型的物体姿态估计方法、系统及介质 | |
| CN112766315B (zh) | 一种用于测试人工智能模型鲁棒性的方法和系统 | |
| CN109635922B (zh) | 一种分布式深度学习参数量化通信优化方法及系统 | |
| CN113362250B (zh) | 一种基于双树四元小波与深度学习的图像去噪方法及系统 | |
| CN111224905B (zh) | 一种大规模物联网中基于卷积残差网络的多用户检测方法 | |
| CN111950711A (zh) | 复值前向神经网络的二阶混合构建方法及系统 | |
| CN113297427A (zh) | 一种基于u型嵌套网络的图分类方法 | |
| CN112686376A (zh) | 一种基于时序图神经网络的节点表示方法及增量学习方法 | |
| CN111738435B (zh) | 一种基于移动设备的在线稀疏训练方法及系统 | |
| CN114819143A (zh) | 一种适用于通信网现场维护的模型压缩方法 | |
| CN115310594A (zh) | 一种提高网络嵌入算法可扩展性的方法 | |
| CN111967528B (zh) | 基于稀疏编码的深度学习网络结构搜索的图像识别方法 | |
| CN113987236A (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
| CN115860113B (zh) | 一种自对抗神经网络模型的训练方法及相关装置 | |
| CN109982095B (zh) | 基于cnn与gep的分形图像压缩编码方法 | |
| CN113962262B (zh) | 一种基于连续学习的雷达信号智能分选方法 | |
| CN116543259A (zh) | 一种深度分类网络噪声标签建模与纠正方法、系统及存储介质 | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| KR102393761B1 (ko) | 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템 | |
| CN117035045A (zh) | 模型参数更新方法、装置、设备、存储介质和程序产品 | |
| CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和系统 | |
| Sarkar et al. | An incremental pruning strategy for fast training of CNN models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 510630 room 1101, building 1, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province (office use only) Applicant after: Guangdong Yitong Lianyun Intelligent Information Co.,Ltd. Address before: 510630 building 1101, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province Applicant before: YITONG CENTURY INTERNET OF THINGS RESEARCH INSTITUTE (GUANGZHOU) Co.,Ltd. |