CN109102017B - 神经网络模型处理方法、装置、设备及可读存储介质 - Google Patents
神经网络模型处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN109102017B CN109102017B CN201810903730.0A CN201810903730A CN109102017B CN 109102017 B CN109102017 B CN 109102017B CN 201810903730 A CN201810903730 A CN 201810903730A CN 109102017 B CN109102017 B CN 109102017B
- Authority
- CN
- China
- Prior art keywords
- weight
- neural network
- network model
- value
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种神经网络模型处理方法、装置、设备及可读存储介质，方法包括：获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。通过至少一轮历史学习过程中的历史学习数据中的最优权重为下一轮学习过程设置权重，从而能够提高神经网络模型的学习效率。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种神经网络模型处理方法、装置、设备及可读存储介质。
背景技术
在图像识别领域，利用机器学习算法模型对图像进行识别成为主流方法。在各类的机器学习算法模型中，其内的权重值能够在很大程度上决定整个机器学习算法模型的训练质量。
由于神经网络在对待历史学习数据进行学习时，为了使后续模型性能更稳定，往往需要对一批待历史学习数据进行多轮学习。现有的权重值设置方法一般都是直接获取上一轮学习过程结束时的权重值，并将该权重值直接设置为下一轮学习过程的初始权重值。
但是，由于神经网络中的权重值往往与收敛损失值相对应，上一轮结束时的权重值可能使收敛损失值较高，因此对学习结果会产生负面影响。此外，由于在数据学习过程中，需要根据当前的学习情况实时对权重值进行调节，而导致的学习效率低。
发明内容
本发明提供一种神经网络模型处理方法、装置、设备及可读存储介质，用于解决现有技术中直接获取上一轮学习结束时的权重值，并将该权重值直接设置为下一轮学习过程的初始权重值而导致的神经网络学习效率低的技术问题。
本发明的第一个方面是提供一种神经网络模型处理方法，包括：
获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；
根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型；
根据所述训练完毕的神经网络模型对待识别图像进行识别，获得图像识别结果。
在其中一种可选的实施方式中，所述获取神经网络模型至少一轮历史学习过程中的历史学习数据，包括：
针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势。
在其中一种可选的实施方式中，所述根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重，包括：
确定所述至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值；
将所述数值最小的收敛损失值对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重。
在其中一种可选的实施方式中，所述根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重，包括：
确定所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
将所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重。
在其中一种可选的实施方式中，所述通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型之后，还包括：
将当前学习过程中的权重值以及所述权重值对应的收敛损失值添加至所述历史学习数据。
本发明的另一个方面是提供一种神经网络模型处理方法，包括：
接收待识别图像；
根据训练完毕的神经网络模型对所述待识别图像进行识别，获得图像识别结果，所述训练完毕的神经网络模型是利用如上述的神经网络模型处理方法训练获得的。
本发明的又一个方面是提供一种神经网络模型处理装置，包括：
历史学习数据获取模块，用于获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；
初始权重设置模块，用于根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
训练模块，用于通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型；
识别模块，用于根据所述训练完毕的神经网络模型对待识别图像进行识别，获得图像识别结果。
在其中一种可选的实施方式中，所述历史学习数据获取模块包括：
调整单元，用于针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录单元，用于记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势。
在其中一种可选的实施方式中，所述初始权重设置模块包括：
第一获取单元，用于确定所述至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值；
第一初始权重获取单元，用于将所述数值最小的收敛损失值对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重。
在其中一种可选的实施方式中，所述初始权重设置模块包括：
第二获取单元，用于确定所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
第二初始权重获取单元，用于将所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重。
在其中一种可选的实施方式中，所述装置还包括：
历史学习数据确定模块，用于将当前学习过程中的权重值以及所述权重值对应的收敛损失值添加至所述历史学习数据。
本发明的又一个方面是提供一种神经网络模型处理装置，包括：
接收模块，用于接收待识别图像；
识别模块，用于根据训练完毕的神经网络模型对所述待识别图像进行识别，获得图像识别结果，所述训练完毕的神经网络模型是利用如上述的神经网络模型处理方法训练获得的。
本发明的又一个方面是提供一种神经网络模型处理设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如所述上述的神经网络模型处理方法。
本发明的又一个方面是提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述的神经网络模型处理方法。
本发明的又一个方面是提供一种神经网络模型处理设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如所述上述的神经网络模型处理方法。
本发明的又一个方面是提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述的神经网络模型处理方法。
本发明提供的神经网络模型处理方法、装置、设备及可读存储介质，通过获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。通过至少一轮历史学习过程中的历史学习数据中的最优权重为下一轮学习过程设置权重，从而能够提高神经网络模型的学习效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的神经网络模型处理方法的流程示意图；
图2为本发明实施例二提供的神经网络模型处理方法的流程示意图；
图3为本发明实施例三提供的神经网络模型处理方法的流程示意图；
图4为本发明实施例四提供的神经网络模型处理装置的结构示意图；
图5为本发明实施例五提供的神经网络模型处理装置的结构示意图；
图6为本发明实施例六提供的神经网络模型处理设备的结构示意图；
图7为本发明实施例七提供的神经网络模型处理设备的结构示意图；
图8为本发明实施例八提供的神经网络模型处理设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例所获得的所有其他实施例，都属于本发明保护的范围。
在图像识别领域，利用机器学习算法模型对图像进行识别成为主流方法。在各类的机器学习算法模型中，其内的权重值能够在很大程度上决定整个机器学习算法模型的训练质量。
由于神经网络在对待历史学习数据进行学习时，为了使后续模型性能更稳定，往往需要对一批待历史学习数据进行多轮学习。现有的权重值设置方法一般都是直接获取上一轮学习过程结束时的权重值，并将该权重值直接设置为下一轮学习过程的初始权重值。
但是，由于神经网络中的权重值往往与收敛损失值相对应，上一轮结束时的权重值可能使收敛损失值较高，因此对学习结果会产生负面影响。此外，由于在数据学习过程中，需要根据当前的学习情况实时对权重值进行调节，而导致的学习效率低。
为了解决上述技术问题，本发明提供一种神经网络模型处理方法、装置、设备及可读存储介质，能够增加神经网络模型的学习效率。
图1为本发明实施例一提供的神经网络模型处理方法的流程示意图，如图1所示，所述方法包括：
步骤101、获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值。
需要说明的是，本发明提供的神经网络模型处理方法的执行主体具体可为神经网络模型处理装置，该神经网络模型处理装置可通过硬件和/或软件的方式实现。一般可集成于云端服务器中，与存放有各类图像的数据服务器配合使用，此外，图像识别所基于的服务器可与数据服务器为同一服务器，或者为隶属于同一服务器集群的不同服务器，本发明对此均不进行限制。
在本实施方式中，由于现有技术中一般都是直接获取上一轮学习过程结束时的权重值，并将该权重值直接设置为下一轮学习过程的初始权重值，而上一轮结束时的权重值可能使收敛损失值较高，因此对学习结果会产生负面影响。由于神经网络在对待历史学习数据进行学习时，为了使后续模型性能更稳定，往往需要对一批待历史学习数据进行多轮学习，因此，为了解决上述技术问题，可以获取神经网络模型至少一轮历史学习过程中的历史学习数据，具体地，历史学习数据包括历史学习过程中全部权重值以及与权重值对应的收敛损失值。
一般来说，该神经网络模型的类型包括但不限于卷积神经网络、长短期记忆神经网络、深度信念网络、生成对抗式网络、循环神经网络等等，本发明对神经网络模型的类型不进行限制，本领域技术人员可根据实际需求自行构建。
步骤102、根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重。
在本实施方式中，获取到神经网络模型至少一轮历史学习过程中的历史学习数据之后，为了提高后续学习过程中的学习效率，可以确定历史学习数据中的最优权重，并根据该最优权重为神经网络模型的下一轮学习过程设置初始权重。需要说明的是，由于最优权重对应最优学习效率，因此，直接将最优权重设置为下一轮学习过程的初始权重，既能够保证下一轮学习在初始状态的学习效率较高，进而能够提高神经网络模型的训练效率。
步骤103、通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
在本实施方式中，为下一轮学习过程设置完初始权重之后，可以通过训练集中的待训练图像数据对已设置初始权重的神经网络模型进行训练，获得训练完毕的神经网络模型。具体来说，在训练集中的每一待训练图像数据均包括相应的数据值和对该图像对应的识别结果；当利用训练集对神经网络模型进行迭代训练时，一旦其神经网络模型所输出的预测结果与识别结果之间的距离或交叉熵不再发生改变，即可称其为训练完毕，此时对应输出的距离损失值或交叉熵损失值可称之为该机器学习算法模型对应的收敛损失值。
本实施例提供的神经网络模型处理方法，通过获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。通过至少一轮历史学习过程中的历史学习数据中的最优权重为下一轮学习过程设置权重，从而能够提高神经网络模型的学习效率。
进一步地，在上述实施例的基础上，所述方法包括：
针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势；
根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
在本实施例中，由于在历史学习过程中，为了保证神经网络模型的学习效率，需要对当前学习过程中神经网络模型的各权重值进行调整。具体地，针对每一历史学习过程，可以接受权重调整请求，并根据该权重调整请求实现对当前学习过程的权重值的调整。并针对每次调整，记录权重值以及与该权重值对应的收敛损失值的数值和/或变化趋势，将权重值以及与该权重值对应的收敛损失值的数值和/或变化趋势作为历史学习数据。为了提高后续学习过程中的学习效率，可以确定历史学习数据中的最优权重，并根据该最优权重为神经网络模型的下一轮学习过程设置初始权重。通过训练集中的待训练图像数据对已设置初始权重的神经网络模型进行训练，获得训练完毕的神经网络模型。
本实施例提供的神经网络模型处理方法，通过对历史学习数据的获取与记录，从而能够为后续下一轮学习过程的初始权重的设置提供了基础，进而能够提高神经网络模型的训练效率。
进一步地，在上述任一实施例的基础上，所述方法包括：
针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势；
确定所述至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值；
将所述数值最小的收敛损失值对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
在本实施例中，获取并记录历史学习数据之后，可以确定至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值，并将至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值对应的权重作为当前的最优权重。直接将该最优权重设置为下一轮学习过程的初始权重，从而能够使下一轮学习过程的初始收敛损失值最小，进而能够保证神经网络模型的学习效率较高。通过训练集中的待训练图像数据对已设置初始权重的神经网络模型进行训练，获得训练完毕的神经网络模型。
本实施例提供的神经网络模型处理方法，通过将至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值对应的权重作为当前的最优权重，并直接将最优权重设置为下一轮学习过程的初始权重，从而能够使下一轮学习过程的初始收敛损失值最小，即学习效率最高，进而能够提高神经网络模型的学习效率。
进一步地，在上述实施例的基础上，所述方法包括：
针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势；
确定所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
将所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
在本实施例中，获取并记录历史学习数据之后，可以确定收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；将收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为最优权重，根据最优权重为神经网络模型的下一轮学习过程设置初始权重。直接将收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为下一学习过程中的初始权重，能够保证下一轮学习过程能够以一个较高的学习效率对带训练数据进行学习，进而能够提高神经网络模型的学习效率。通过训练集中的待训练图像数据对已设置初始权重的神经网络模型进行训练，获得训练完毕的神经网络模型。
本实施例提供的神经网络模型处理方法，通过直接将收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为下一学习过程中的初始权重，能够保证下一轮学习过程能够以一个较高的学习效率对带训练数据进行学习，进而能够提高神经网络模型的学习效率。
图2为本发明实施例二提供的神经网络模型处理方法的流程示意图，在上述任一实施例的基础上，如图2所示，所述方法包括：
步骤201、获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；
步骤202、根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
步骤203、通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型；
步骤204、将当前学习过程中的权重值以及所述权重值对应的收敛损失值添加至所述历史学习数据。
在本实施例中，获取神经网络模型至少一轮历史学习过程中的历史学习数据，根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重，通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型之后，为了进一步地提高神经网络学习的效率，在每一轮学习结束之后，可以对本轮的权重值与收敛损失值进行记录，并将当前已获取到的历史学习数据进行比对，确定能够使当前学习效率最好的权重值，将其作为下一轮学习的初始权重值。具体地，可以重复执行上述步骤，直至获取到训练好的神经网络模型，通过该神经网络模型对待识别图像进行识别。
本实施例提供的神经网络模型处理方法，通过在每一轮学习结束之后，对本轮的权重值与收敛损失值进行记录，并将当前已获取到的历史学习数据进行比对，确定能够使当前学习效率最好的权重值，将其作为下一轮学习的初始权重值。从而能够提高神经网络的学习效率。
图3为本发明实施例三提供的神经网络模型处理方法的流程示意图，在上述任一实施例的基础上，如图3所示，所述方法包括：
步骤301、接收待识别图像；
步骤302、根据训练完毕的神经网络模型对所述待识别图像进行识别，获得图像识别结果。
在本实施例中，通过获取神经网络模型至少一轮历史学习过程中的历史学习数据，历史学习数据包括至少一组权重值以及与权重值对应的收敛损失值；根据历史学习数据中的最优权重为神经网络模型的下一轮学习过程设置初始权重；通过训练集中的待训练图像数据对已设置初始权重的神经网络模型进行训练，获得训练完毕的神经网络模型之后，可以通过训练完毕的神经网络模型实现对图像的识别。具体地，可以接收待识别图像，并根据训练完毕的神经网络模型对待识别图像进行识别，获得图像识别结果。
本实施例提供的神经网络模型处理方法，通过接收待识别图像，并根据训练完毕的神经网络模型对待识别图像进行识别，获得图像识别结果，从而能够快速地获得待识别图像的信息。
图4为本发明实施例四提供的神经网络模型处理装置的结构示意图，如图4所示，所述装置包括：
历史学习数据获取模块41，用于获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值。
初始权重设置模块42，用于根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重。
训练模块44，用于通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
本实施例提供的神经网络模型处理装置，通过获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。通过至少一轮历史学习过程中的历史学习数据中的最优权重为下一轮学习过程设置权重，从而能够提高神经网络模型的学习效率。
进一步地，在上述实施例的基础上，所述装置包括：
历史学习数据获取模块具体包括：
调整单元，用于针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录单元，用于记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势；
初始权重设置模块，用于根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
训练模块，用于通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
本实施例提供的神经网络模型处理装置，通过对历史学习数据的获取与记录，从而能够为后续下一轮学习过程的初始权重的设置提供了基础，进而能够提高神经网络模型的训练效率。
进一步地，在上述任一实施例的基础上，所述装置包括：
历史学习数据获取模块具体包括：
调整单元，用于针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录单元，用于记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势；
初始权重设置模块具体包括：
第一获取单元，用于确定所述至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值；
第一初始权重获取单元，用于将所述数值最小的收敛损失值对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
训练模块，用于通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
本实施例提供的神经网络模型处理装置，通过将至少一轮历史学习过程中的历史学习数据中数值最小的收敛损失值对应的权重作为当前的最优权重，并直接将最优权重设置为下一轮学习过程的初始权重，从而能够使下一轮学习过程的初始收敛损失值最小，即学习效率最高，进而能够提高神经网络模型的学习效率。
进一步地，在上述实施例的基础上，所述装置包括：
历史学习数据获取模块具体包括：
调整单元，用于针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录单元，用于记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势；
初始权重设置模块具体包括：
第二获取单元，用于确定所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
第二初始权重获取单元，用于将所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为所述最优权重，根据所述最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
训练模块，用于通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型。
本实施例提供的神经网络模型处理装置，通过直接将收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为下一学习过程中的初始权重，能够保证下一轮学习过程能够以一个较高的学习效率对带训练数据进行学习，进而能够提高神经网络模型的学习效率。
图5为本发明实施例五提供的神经网络模型处理装置的结构示意图，在上述任一实施例的基础上，如图5所示，所述装置包括：
历史学习数据获取模块51，用于获取神经网络模型至少一轮历史学习过程中的历史学习数据，所述历史学习数据包括至少一组权重值以及与所述权重值对应的收敛损失值；
初始权重设置模块52，用于根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；
训练模块53，用于通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型；
历史学习数据确定模块54，用于将当前学习过程中的权重值以及所述权重值对应的收敛损失值添加至所述历史学习数据。
本实施例提供的神经网络模型处理装置，通过在每一轮学习结束之后，对本轮的权重值与收敛损失值进行记录，并将当前已获取到的历史学习数据进行比对，确定能够使当前学习效率最好的权重值，将其作为下一轮学习的初始权重值。从而能够提高神经网络的学习效率。
图6为本发明实施例六提供的神经网络模型处理设备的结构示意图，在上述任一实施例的基础上，如图5所示，所述神经网络模型处理装置包括：
接收模块61，用于接收待识别图像；
识别模块62，用于根据训练完毕的神经网络模型对所述待识别图像进行识别，获得图像识别结果。
本实施例提供的神经网络模型处理装置，通过接收待识别图像，并根据训练完毕的神经网络模型对待识别图像进行识别，获得图像识别结果，从而能够快速地获得待识别图像的信息。
图7为本发明实施例七提供的神经网络模型处理设备的结构示意图，如图7所示，所述神经网络模型处理设备包括：存储器71，处理器72；
存储器71；用于存储所述处理器72可执行指令的存储器71；
其中，所述处理器72被配置为由所述处理器72执行如所述上述的神经网络模型处理方法。
本发明的又一实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述的神经网络模型处理方法。
图8为本发明实施例八提供的神经网络模型处理设备的结构示意图，如图8所示，所述神经网络模型处理设备包括：存储器81，处理器82；
存储器81；用于存储所述处理器82可执行指令的存储器81；
其中，所述处理器81被配置为由所述处理器81执行如所述上述的神经网络模型处理方法。
本发明的又一实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述的神经网络模型处理方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种图像识别方法，其特征在于，包括：获取神经网络模型多轮历史学习过程中的历史学习数据，所述历史学习数据包括多组权重值以及与所述权重值对应的收敛损失值；所述收敛损失值包括距离损失值或交叉熵损失值；
根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；所述最优权重为多轮历史学习过程中的历史学习数据中数值最小的收敛损失值对应的权重；或者，所述最优权重为收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型；所述待训练图像数据包括待训练图像对应的数据值以及识别结果；所述训练集中的每一待训练图像数据均包括数据值和对所述图像对应的识别结果；所述历史学习数据是采用历史图像对所述神经网络模型进行训练后获得的；其中，所述训练集中的待训练图像数据用于对所述神经网络模型进行迭代训练，直至所述神经网络模型所输出的预测结果与所述图像对应的识别结果之间的距离或交叉熵不再改变，训练完毕；
接收待识别图像；
根据所述训练完毕的神经网络模型对所述待识别图像进行识别，获得图像识别结果。
2.根据权利要求1所述的方法，其特征在于，所述获取神经网络模型多轮历史学习过程中的历史学习数据，包括：
针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势。
3.根据权利要求2所述的方法，其特征在于，在所述根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重之前，还包括：
确定所述多轮历史学习过程中的历史学习数据中数值最小的收敛损失值；
将所述数值最小的收敛损失值对应的权重值作为所述最优权重。
4.根据权利要求2所述的方法，其特征在于，在所述根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重，还包括：
确定所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
将所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为所述最优权重。
5.根据权利要求1所述的方法，其特征在于，所述通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型之后，还包括：
将当前学习过程中的权重值以及所述权重值对应的收敛损失值添加至所述历史学习数据。
6.一种图像识别装置，其特征在于，包括：
历史学习数据获取模块，用于获取神经网络模型多轮历史学习过程中的历史学习数据，所述历史学习数据包括多组权重值以及与所述权重值对应的收敛损失值；所述收敛损失值包括距离损失值或交叉熵损失值；
初始权重设置模块，用于根据所述历史学习数据中的最优权重为所述神经网络模型的下一轮学习过程设置初始权重；所述最优权重为多轮历史学习过程中的历史学习数据中数值最小的收敛损失值对应的权重；或者，所述最优权重为收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
训练模块，用于通过训练集中的待训练图像数据对已设置初始权重的所述神经网络模型进行训练，获得训练完毕的神经网络模型；所述待训练图像数据包括待训练图像对应的数据值以及识别结果；所述训练集中的每一待训练图像数据均包括数据值和对所述图像对应的识别结果；所述历史学习数据是采用历史图像对所述神经网络模型进行训练后获得的；其中，所述训练集中的待训练图像数据用于对所述神经网络模型进行迭代训练，直至所述神经网络模型所输出的预测结果与所述图像对应的识别结果之间的距离或交叉熵不再改变，训练完毕；
接收模块，用于接收待识别图像；
识别模块，用于根据所述训练完毕的神经网络模型对所述待识别图像进行识别，获得图像识别结果。
7.根据权利要求6所述的装置，其特征在于，所述历史学习数据获取模块包括：
调整单元，用于针对每一所述历史学习过程，接收权重调整请求，根据所述权重调整请求对当前学习过程的权重值进行调整；
记录单元，用于记录所述权重值以及所述权重值对应的收敛损失值的数值和/或变化趋势。
8.根据权利要求7所述的装置，其特征在于，所述初始权重设置模块包括：
第一获取单元，用于确定所述多轮历史学习过程中的历史学习数据中数值最小的收敛损失值；
第一初始权重获取单元，用于将所述数值最小的收敛损失值对应的权重值作为所述最优权重。
9.根据权利要求7所述的装置，其特征在于，所述初始权重设置模块包括：
第二获取单元，用于确定所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值；
第二初始权重获取单元，用于将所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时对应的权重值作为所述最优权重。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
历史学习数据确定模块，用于将当前学习过程中的权重值以及所述权重值对应的收敛损失值添加至所述历史学习数据。
11.一种图像识别设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如所述权利要求1-5中任一项所述的图像识别 方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至5任一项所述的图像识别 方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810903730.0A CN109102017B (zh) | 2018-08-09 | 2018-08-09 | 神经网络模型处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810903730.0A CN109102017B (zh) | 2018-08-09 | 2018-08-09 | 神经网络模型处理方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109102017A CN109102017A (zh) | 2018-12-28 |
| CN109102017B true CN109102017B (zh) | 2021-08-03 |
Family
ID=64849322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810903730.0A Active CN109102017B (zh) | 2018-08-09 | 2018-08-09 | 神经网络模型处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109102017B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009048B (zh) * | 2019-04-10 | 2021-08-24 | 苏州浪潮智能科技有限公司 | 一种神经网络模型的构建方法以及设备 |
| CN110147883B (zh) * | 2019-05-28 | 2022-06-03 | 航天科工系统仿真科技（北京）有限公司 | 用于作战仿真的模型的训练方法、装置、设备和存储介质 |
| CN111862585B (zh) * | 2019-07-23 | 2021-11-02 | 北京嘀嘀无限科技发展有限公司 | 用于交通预测的系统和方法 |
| CN111584045B (zh) * | 2020-05-14 | 2023-07-14 | 上海深至信息科技有限公司 | 一种超声影像模型的自训练及自部署系统及方法 |
| CN112183728B (zh) * | 2020-09-29 | 2021-07-20 | 上海松鼠课堂人工智能科技有限公司 | 基于深度学习的学习策略生成方法和系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707256A (zh) * | 2012-06-20 | 2012-10-03 | 北京航空航天大学 | 基于BP-AdaBoost神经网络的电子式电能表故障诊断方法 |
| CN103839412A (zh) * | 2014-03-27 | 2014-06-04 | 北京建筑大学 | 一种基于贝叶斯加权的路口动态转向比例组合估计方法 |
| CN104700099A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术（北京）有限公司 | 识别交通标志的方法和装置 |
| CN106235525A (zh) * | 2016-08-23 | 2016-12-21 | 深圳市云智数据服务有限公司 | 一种鞋码预测方法及系统 |
| CN107092960A (zh) * | 2017-04-17 | 2017-08-25 | 中国民航大学 | 一种改进的并行通道卷积神经网络训练方法 |
| CN107169573A (zh) * | 2017-05-05 | 2017-09-15 | 第四范式（北京）技术有限公司 | 利用复合机器学习模型来执行预测的方法及系统 |
| CN107330518A (zh) * | 2017-06-21 | 2017-11-07 | 国家电网公司 | 基于温度调节负荷预测的能源管理控制方法和系统 |
| CN107392310A (zh) * | 2016-05-16 | 2017-11-24 | 北京陌上花科技有限公司 | 神经网络模型训练方法及装置 |
| CN107506829A (zh) * | 2017-08-29 | 2017-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种神经网络初始化方法、装置、可读介质及存储控制器 |
| CN107609638A (zh) * | 2017-10-12 | 2018-01-19 | 湖北工业大学 | 一种基于线性解码器和插值采样优化卷积神经网络的方法 |
| CN107909145A (zh) * | 2017-12-05 | 2018-04-13 | 苏州天瞳威视电子科技有限公司 | 一种卷积神经网络模型的训练方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN108280757A (zh) * | 2017-02-13 | 2018-07-13 | 腾讯科技（深圳）有限公司 | 用户信用评估方法及装置 |
| CN108334947A (zh) * | 2018-01-17 | 2018-07-27 | 上海爱优威软件开发有限公司 | 一种智能优化的sgd训练方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9730643B2 (en) * | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| US11521069B2 (en) * | 2016-10-31 | 2022-12-06 | Oracle International Corporation | When output units must obey hard constraints |
-
2018
- 2018-08-09 CN CN201810903730.0A patent/CN109102017B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707256A (zh) * | 2012-06-20 | 2012-10-03 | 北京航空航天大学 | 基于BP-AdaBoost神经网络的电子式电能表故障诊断方法 |
| CN103839412A (zh) * | 2014-03-27 | 2014-06-04 | 北京建筑大学 | 一种基于贝叶斯加权的路口动态转向比例组合估计方法 |
| CN104700099A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术（北京）有限公司 | 识别交通标志的方法和装置 |
| CN107392310A (zh) * | 2016-05-16 | 2017-11-24 | 北京陌上花科技有限公司 | 神经网络模型训练方法及装置 |
| CN106235525A (zh) * | 2016-08-23 | 2016-12-21 | 深圳市云智数据服务有限公司 | 一种鞋码预测方法及系统 |
| CN108280757A (zh) * | 2017-02-13 | 2018-07-13 | 腾讯科技（深圳）有限公司 | 用户信用评估方法及装置 |
| CN107092960A (zh) * | 2017-04-17 | 2017-08-25 | 中国民航大学 | 一种改进的并行通道卷积神经网络训练方法 |
| CN107169573A (zh) * | 2017-05-05 | 2017-09-15 | 第四范式（北京）技术有限公司 | 利用复合机器学习模型来执行预测的方法及系统 |
| CN107330518A (zh) * | 2017-06-21 | 2017-11-07 | 国家电网公司 | 基于温度调节负荷预测的能源管理控制方法和系统 |
| CN107506829A (zh) * | 2017-08-29 | 2017-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种神经网络初始化方法、装置、可读介质及存储控制器 |
| CN107609638A (zh) * | 2017-10-12 | 2018-01-19 | 湖北工业大学 | 一种基于线性解码器和插值采样优化卷积神经网络的方法 |
| CN107909145A (zh) * | 2017-12-05 | 2018-04-13 | 苏州天瞳威视电子科技有限公司 | 一种卷积神经网络模型的训练方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN108334947A (zh) * | 2018-01-17 | 2018-07-27 | 上海爱优威软件开发有限公司 | 一种智能优化的sgd训练方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| "铸体薄片图像分析法求取储层孔隙度";刘庆利 等;《测绘科学技术学报》;20090228;第26卷(第1期);第69-75页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109102017A (zh) | 2018-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102017B (zh) | 神经网络模型处理方法、装置、设备及可读存储介质 | |
| KR102641116B1 (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
| CN109271958B (zh) | 人脸年龄识别方法及装置 | |
| CN113330450A (zh) | 用于识别图像中的对象的方法 | |
| CN109242099B (zh) | 强化学习网络的训练方法、装置、训练设备及存储介质 | |
| CN105320945A (zh) | 图像分类的方法及装置 | |
| CN111127396B (zh) | 鱼类重量测算方法及装置 | |
| CN111814975B (zh) | 一种基于剪枝的神经网络模型构建方法及相关装置 | |
| CN112579823B (zh) | 基于特征融合和增量滑动窗口的视频摘要生成方法及系统 | |
| CN110288085B (zh) | 一种数据处理方法、装置、系统及存储介质 | |
| CN109190757B (zh) | 任务处理方法、装置、设备及计算机可读存储介质 | |
| WO2021169478A1 (zh) | 神经网络模型的融合训练方法及装置 | |
| CN109101858B (zh) | 动作识别方法及装置 | |
| CN116184988A (zh) | 基于多模态数据的故障预测方法、装置、设备及存储介质 | |
| CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN109117786B (zh) | 基于神经网络模型的数据处理方法、装置及可读存储介质 | |
| JP2021047797A (ja) | 機械学習装置、機械学習方法、及びプログラム | |
| CN111723834B (zh) | 语音深度学习训练方法及装置 | |
| CN113627538B (zh) | 训练非对称生成对抗网络产生图像的方法及电子装置 | |
| CN109409226B (zh) | 一种基于级联优化cnn的手指静脉图质量评估方法及其装置 | |
| CN114662568A (zh) | 数据分类方法、装置、设备和存储介质 | |
| CN111027678B (zh) | 一种数据迁移方法及装置 | |
| CN109190499B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN114004974A (zh) | 对弱光环境下拍摄的图像的优化方法及装置 | |
| CN111161193A (zh) | 一种超声图像质量的优化方法、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |