CN112861951B - 一种图像神经网络参数的确定方法及电子设备 - Google Patents

一种图像神经网络参数的确定方法及电子设备 Download PDF

Info

Publication number
CN112861951B
CN112861951B CN202110133429.8A CN202110133429A CN112861951B CN 112861951 B CN112861951 B CN 112861951B CN 202110133429 A CN202110133429 A CN 202110133429A CN 112861951 B CN112861951 B CN 112861951B
Authority
CN
China
Prior art keywords
neural network
network model
image neural
target image
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110133429.8A
Other languages
English (en)
Other versions
CN112861951A (zh
Inventor
任广辉
谢文韬
陈云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yitu Technology Co ltd
Original Assignee
Shanghai Yitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yitu Technology Co ltd filed Critical Shanghai Yitu Technology Co ltd
Priority to CN202110133429.8A priority Critical patent/CN112861951B/zh
Publication of CN112861951A publication Critical patent/CN112861951A/zh
Application granted granted Critical
Publication of CN112861951B publication Critical patent/CN112861951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种图像神经网络参数的确定方法及电子设备，属于人工智能技术领域，该方法包括：监测多个图像神经网络模型的训练资源消耗量，每个图像神经网络模型的训练资源消耗量用于表征图像神经网络模型的训练程度，不同图像神经网络模型对应不同的候选参数，候选参数为神经网络结构或超参，若确定任一目标图像神经网络模型的训练资源消耗量达到任一设定量，则对获取的目标图像神经网络模型的性能评价值进行平滑处理，得到目标图像神经网络模型的性能参考值，将该性能参考值与已消耗完设定量的训练资源的各图像神经网络模型的性能参考值进行比对，以确定是否淘汰目标图像神经网络模型对应的候选参数，从未被淘汰的候选参数中确定目标参数。

Description

一种图像神经网络参数的确定方法及电子设备
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像神经网络参数的确定方法及电子设备。
背景技术
在人工智能技术领域中，图像神经网络模型占据着重要的地位，为了能够与各种实际业务场景相结合快速得到性能比较好的图像神经网络模型，出现了神经网络结构搜索(Neural Architecture Search，NAS)和超参搜索。
相关技术中，在神经网络结构搜索过程中，需要对大量候选神经网络结构所对应的图像神经网络模型分别进行性能评估，根据评估结果对各候选神经网络结构进行排序，从而确定出性能达标的目标神经网络结构。而在超参搜索过程中，同样需要对大量候选超参所对应的图像神经网络模型分别进行性能评估，根据评估结果对各候选超参进行排序，从而确定出性能达标的目标超参。由于对图像神经网络模型的训练和评估性能是一项巨大的工程，所以无论是神经网络结构搜索还是超参搜索，都需要消耗大量的训练资源如计算资源、时间等。
因此，如何合理分配训练资源来充分展示各候选参数如候选神经网络结构或候选超参的性能，进而提升参数确定准确性是亟需解决的技术问题。
发明内容
本申请实施例提供一种图像神经网络参数的确定方法及电子设备，用以解决现有技术中存在的如何合理分配训练资源来充分展示各候选参数如候选神经网络结构或候选超参的性能，进而提升参数确定准确性的技术问题。
第一方面，本申请实施例提供一种图像神经网络参数的确定方法，包括：
获取多个候选参数，所述多个候选参数为多个神经网络结构或多个超参；
生成每个候选参数对应的图像神经网络模型；
训练各图像神经网络模型，并监测资源消耗量；
若确定监测到的资源消耗量是设定资源消耗幅度的预设目标倍数，则对计算的每个图像神经网络模型的性能评价值进行平滑处理，得到所述图像神经网络模型的性能参考值；
根据各图像神经网络模型的性能参考值，确定停止训练的图像神经网络模型，淘汰停止训练的图像神经网络模型对应的候选参数；
对未被淘汰的各候选参数对应的图像神经网络模型的性能参考值进行排序，根据排序结果确定目标参数。
在一种可能的实施方式中，根据以下步骤计算每个图像神经网络模型的性能评价值：
若确定监测到的资源消耗量是设定资源消耗幅度的目标倍数，则计算每个图像神经网络模型的性能评价值；
对计算的每个图像神经网络模型的性能评价值进行平滑处理，得到所述图像神经网络模型的性能参考值，包括：
根据所述设定幅度和所述设定量，确定目标倍数M，M为正整数；
当M等于1时，将所述目标图像神经网络模型的第1个性能评价值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值；
当M大于1时，将i设置为2，计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果，将所述加权求和结果作为所述目标图像神经网络模型的第i个性能参考值，若确定i小于M，则将i的值更新为i+1，执行计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果的步骤，直至确定i等于M时，将所述目标图像神经网络模型的第M个性能参考值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值。
在一种可能的实施方式中，根据各图像神经网络模型的性能参考值，确定停止训练的图像神经网络模型，包括：
从各图像神经网络模型的性能参考值中选取预设数量的性能参考值；
根据选取的各性能参考值，确定目标值；
将性能参考值小于所述目标值的图像神经网络模型，确定为停止训练的图像神经网络模型。
在一种可能的实施方式中，根据选取的各性能参考值，确定目标值，包括：
将选取的各性能参考值的中位数或平均值，确定为所述目标值。
第二方面，本申请实施例提供一种电子设备，包括：
获取模块，用于获取多个候选参数，所述多个候选参数为多个神经网络结构或多个超参；
生成模块，用于生成每个候选参数对应的图像神经网络模型；
训练模块，用于训练各图像神经网络模型，并监测资源消耗量；
平滑模块，用于若确定监测到的资源消耗量是设定资源消耗幅度的预设目标倍数，则对计算的每个图像神经网络模型的性能评价值进行平滑处理，得到所述图像神经网络模型的性能参考值；
淘汰模块，用于根据各图像神经网络模型的性能参考值，确定停止训练的图像神经网络模型，淘汰停止训练的图像神经网络模型对应的候选参数；
确定模块，用于对未被淘汰的各候选参数对应的图像神经网络模型的性能参考值进行排序，根据排序结果确定目标参数。
在一种可能的实施方式中，所述平滑模块具体用于根据以下步骤计算每个图像神经网络模型的性能评价值：
若确定监测到的资源消耗量是设定资源消耗幅度的目标倍数，则计算每个图像神经网络模型的性能评价值；
所述平滑模块具体用于：
根据所述设定幅度和所述设定量，确定目标倍数M，M为正整数；
当M等于1时，将所述目标图像神经网络模型的第1个性能评价值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值；
当M大于1时，将i设置为2，计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果，将所述加权求和结果作为所述目标图像神经网络模型的第i个性能参考值，若确定i小于M，则将i的值更新为i+1，执行计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果的步骤，直至确定i等于M时，将所述目标图像神经网络模型的第M个性能参考值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值。
在一种可能的实施方式中，所述淘汰模块具体用于：
从各图像神经网络模型的性能参考值中选取预设数量的性能参考值；
根据选取的各性能参考值，确定目标值；
将性能参考值小于所述目标值的图像神经网络模型，确定为停止训练的图像神经网络模型。
在一种可能的实施方式中，所述淘汰模块具体用于：
将选取的各性能参考值的中位数或平均值，确定为所述目标值。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述图像神经网络参数的确定方法。
第四方面，本申请实施例提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述图像神经网络参数的确定方法。
本申请实施例中，监测多个图像神经网络模型的训练资源消耗量，其中，每个图像神经网络模型的训练资源消耗量用于表征该图像神经网络模型的训练程度，不同图像神经网络模型对应不同的候选参数，候选参数为神经网络结构或超参，若确定任一目标图像神经网络模型的训练资源消耗量达到任一设定量，则获取目标图像神经网络模型的性能评价值，对目标图像神经网络模型的性能评价值进行平滑处理，得到性能参考值，将该性能参考值与已消耗完设定量的训练资源的各图像神经网络模型的性能参考值进行比对，以确定是否淘汰目标图像神经网络模型对应的候选参数，进而从未被淘汰的候选参数中确定目标参数。这样，可以在参数确定过程中淘汰一些图像神经网络模型对应的候选参数，不再对所有图像神经网络模型使用基本相同的训练资源，利于调节训练资源在较优图像神经网络模型和较差图像神经网络模型之间的分配比例，合理分配训练资源以充分展示各图像神经网络模型的性能，进而提升参数确定准确性。并且，每个图像神经网络模型的性能参考值是基于对该图像神经网络模型的各性能评价值进行平滑处理得到的，可减弱由于单个性能评价值的抖动而带来的不稳定性，利于进一步提升参数确定准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种图像神经网络参数的确定方法的流程图；
图2为本申请实施例提供的一种图像神经网络的性能参考值随训练资源消耗的变化示意图；
图3为本申请实施例提供的一种用于实现图像神经网络参数的确定方法的电子设备的结构示意图；
图4为本申请实施例提供的又一种用于实现图像神经网络参数的确定方法的电子设备的结构示意图。
具体实施方式
为了解决现有技术中存在的如何合理分配训练资源来充分展示各候选参数如候选神经网络结构或候选超参的性能的技术问题，本申请实施例提供一种图像神经网络参数的确定方法及电子设备。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
相关技术中，在对大量候选参数(神经网络结构或超参)进行搜索时，需要对各候选参数进行性能排序，而候选参数的性能排序是根据候选参数所对应的图像神经网络模型的性能表现进行的，所以需要训练大量的图像神经网络模型、并评估大量图像神经网络模型的性能，而训练和评估大量图像神经网络模型需要消耗大量的训练资源如计算资源和时间。另外，同一个图像神经网络模型在经过不充分训练和充分训练的情况下的性能表现也是不同的，所以图像神经网络模型的训练程度也会对候选参数的排序产生影响。因此，在对大量候选参数进行搜索时，如何利用较少的训练资源、且能合理分配训练资源来充分展示各候选参数的性能是亟需解决的技术问题。
为了解决上述技术问题，本申请实施例提供了一种图像神经网络参数的确定方法，在参数确定过程中淘汰一些图像神经网络模型对应的候选参数，不再对所有图像神经网络模型使用基本相同的训练资源，利于调节训练资源在较优图像神经网络模型和较差图像神经网络模型之间的分配比例，合理分配训练资源以充分展示各图像神经网络模型的性能，进而提升参数确定准确性。并且，每个图像神经网络模型的性能参考值是基于对该图像神经网络模型的各性能评价值进行平滑处理得到的，可减弱由于单个性能评价值的抖动而带来的不稳定性，利于进一步提升参数确定准确性。
需要说明的是，本申请实施例中，对图像神经网络模型进行训练的电子设备和对图像神经网络模型进行评估得到性能评价值的电子设备，可以是相同的电子设备也可以是不同的电子设备。并且，本申请实施例的执行主体可以是除这些电子设备之外的电子设备，也可以是这些电子设备中的任一电子设备。
图1为本申请实施例提供的一种图像神经网络参数的确定方法的流程图，包括以下步骤：
S101：监测多个图像神经网络模型的训练资源消耗量，其中，每个图像神经网络模型的训练资源消耗量用于表征该图像神经网络模型的训练程度，不同图像神经网络模型对应不同的候选参数，候选参数为神经网络结构或超参。
实际应用中，训练资源消耗量如训练时间、迭代次数、计算量、图像样本数量等。
具体实施时，不同图像神经网络模型所对应的不同候选参数可以由技术人员根据实际的图像处理任务预先确定，也可以由技术人员根据实际的图像处理任务指定候选参数特征，然后，由电子设备根据指定的候选参数特征自动生成。
S102：若确定任一目标图像神经网络模型的训练资源消耗量达到任一设定量，则获取目标图像神经网络模型的性能评价值，对目标图像神经网络模型的性能评价值进行平滑处理，得到性能参考值。
具体实施时，可以每当目标图像神经网络模型的训练资源消耗量增长设定幅度时，计算目标图像神经网络模型的一个性能评价值，其中，性能评价值如准确率、精度等，可由技术人员根据图像神经网络模型所执行的图像处理任务预先设定。
后续，可根据以下步骤对目标图像神经网络模型的性能评价值进行平滑处理，得到目标图像神经网络模型在消耗完设定量的训练资源时的性能参考值：
首先，可根据设定幅度和设定量，确定目标倍数M。比如，将设定量与设定幅度的比值确定为目标倍数M。一般地，每个设定量均是设定幅度的整数倍数，因此，M一般为正整数。
当M等于1时，可将目标图像神经网络模型的第1个性能评价值，作为目标图像神经网络模型在消耗完设定量的训练资源时的性能参考值。
当M大于1时，可将i设置为2，然后，计算目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果，将加权求和结果作为目标图像神经网络模型的第i个性能参考值，若确定i小于M，则可将i的值更新为i+1，执行计算目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果的步骤，直至确定i等于M时，将目标图像神经网络模型的第M个性能参考值，作为目标图像神经网络模型在消耗完设定量的训练资源时的性能参考值。
S103：将性能参考值与已消耗完设定量的训练资源的各图像神经网络模型的性能参考值进行比对，以确定是否淘汰目标图像神经网络模型对应的候选参数。
具体实施时，可从已消耗完设定量的训练资源的各图像神经网络模型(除目标图像神经网络模型之外的图像神经网络模型)的性能参考值中选取预设数量的性能参考值，然后，根据选取的各性能参考值确定目标值，比如，将选取的各性能参考值的中位数确定为目标值，再比如将选取的各性能参考值的平均值确定为目标值，进一步地，若确定目标图像神经网络模型的性能参考值小于目标值，则可确定淘汰目标图像神经网络模型对应的候选参数。
S104：从未被淘汰的候选参数中确定目标参数。
比如，在确定各图像神经网络模型均训练完毕时，对未被淘汰的候选参数所对应的图像神经网络模型最终的性能参考值进行排序，然后，根据排序结果，将性能参考值最大的图像神经网络模型所对应的候选参数，确定为目标参数。
此外，上述设定量可以有不止一个，该种情况下，上述S102-S103可以执行多次。也就是说，在确定目标参数的过程中可以在不同时机淘汰不同的候选参数，这样，有利于充分展示各图像神经网络模型的性能，也利于在恰当时机淘汰相应候选参数。
下面以训练资源是训练轮数为例对上述过程进行介绍，其中，一轮训练可以是指使用一批图像样本完成对某图像神经网络模型的训练。
第一步，设置平滑系数α和至少一个设定量，其中，每个设定量可表征若干轮训练，一轮训练即一个设定幅度。假设某个设定量为x(即表示x轮训练)。
第二步，假设有N个图像神经网络模型，不同图像神经网络模型对应不同的候选参数。对第一个图像神经网络模型，可完整进行m轮训练，并且，可在每轮训练结束时评价图像神经网络模型的性能(比如精度)，得到m个性能评价值，其中，N和m均为正整数。
第三步，从第二个图像神经网络模型开始，在每轮训练结束时评价图像神经网络模型的性能。另外，若确定任一图像神经网络模型当前的训练轮数i等于x，则可对图像神经网络模型的各性能评价值进行平滑处理，得到图像神经网络模型的性能参考值SmoothedValuei。
比如，根据以下公式对图像神经网络模型的各性能评价值进行平滑处理：
SmoothedValuei＝α*SmoothedValuei-1+(1-α)*Valuei，
其中，SmoothedValuei为第i轮训练结束时图像神经网络模型的性能参考值，SmoothedValuei-1为第i-1轮训练结束时图像神经网络模型的性能参考值，Valuei为第i轮训练结束时图像神经网络模型的性能评价值，α的取值如0.6，i为从2开始的整数。
进一步地，将图像神经网络模型的性能参考值与已经完成x轮训练的各图像神经网络模型的性能参考值进行比较，若确定图像神经网络模型的性能参考值低于已经完成x轮训练的各图像神经网络模型的性能参考值的中位数，则可淘汰图像神经网络模型对应的候选参数；否则，则可继续训练图像神经网络模型。
第四步，当N个图像神经网络模型全部停止训练(即N个图像神经网络模型均充分展示了自身性能)时，可从未被淘汰的各候选参数中确定目标参数。
上述图像神经网络模型可执行的图像处理任务如人脸识别、物体检测等，下面人脸识别为例介绍神经网络结构的搜索过程。
首先，可以定义一个很大的神经网络结构搜索空间比如10^10个候选神经网络结构，然后选择一种进行神经网络结构搜索的搜索算法如强化学习。
然后，在搜索过程中，先根据搜索算法的指导在神经网络结构搜索空间进行采样得到很多候选神经网络结构，再对这些候选神经网络结构对应的图像神经网络模型进行训练，然后，得到这些候选网络的性能排序再反馈给搜索算法，使搜索算法重复该过程以在神经网络结构搜索空间中搜索到目标神经网络结构。
其中，在对各图像神经网络模型进行训练的过程中，相关技术中的做法是对各图像神经网络模型全部进行充分训练(较多轮训练)，但是这样需要大量的训练资源。另外，不经过充分训练和经过充分训练的图像神经网络模型的性能表现也不一致，并影响各候选参数的最终性能排序。为此，希望将训练资源尽可能多地分配给性能潜力较好的图像神经网络模型，以使其得到更加充分的训练，而性能潜力较差的图像神经网络模型能够及时被结束训练以节省训练资源。
为了方便表述，假设有5个图像神经网络模型，不同图像神经网络模型对应不同的候选神经网络结构(假设图像神经网络结构j与候选神经网络结构j对应)，充分训练为9轮，设置的在第5轮训练结束时和第7轮训练结束时淘汰一些候选神经网络结构，性能评价值为图像神经网络模型的人脸识别精度。
具体实施时，可先对图像神经网络模型1进行充分训练，并对每轮训练后图像神经网络模型1的人脸识别精度进行平滑处理，得到图像神经网络模型1的性能评价值，之后，按照这种方式依次对图像神经网络模型2-图像神经网络模型5进行训练，且分别在第5轮和第7轮图像神经网络模型训练结束时，基于各图像神经网络模型的性能评价值评价淘汰一些图像神经网络模型对应的候选神经网络结构。
图2示出了各轮训练结束时每个图像神经网络模型的性能评价值的变化示意图。
其中，对图像神经网络模型2，在第5轮循环结束时，图像神经网络模型2的性能评价值大于已训练完成的图像神经网络模型1的性能评价值，说明在第5轮循环结束时图像神经网络模型2的性能潜力表现较好，可以继续训练图像神经网络模型2；在第7轮循环结束时，图像神经网络模型2的性能评价值也大于已训练完成的图像神经网络模型1的性能评价值，说明在第7轮循环结束时图像神经网络模型2的性能潜力依然表现较好，因此，可以对图像神经网络模型2进行充分训练直到第9轮循环结束。
对图像神经网络模型3，在第5轮循环结束时，图像神经网络模型3的性能评价值大于已训练完成的图像神经网络模型1和图像神经网络模型2的性能评价值的中位数，说明在第5轮循环结束时图像神经网络模型3的性能潜力表现较好，可以继续训练图像神经网络模型3；在第7轮循环结束时，图像神经网络模型3的性能评价值小于已训练完成的图像神经网络模型1和图像神经网络模型2的性能评价值的中位数，说明在第7轮循环结束时图像神经网络模型3的性能潜力表现较差，此时，可以停止训练图像神经网络模型3以节省训练资源，并可淘汰图像神经网络模型3对应的候选神经网络结构3。
对图像神经网络模型4，在第5轮循环结束时，图像神经网络模型4的性能评价值小于已训练完成的图像神经网络模型1-图像神经网络模型3的性能评价值的中位数，说明在第5轮循环结束时图像神经网络模型4的性能潜力表现较差，可以停止训练图像神经网络模型4以节省训练资源，并可淘汰图像神经网络模型4对应的候选神经网络结构4。
对图像神经网络模型5，在第5轮循环结束时，图像神经网络模型5的性能评价值小于已训练完成的图像神经网络模型1-图像神经网络模型4的性能评价值的中位数，说明在第5轮循环结束时图像神经网络模型5的性能潜力表现较差，可以停止训练图像神经网络模型5以节省训练资源，并可淘汰图像神经网络模型5对应的候选神经网络结构5。
由此可见，性能潜力较差的候选神经网络结构3-候选神经网络结构5可以及早被淘汰，从而节省训练资源，而性能潜力较好的候选神经网络结构2得到了充分训练，因此，最终的性能排序是候选神经网络结构2>候选神经网络结构1>候选神经网络结构3-候选神经网络结构5，其中，候选神经网络结构3-候选神经网络结构5由于被淘汰，因此，不再具体区分它们的性能排序。最终，可选择候选神经网络结构2作为目标候选神经网络结构。
本申请实施例中，可以更好的分配训练资源，将性能不佳的图像神经网络模型及时结束训练，并淘汰相应候选参数，避免了训练资源的浪费，并且，可使性能较好图像神经网络模型得到更充分训练，提升相应候选参数的性能排序结果，提升参数搜索准确率。
需要说明的是，上述是以先训练一个候选参数为例，实际应用中，也可以选训练多个候选参数。另外，各图像神经网络模型可以并行进行训练。
当本申请实施例中提供的方法以软件或硬件或软硬件结合实现的时候，电子设备中可以包括多个功能模块，每个功能模块可以包括软件、硬件或其结合。
图3为本申请实施例提供的一种电子设备的结构示意图，包括监控单元301、计算单元302、比较单元303、选择单元304。
监控单元301，用于监测多个图像神经网络模型的训练资源消耗量，其中，每个图像神经网络模型的训练资源消耗量用于表征该图像神经网络模型的训练程度，不同图像神经网络模型对应不同的候选参数，候选参数为神经网络结构或超参；
计算单元302，用于若确定任一目标图像神经网络模型的训练资源消耗量达到任一设定量，则获取所述目标图像神经网络模型的性能评价值，对所述目标图像神经网络模型的性能评价值进行平滑处理，得到性能参考值；
比较单元303，用于将所述性能参考值与已消耗完所述设定量的训练资源的各图像神经网络模型的性能参考值进行比对，以确定是否淘汰所述目标图像神经网络模型对应的候选参数；
选择单元304，用于从未被淘汰的候选参数中确定目标参数。
在一种可能的实施方式中，每当所述目标图像神经网络模型的训练资源消耗量增长设定幅度，则计算所述目标图像神经网络模型的一个性能评价值；
所述计算单元302具体用于：
根据所述设定幅度和所述设定量，确定目标倍数M，M为正整数；
当M等于1时，将所述目标图像神经网络模型的第1个性能评价值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值；
当M大于1时，将i设置为2，计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果，将所述加权求和结果作为所述目标图像神经网络模型的第i个性能参考值，若确定i小于M，则将i的值更新为i+1，执行计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果的步骤，直至确定i等于M时，将所述目标图像神经网络模型的第M个性能参考值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值。
在一种可能的实施方式中，所述比较单元303具体用于：
从已消耗完所述设定量的训练资源的各图像神经网络模型的性能参考值中选取预设数量的性能参考值；
根据选取的各性能参考值，确定目标值；
若确定所述目标图像神经网络模型的性能参考值小于所述目标值，则确定淘汰所述目标图像神经网络模型对应的候选参数。
在一种可能的实施方式中，所述比较单元303具体用于：
将选取的各性能参考值的中位数或平均值，确定为所述目标值。
本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
图4为本申请实施例提供的又一种电子设备的结构示意图，该电子设备包括收发器401以及处理器402等物理器件，其中，处理器402可以是一个中央处理单元(CentralProcessing Unit，CPU)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器401用于电子设备和其他设备进行数据收发。
该电子设备还可以包括存储器403用于存储处理器402执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器403可以是易失性存储器(Volatile Memory)，例如随机存取存储器(Random-Access Memory，RAM)；存储器403也可以是非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(Flash Memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)、或者存储器403是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器403可以是上述存储器的组合。
本申请实施例中不限定上述处理器402、存储器403以及收发器401之间的具体连接介质。本申请实施例在图4中仅以存储器403、处理器402以及收发器401之间通过总线404连接为例进行说明，总线在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器402可以是专用硬件或运行软件的处理器，当处理器402可以运行软件时，处理器402读取存储器403存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的图像神经网络参数的确定方法。
本申请实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行前述实施例中涉及的图像神经网络参数的确定方法。
在一些可能的实施方式中，本申请提供的图像神经网络参数的确定方法的各个方面还可以实现为一种程序产品的形式，所述程序产品中包括有程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行前述实施例中涉及的图像神经网络参数的确定方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例中图像神经网络参数的确定方法的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络包括局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种图像神经网络参数的确定方法，其特征在于，包括：
监测多个图像神经网络模型的训练资源消耗量，其中，每个图像神经网络模型的训练资源消耗量用于表征该图像神经网络模型的训练程度，不同图像神经网络模型对应不同的候选参数，候选参数为神经网络结构或超参；
若确定任一目标图像神经网络模型的训练资源消耗量达到任一设定量，则获取所述目标图像神经网络模型的性能评价值，对所述目标图像神经网络模型的性能评价值进行平滑处理，得到性能参考值；
将所述性能参考值与已消耗完所述设定量的训练资源的各图像神经网络模型的性能参考值进行比对，以确定是否淘汰所述目标图像神经网络模型对应的候选参数；
从未被淘汰的候选参数中确定目标参数；
每当所述目标图像神经网络模型的训练资源消耗量增长设定幅度时，计算所述目标图像神经网络模型的一个性能评价值；
对所述目标图像神经网络模型的性能评价值进行平滑处理，得到性能参考值，包括：
根据所述设定幅度和所述设定量，确定目标倍数M，M为正整数；
当M等于1时，将所述目标图像神经网络模型的第1个性能评价值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值；
当M大于1时，将i设置为2，计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果，将所述加权求和结果作为所述目标图像神经网络模型的第i个性能参考值，若确定i小于M，则将i的值更新为i+1，执行计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果的步骤，直至确定i等于M时，将所述目标图像神经网络模型的第M个性能参考值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值。
2.如权利要求1所述的方法，其特征在于，将所述性能参考值与已消耗完所述设定量的训练资源的各图像神经网络模型的性能参考值进行比对，以确定是否淘汰所述目标图像神经网络模型对应的候选参数，包括：
从已消耗完所述设定量的训练资源的各图像神经网络模型的性能参考值中选取预设数量的性能参考值；
根据选取的各性能参考值，确定目标值；
若确定所述目标图像神经网络模型的性能参考值小于所述目标值，则确定淘汰所述目标图像神经网络模型对应的候选参数。
3.如权利要求2所述的方法，其特征在于，根据选取的各性能参考值，确定目标值，包括：
将选取的各性能参考值的中位数或平均值，确定为所述目标值。
4.一种电子设备，其特征在于，包括：
监控单元，用于监测多个图像神经网络模型的训练资源消耗量，其中，每个图像神经网络模型的训练资源消耗量用于表征该图像神经网络模型的训练程度，不同图像神经网络模型对应不同的候选参数，候选参数为神经网络结构或超参；
计算单元，用于若确定任一目标图像神经网络模型的训练资源消耗量达到任一设定量，则获取所述目标图像神经网络模型的性能评价值，对所述目标图像神经网络模型的性能评价值进行平滑处理，得到性能参考值；
比较单元，用于将所述性能参考值与已消耗完所述设定量的训练资源的各图像神经网络模型的性能参考值进行比对，以确定是否淘汰所述目标图像神经网络模型对应的候选参数；
选择单元，用于从未被淘汰的候选参数中确定目标参数；
每当所述目标图像神经网络模型的训练资源消耗量增长设定幅度，则计算所述目标图像神经网络模型的一个性能评价值；
所述计算单元具体用于：
根据所述设定幅度和所述设定量，确定目标倍数M，M为正整数；
当M等于1时，将所述目标图像神经网络模型的第1个性能评价值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值；
当M大于1时，将i设置为2，计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果，将所述加权求和结果作为所述目标图像神经网络模型的第i个性能参考值，若确定i小于M，则将i的值更新为i+1，执行计算所述目标图像神经网络模型的第i-1个性能参考值和第i个性能评价值的加权求和结果的步骤，直至确定i等于M时，将所述目标图像神经网络模型的第M个性能参考值，作为所述目标图像神经网络模型在消耗完所述设定量的训练资源时的性能参考值。
5.如权利要求4所述的电子设备，其特征在于，所述比较单元具体用于：
从已消耗完所述设定量的训练资源的各图像神经网络模型的性能参考值中选取预设数量的性能参考值；
根据选取的各性能参考值，确定目标值；
若确定所述目标图像神经网络模型的性能参考值小于所述目标值，则确定淘汰所述目标图像神经网络模型对应的候选参数。
6.如权利要求5所述的电子设备，其特征在于，所述比较单元具体用于：
将选取的各性能参考值的中位数或平均值，确定为所述目标值。
7.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-3任一所述的方法。
8.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-3任一所述的方法。
CN202110133429.8A 2021-02-01 2021-02-01 一种图像神经网络参数的确定方法及电子设备 Active CN112861951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110133429.8A CN112861951B (zh) 2021-02-01 2021-02-01 一种图像神经网络参数的确定方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110133429.8A CN112861951B (zh) 2021-02-01 2021-02-01 一种图像神经网络参数的确定方法及电子设备

Publications (2)

Publication Number Publication Date
CN112861951A CN112861951A (zh) 2021-05-28
CN112861951B true CN112861951B (zh) 2024-03-26

Family

ID=75987153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110133429.8A Active CN112861951B (zh) 2021-02-01 2021-02-01 一种图像神经网络参数的确定方法及电子设备

Country Status (1)

Country Link
CN (1) CN112861951B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210558A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 评估神经网络性能的方法及装置
CN110503192A (zh) * 2018-05-18 2019-11-26 百度（美国）有限责任公司 资源有效的神经架构
CN110555514A (zh) * 2019-08-20 2019-12-10 北京迈格威科技有限公司 神经网络模型搜索方法、图像识别方法和装置
DE202019106182U1 (de) * 2018-11-06 2020-02-26 Google Llc Neuronenarchitektursuche mit faktorisiertem hierarchischem Suchraum
CN110852421A (zh) * 2019-11-11 2020-02-28 北京百度网讯科技有限公司 模型生成方法和装置
US10581469B1 (en) * 2017-04-17 2020-03-03 DeepSig Inc. Machine learning-based nonlinear pre-distortion system
CN111667057A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN112101525A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种通过nas设计神经网络的方法、装置和系统
CN112149809A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 模型超参数的确定方法及设备、计算设备和介质
CN112215332A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10581469B1 (en) * 2017-04-17 2020-03-03 DeepSig Inc. Machine learning-based nonlinear pre-distortion system
CN110503192A (zh) * 2018-05-18 2019-11-26 百度（美国）有限责任公司 资源有效的神经架构
DE202019106182U1 (de) * 2018-11-06 2020-02-26 Google Llc Neuronenarchitektursuche mit faktorisiertem hierarchischem Suchraum
CN110210558A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 评估神经网络性能的方法及装置
CN112215332A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
CN110555514A (zh) * 2019-08-20 2019-12-10 北京迈格威科技有限公司 神经网络模型搜索方法、图像识别方法和装置
CN110852421A (zh) * 2019-11-11 2020-02-28 北京百度网讯科技有限公司 模型生成方法和装置
CN111667057A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN112101525A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种通过nas设计神经网络的方法、装置和系统
CN112149809A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 模型超参数的确定方法及设备、计算设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经网络的目标检测技术研究综述及应用;吴燕如;珠杰;管美静;;电脑知识与技术(第33期);全文 *

Also Published As

Publication number Publication date
CN112861951A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
US11488074B2 (en) Method for quantile probabilistic short-term power load ensemble forecasting, electronic device and storage medium
US10565442B2 (en) Picture recognition method and apparatus, computer device and computer- readable medium
US10032114B2 (en) Predicting application performance on hardware accelerators
CN109376267B (zh) 用于生成模型的方法和装置
CN110832509B (zh) 使用神经网络的黑盒优化
CN110956202B (zh) 基于分布式学习的图像训练方法、系统、介质及智能设备
CN109586954B (zh) 一种网络流量预测方法、装置及电子设备
CN111401940A (zh) 特征预测方法、装置、电子设备及存储介质
CN113268403B (zh) 时间序列的分析预测方法、装置、设备及存储介质
CN114004425A (zh) 物品流转信息预测模型生成方法、信息生成方法、装置
CN110782706A (zh) 智能车辆驾驶风险的预警方法和装置
CN113419941A (zh) 评估方法及装置、电子设备和计算机可读存储介质
CN109065176B (zh) 一种血糖预测方法、装置、终端和存储介质
CN111063000B (zh) 基于神经网络结构搜索的磁共振快速成像方法和装置
CN103336726B (zh) 检测Linux系统中多任务冲突的方法与装置
CN112861951B (zh) 一种图像神经网络参数的确定方法及电子设备
CN115473822A (zh) 一种5g智能网关数据传输方法、系统及云平台
CN111310896B (zh) 用于训练神经网络的方法和装置
Sagaama et al. Automatic parameter tuning for big data pipelines with deep reinforcement learning
CN110502715B (zh) 点击概率的预测方法及装置
CN113869033A (zh) 融入迭代式句对关系预测的图神经网络句子排序方法
CN114692888A (zh) 系统参数处理方法、装置、设备及存储介质
CN111090554A (zh) 服务器性能测试时间的预测方法、装置、设备及存储介质
CN111406267B (zh) 使用性能预测神经网络的神经架构搜索
CN117931361A (zh) 基于机器学习的虚拟机启动控制方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant