CN112579842A - 模型搜索方法、装置、电子设备、存储介质和程序产品 - Google Patents
模型搜索方法、装置、电子设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN112579842A CN112579842A CN202011509347.0A CN202011509347A CN112579842A CN 112579842 A CN112579842 A CN 112579842A CN 202011509347 A CN202011509347 A CN 202011509347A CN 112579842 A CN112579842 A CN 112579842A
- Authority
- CN
- China
- Prior art keywords
- model
- task
- probability distribution
- performance information
- hyper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 238000007476 Maximum Likelihood Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90324—Query formulation using system suggestions
- G06F16/90328—Query formulation using system suggestions using search space presentation or visualization, e.g. category or range presentation and selection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开公开了模型搜索方法、装置、电子设备、存储介质和程序产品，涉及计算机视觉和深度学习技术领域。具体实现方案为：基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，所述初始概率分布模型用于确定模型结构在所述第一任务上的性能信息；在所述搜索空间中采样第一模型结构；根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型；基于所述目标概率分布模型，从所述搜索空间中搜索得到目标模型结构。本公开可以提高模型搜索的效率。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及计算机视觉和深度学习技术等人工智能领域。
背景技术
现有技术中，训练好的模型结构通常只适用于单一场景，例如，用于完成分类任务的模型结构通常只能适用于分类场景。而当任务发生变化时，通常需要重新进行模型结构的搜索。
发明内容
本公开提供了一种模型搜索方法、装置、电子设备、存储介质和程序产品。
根据本公开的一方面，提供了一种模型搜索方法，包括：
基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，所述初始概率分布模型用于确定模型结构在所述第一任务上的性能信息；
在所述搜索空间中采样第一模型结构；
根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型；
基于所述目标概率分布模型，从所述搜索空间中搜索得到目标模型结构。
根据本公开的另一方面，提供了一种模型搜索装置，包括：
确定模块，用于基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，所述初始概率分布模型用于确定模型结构在所述第一任务上的性能信息；
采样模块，用于在所述搜索空间中采样第一模型结构；
更新模块，用于根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型；
搜索模块，用于基于所述目标概率分布模型，从所述搜索空间中搜索得到目标模型结构。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的模型搜索方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开提供的模型搜索方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的模型搜索方法。
根据本公开的技术方案，通过基于搜索空间在第一任务上的性能信息，确定初始概率分布模型，并基于搜索空间中的模型结构在第二任务上的性能，对初始概率分布模型的超参数进行更新，以得到目标概率分布模型，然后基于目标概率分布模型确定目标模型结构。这样，可以提高在任务发生变化时，模型搜索的效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开提供的一种模型搜索方法的流程图；
图2是本公开提供的一种模型搜索装置的结构图之一；
图3是本公开提供的模型搜索装置中更新模块的结构图；
图4是本公开提供的模型搜索装置中确定模块的结构图；
图5是本公开提供的一种模型搜索装置的结构图之二；
图6是用来实现本公开实施例的模型搜索方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
请参见图1，图1是本公开提供的一种模型搜索方法的流程图，如图1所示，包括以下步骤：
步骤S101、基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，所述初始概率分布模型用于确定模型结构在所述第一任务上的性能信息。
其中，概率分布模型不需要训练一个网络模型结构就可以预测出网络模型结构的性能信息，因此，概率分布模型是白盒模型。而黑盒模型每次执行搜索任务时，都要训练一个网络模型结构，才能得到所训练得到的网络模型结构的性能信息，现有技术中即是采用黑盒模型的方法执行搜索任务。由于概率分布模型结构的预测能力，所以，在执行如分类、人脸识别和检测等搜索任务的过程中更换任务目标时，不需要重新搜索模型结构。
上述初始概率分布模型可以是基于所述搜索空间中的模型结构在第一任务上的性能，构建的概率分布模型。其中，所述第一任务可以是分类任务或识别任务，例如，可以是对多媒体数据进行分类的任务，或者，对多媒体数据中的敏感信息进行识别的任务。
上述性能信息可以是指：从搜索空间中获取的模型结构，在基于第一任务进行训练至收敛之后，执行第一任务时，所输出的结果的准确性。
上述初始概率分布模型可以是在需要将第一任务迁移至第二任务之前已知的概率分布模型，具体而言，可以采用常规的方法在搜索空间中搜索第一任务的模型结构，例如，可以确定所述搜索空间中所有模型结构在第一任务上的性能，然后，从中选择在第一任务上性能最优的模型结构，作为所述第一任务的模型结构。在该过程中，由于已经确定了搜索空间中所有模型结构在第一任务上的性能，因此，基于所述搜索空间中的所有模型结构在第一任务上的性能创建所述初始概率分布模型。当基于实际需要，第一任务已不再适用时，可以基于上述初始概率分布模型按照本公开实施例提供的模型搜索方法，搜索得到目标模型结构，从而实现从第一任务向第二任务的迁移。
步骤S102、在所述搜索空间中采样第一模型结构。
其中，所述第一模型结构可以从所述搜索空间中随机采样到的任意模型结构。
步骤S103、根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型。
具体地，在采样到所述第一模型结构之后，可以基于第二任务对第一模型结构进行训练，直至第一模型结构在第二任务上收敛，结束训练，得到训练后的第一模型结构。此时，可以根据测试数据对所述训练后的第一模型结构在执行第二任务时的性能进行测试，以得到所述第一模型结构在第二任务上真实性能信息。
由于初始概率分布模型能够预测上述搜索空间中每个模型结构在第一任务上的性能信息，而模型结构在特定任务上的性能信息在一定程度上取决于模型结构本身，即同一模型结构在不同任务上的性能存在一定的相似性。因此，可以基于上述初始概率分布模型对所述第一模型结构在第二任务上的性能进行预测，得到预测性能。然后，可以基于所述第一模型结构在第二任务上真实性能信息与所述预测性能之间的差值，对所述初始概率分布模型的超参数进行更新，以提高更新之后的概率分布模型对搜索空间中的模型结构在第二任务上的性能进行预测的准确性，并可将更新之后的概率分布模型作为所述目标概率分布模型。
上述目标概率分布模型可以相对准确的预测上述搜索空间中的模型结构在第二任务上的性能信息，其中，所述相对准确可以是指：满足预测的精度要求。
应当说明的是，所述第一任务与所述第二任务应当为不同的搜索任务。
步骤S104、基于所述目标概率分布模型，从所述搜索空间中搜索得到目标模型结构。
具体地，由于所述目标概率分布模型可以预测所述搜索空间中各个模型结构在第二任务上的性能信息，因此，可以基于所述目标概率分布模型确定所述搜索空间中，在第二任务上性能最优的模型结构，并可将所述在第二任务上性能最优的模型结构作为所述目标模型结构进行输出，在搜索到所述目标模型结构之后，可以基于第二任务对所述目标模型结构进行训练直至收敛，从而完成从第一任务迁移至第二任务的过程。
应当说明的是，上述实施例提供的方法在应用于对图像处理方面时，可以提高图像处理的速度，同时，由于任务搜索效率的提高，可以降低设备成本。
该实施方式中，通过基于搜索空间在第一任务上的性能信息，确定初始概率分布模型，并基于搜索空间中的模型结构在第二任务上的性能，对初始概率分布模型的超参数进行更新，以得到目标概率分布模型，该过程中，由于是在已知的初始概率分布模型的基础上对初始概率分布模型的超参数进行更新，因此，仅需基于搜索空间中的部分模型结构在第二任务上的性能，即可完成对超参数的更新，得到目标概率分布模型，然后基于目标概率分布模型确定目标模型结构。这样，相对于现有技术中需要重新进行搜索而言，可以有效的提高模型搜索的效率，降低模型搜索的成本。
可选地，所述根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型，包括：
对所述初始概率分布模型的超参数进行迭代更新，得到所述超参数的预测值，其中，所述迭代更新中的第i次更新为：依据第i次采样的第一模型结构在所述第二任务上的性能信息和第i次获取的先验分布，对所述初始概率分布模型的超参数进行更新，在所述i等于1的情况下，所述第i次获取的先验分布为根据所述初始概率分布模型的超参数确定的对所述超参数进行更新的先验分布，在所述i不等于1的情况下，所述第i次获取的先验分布为第i-1次更新得到的所述超参数的后验分布；
基于所述超参数的预测值确定所述目标概率分布模型。
其中，超参数的先验分布是在逐步迭代计算真实的超参数之前的先验信息的概率表达。该实施方式中，可以将初始概率分布模型的超参数确定为第一次对所述超参数进行更新的先验分布，每次在基于先验分布对超参数进行更新之后，将相应输出一个超参数的后验分布，这样，后续对超参数进行迭代更新时，可以以上一次对超参数进行更新所输出的后验分布作为本次对超参数进行更新的先验分布，以实现对超参数的迭代更新的过程。
应当说明的是，每次对超参数进行更新的过程中：更新之后得到的超参数的后验分布相对于更新之前输入的超参数的先验分布而言，超参数的后验分布更为接近超参数的真实值，这样，通过逐步迭代，可以使得所估计超参数逐步逼近超参数的真实值，从而得到上述超参数的估计值。
具体地，每次在对超参数进行更新的过程中：可以从所述搜索空间中随机采样一个第一模型结构，并基于第二任务对所采样得到的第一模型结构进行训练，在训练完成之后，确定所述第一模型结构在第二任务上的真实性能，同时，可以基于本次更新的先验分布预测所采样到的第一模型结构在第二任务上的预测性能，然后，可以基于第一模型结构在第二任务上的真实性能与预测性能之间的差值，对超参数进行更新。
其中，每次对超参数进行更新时，均会从搜索空间中随机采样第一模型结构，每次采样到的第一模型结构可以是不同的模型结构。
应当说明的是，上述对所述初始概率分布模型的超参数进行迭代更新，得到所述超参数的预测值具体可以包括：对所述初始概率分布模型的超参数进行迭代更新，在满足预设终止条件的情况下，停止对所述超参数进行更新，得到所述超参数的预测值。其中，所述预设终止条件可以是指更新次数，例如，当所述预设终止条件为更新500次时，当对所述超参数迭代更新500次时，停止对超参数进行更新输出，最后一次更新得到的超参数，并将该超参数作为所述超参数的预测值。此外，上述预设终止条件还可以是指：在对超参数进行迭代更新过程中，超参数不再发生变化，且持续预设次数，例如，当所述超参数连续50次不再发生变化，此时，可以推断所述超参数已经相当接近超参数的真实值，因此，可以输出最后一次迭代更新得到的超参数，作为所述超参数的预测值。
该实施方式中，通过对超参数进行迭代更新，这样，可以确保所得到的超参数的预测值更为接近超参数的真实值，即进一步确保所述目标概率分布模型对搜索空间的模型结构在第二任务上的性能进行预测的准确性，进而有效的提高了所搜索到的目标模型结构的性能。
可选地，所述迭代更新中第i次更新为：依据归一化性能信息和第i次获取的先验分布，对初始概率分布模型的超参数进行更新；
其中，在所述第i次采样的第一模型结构在所述第二任务上的性能高于第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对前i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；或者，
在所述第i次采样的第一模型结构在所述第二任务上的性能小于或者等于所述第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对所述第i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；
其中，所述第一目标模型结构为所述初始概率分布模型所指示的所述搜索空间中性能最优的模型结构。
具体地，对性能信息进行归一化处理即将搜索空间中所有模型结构在第二任务上的性能信息转换为0至1之间，具体而言，在采样之前可以获取第一目标模型结构，并基于第二任务对第一目标模型结构进行训练，然后，确定训练之后的第一目标模型结构在第二任务上的真实性能，并将该第一目标模型结构在第二任务上的真实性能转换为1，后续采样到第一模型结构，并确定第一模型结构在第二任务上的真实性能之后，可以按照其与第一目标模型结构的比例关系，将第一模型结构的真实性能进行归一化处理，例如，若第一模型结构在第二任务上的真实性能与第一目标模型结构在第二任务上的真实性能之比为1：2，者，归一化处理之后，第一模型结构在第二任务上的归一化性能为0.5。
然而，由于初始概率分布模型是基于搜索空间中的模型结构在第一任务上的性能信息所创建的概率分布模型，因此，初始概率分布模型所指示的搜索空间中性能最优的模型结构为在第一任务上性能最优的模型结构；在第一任务上性能最优的模型结构并不一定在第二任务上也是性能最优的模型结构，因此，后续在对超参数进行更新过程中，若第i次采样到的第一模型结构的真实性能高于第一目标模型结构的真实性能，下文将该真实性能高于第一目标模型结构的第一模型结构称之为第三目标模型结构，则对第三目标模型结构进行归一化处理时，将其的归一化性能确定为1，并按照第一目标模型结构在第二任务上的真实性能与第三目标结构在第二任务上的真实性能的比值，重新对第一目标模型结构进行归一化处理，例如，当所述第一目标模型结构在第二任务上的真实性能与第三目标结构在第二任务上的真实性能的比值为0.9:1时，者重新归一化处理之后，第一目标模型结构的归一化性能为0.9。同理，在采样到第三目标模型结构之前，所采样到的第一模型结构均是按照与第一目标模型结构之间的性能之比确定的归一化性能，因此，需要将前i次采样的第一模型结构在所述第二任务上的性能信息重新按照与第三目标模型结构的性能信息之间的比值，进行归一化处理得到的归一化性能信息。
上述对初始概率分布模型的超参数进行更新可以按照最大似然估计的方法对初始概率分布模型的超参数进行更新。此外，也可以采用贝叶斯估计(Bayesian estimation)算法对初始概率分布模型的超参数进行更新，具体而言，采用贝叶斯估计算法是结合新的证据及以前的先验概率，来得到新的概率。本实施例中，可以根据第一模型结构的真实性能与超参数的先验分布对第一模型结构在第二任务上的预测性能，计算二者之间的性能偏差，然后，利用贝叶斯估计算法结合性能偏差，得到超参数的后验分布。
本实施例中，通过将所采样到的第一模型结构在第二任务上的真实性能进行归一化处理，以便于后续基于归一化性能信息和第i次获取的先验分布，对初始概率分布模型的超参数进行更新。同时，通过基于上述第三目标模型结构的性能，不断更新归一化处理过程的量纲，并设置回滚操作，有利于提高归一化过程的准确性。
可选地，所述基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，包括：
从所述搜索空间中采样m个第二模型结构；
基于所述第一任务分别对所述m个第二模型结构进行训练，得到m个第二目标模型结构；
基于所述m个第二目标模型结构在所述第一任务上的性能信息，得到所述初始概率分布模型。
具体地，上述第二模型结构可以是上述搜索空间中的任意模型结构，上述m个模型结构可以是尽量多的模型结构，例如，所述m＞1000。此外，上述m个第二模型结构还可以是所述搜索空间中的所有模型结构，这样，有利于提高初始概率分布模型的准确性。
应当说明的是，该过程可以是在搜索第一任务的模型结构的过程中完成的。或者，当需要同时搜索多个不同任务的模型结构时，可以按照本公开实施例的方法，搜索第一任务的模型结构，并确定所述初始概率分布模型，后续在搜索第一任务之外的其他模型结构时，可以基于所述初始概率分布模型按照上述实施例所述的方法进行搜索，从而有效的提高了模型搜索的效率。
该实施方式中，通过从搜索空间中获取大量模型结构，并确定所获取的模型结构在第一任务上的性能，这样，即可基于所获取的模型结构在第一任务上的性能确定所述初始概率分布模型，以便于后续基于该初始概率分布模型搜索对其他任务进行搜索。
可选地，所述根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新之前，所述方法还包括：
对所述m个第二目标模型结构在所述第一任务上的性能信息进行归一化处理，得到所述m个第二目标模型结构在所述第一任务上的归一化性能信息；
基于所述m个第二目标模型结构在所述第一任务上的归一化性能信息，按照最大似然估计的方法估计所述初始概率分布模型的超参数。
具体地，上述对m个第二目标模型结构在所述第一任务上的性能信息进行归一化处理，即将m个第二目标模型结构在所述第一任务上的性能信息转换为0至1之间，以便于后续基于最大似然估计的方法估计所述初始概率分布模型的超参数，进而便于后续基于第一模型结构在第二任务上的性能信息对初始概率分布模型的超参数进行更新。
应当说明的是，上述估计所述初始概率分布模型的超参数也可以采用上述贝叶斯估计算法进行估计。
该实施方式中，通过最大似然估计的方法估计所述初始概率分布模型的超参数，以便于后续基于第一模型结构在第二任务上的性能信息对初始概率分布模型的超参数进行更新。
请参见图2，图2是本公开提供的一种模型搜索装置200，如图2所示，所述模型搜索装置200包括：
确定模块201，用于基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，所述初始概率分布模型用于确定模型结构在所述第一任务上的性能信息；
采样模块202，用于在所述搜索空间中采样第一模型结构；
更新模块203，用于根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型；
搜索模块204，用于基于所述目标概率分布模型，从所述搜索空间中搜索得到目标模型结构。
可选地，请参见图3，所述更新模块203，包括：
更新子模块2031，用于对所述初始概率分布模型的超参数进行迭代更新，得到所述超参数的预测值，其中，所述迭代更新中的第i次更新为：依据第i次采样的第一模型结构在所述第二任务上的性能信息和第i次获取的先验分布，对所述初始概率分布模型的超参数进行更新，在所述i等于1的情况下，所述第i次获取的先验分布为根据所述初始概率分布模型的超参数确定的对所述超参数进行更新的先验分布，在所述i不等于1的情况下，所述第i次获取的先验分布为第i-1次更新得到的所述超参数的后验分布；
确定子模块2032，用于基于所述超参数的预测值确定所述目标概率分布模型。
可选地，所述迭代更新中第i次更新为：依据归一化性能信息和第i次获取的先验分布，对初始概率分布模型的超参数进行更新；
其中，在所述第i次采样的第一模型结构在所述第二任务上的性能高于第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对前i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；或者，
在所述第i次采样的第一模型结构在所述第二任务上的性能小于或者等于所述第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对所述第i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；
其中，所述第一目标模型结构为所述初始概率分布模型所指示的所述搜索空间中性能最优的模型结构。
可选地，请参见图4，所述确定模块201，包括：
采样子模块2011，用于从所述搜索空间中采样m个第二模型结构；
训练子模块2012，用于基于所述第一任务分别对所述m个第二模型结构进行训练，得到m个第二目标模型结构；
生成子模块2013，用于基于所述m个第二目标模型结构在所述第一任务上的性能信息，得到所述初始概率分布模型。
可选地，请参见图5，所述装置还包括：
处理模块205，用于对所述m个第二目标模型结构在所述第一任务上的性能信息进行归一化处理，得到所述m个第二目标模型结构在所述第一任务上的归一化性能信息；
估计模块206，用于基于所述m个第二目标模型结构在所述第一任务上的归一化性能信息，按照最大似然估计的方法估计所述初始概率分布模型的超参数。
本实施例提供的装置能够实现图1所示的方法实施例中实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如模型搜索方法。例如，在一些实施例中，模型搜索方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的模型搜索方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型搜索方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (13)
1.一种模型搜索方法，包括：
基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，所述初始概率分布模型用于确定模型结构在所述第一任务上的性能信息；
在所述搜索空间中采样第一模型结构；
根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型；
基于所述目标概率分布模型，从所述搜索空间中搜索得到目标模型结构。
2.根据权利要求1所述的方法，其中，所述根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型，包括：
对所述初始概率分布模型的超参数进行迭代更新，得到所述超参数的预测值，其中，所述迭代更新中的第i次更新为：依据第i次采样的第一模型结构在所述第二任务上的性能信息和第i次获取的先验分布，对所述初始概率分布模型的超参数进行更新，在所述i等于1的情况下，所述第i次获取的先验分布为根据所述初始概率分布模型的超参数确定的对所述超参数进行更新的先验分布，在所述i不等于1的情况下，所述第i次获取的先验分布为第i-1次更新得到的所述超参数的后验分布；
基于所述超参数的预测值确定所述目标概率分布模型。
3.根据权利要求2所述的方法，其中，所述迭代更新中第i次更新为：依据归一化性能信息和第i次获取的先验分布，对初始概率分布模型的超参数进行更新；
其中，在所述第i次采样的第一模型结构在所述第二任务上的性能高于第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对前i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；或者，
在所述第i次采样的第一模型结构在所述第二任务上的性能小于或者等于所述第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对所述第i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；
其中，所述第一目标模型结构为所述初始概率分布模型所指示的所述搜索空间中性能最优的模型结构。
4.根据权利要求1所述的方法，其中，所述基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，包括：
从所述搜索空间中采样m个第二模型结构；
基于所述第一任务分别对所述m个第二模型结构进行训练，得到m个第二目标模型结构；
基于所述m个第二目标模型结构在所述第一任务上的性能信息，得到所述初始概率分布模型。
5.根据权利要求4所述的方法，其中，所述根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新之前，所述方法还包括：
对所述m个第二目标模型结构在所述第一任务上的性能信息进行归一化处理，得到所述m个第二目标模型结构在所述第一任务上的归一化性能信息；
基于所述m个第二目标模型结构在所述第一任务上的归一化性能信息，按照最大似然估计的方法估计所述初始概率分布模型的超参数。
6.一种模型搜索装置，包括：
确定模块，用于基于搜索空间中的多个模型结构在第一任务上的性能信息，确定初始概率分布模型，所述初始概率分布模型用于确定模型结构在所述第一任务上的性能信息；
采样模块，用于在所述搜索空间中采样第一模型结构；
更新模块，用于根据所述第一模型结构在第二任务上性能信息，对所述初始概率分布模型的超参数进行更新，得到目标概率分布模型；
搜索模块，用于基于所述目标概率分布模型，从所述搜索空间中搜索得到目标模型结构。
7.根据权利要求6所述的装置，其中，所述更新模块，包括：
更新子模块，用于对所述初始概率分布模型的超参数进行迭代更新，得到所述超参数的预测值，其中，所述迭代更新中的第i次更新为：依据第i次采样的第一模型结构在所述第二任务上的性能信息和第i次获取的先验分布，对所述初始概率分布模型的超参数进行更新，在所述i等于1的情况下，所述第i次获取的先验分布为根据所述初始概率分布模型的超参数确定的对所述超参数进行更新的先验分布，在所述i不等于1的情况下，所述第i次获取的先验分布为第i-1次更新得到的所述超参数的后验分布；
确定子模块，用于基于所述超参数的预测值确定所述目标概率分布模型。
8.根据权利要求7所述的装置，其中，所述迭代更新中第i次更新为：依据归一化性能信息和第i次获取的先验分布，对初始概率分布模型的超参数进行更新；
其中，在所述第i次采样的第一模型结构在所述第二任务上的性能高于第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对前i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；或者，
在所述第i次采样的第一模型结构在所述第二任务上的性能小于或者等于所述第一目标模型结构在所述第二任务上的性能的情况下，所述归一化性能信息为：对所述第i次采样的第一模型结构在所述第二任务上的性能信息进行归一化处理得到的归一化性能信息；
其中，所述第一目标模型结构为所述初始概率分布模型所指示的所述搜索空间中性能最优的模型结构。
9.根据权利要求6所述的装置，其中，所述确定模块，包括：
采样子模块，用于从所述搜索空间中采样m个第二模型结构；
训练子模块，用于基于所述第一任务分别对所述m个第二模型结构进行训练，得到m个第二目标模型结构；
生成子模块，用于基于所述m个第二目标模型结构在所述第一任务上的性能信息，得到所述初始概率分布模型。
10.根据权利要求9所述的装置，其中，所述装置还包括：
处理模块，用于对所述m个第二目标模型结构在所述第一任务上的性能信息进行归一化处理，得到所述m个第二目标模型结构在所述第一任务上的归一化性能信息；
估计模块，用于基于所述m个第二目标模型结构在所述第一任务上的归一化性能信息，按照最大似然估计的方法估计所述初始概率分布模型的超参数。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1至5中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011509347.0A CN112579842A (zh) | 2020-12-18 | 2020-12-18 | 模型搜索方法、装置、电子设备、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011509347.0A CN112579842A (zh) | 2020-12-18 | 2020-12-18 | 模型搜索方法、装置、电子设备、存储介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112579842A true CN112579842A (zh) | 2021-03-30 |
Family
ID=75136166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011509347.0A Pending CN112579842A (zh) | 2020-12-18 | 2020-12-18 | 模型搜索方法、装置、电子设备、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112579842A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934348A (zh) * | 2018-09-04 | 2019-06-25 | 中国平安人寿保险股份有限公司 | 机器学习模型超参数推断方法及装置、介质、电子设备 |
| CN109948029A (zh) * | 2019-01-25 | 2019-06-28 | 南京邮电大学 | 基于神经网络自适应的深度哈希图像搜索方法 |
| CN110569969A (zh) * | 2019-09-11 | 2019-12-13 | 北京百度网讯科技有限公司 | 网络模型结构的采样方法、装置以及电子设备 |
| CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
| EP3629246A1 (en) * | 2018-09-27 | 2020-04-01 | Swisscom AG | Systems and methods for neural architecture search |
| US20200151576A1 (en) * | 2018-11-08 | 2020-05-14 | Uber Technologies, Inc. | Training adaptable neural networks based on evolvability search |
| CN111340221A (zh) * | 2020-02-25 | 2020-06-26 | 北京百度网讯科技有限公司 | 神经网络结构的采样方法和装置 |
| US20200226496A1 (en) * | 2019-01-11 | 2020-07-16 | Microsoft Technology Licensing, Llc | Large-scale automated hyperparameter tuning |
| CN111612134A (zh) * | 2020-05-20 | 2020-09-01 | 鼎富智能科技有限公司 | 神经网络结构搜索方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-18 CN CN202011509347.0A patent/CN112579842A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934348A (zh) * | 2018-09-04 | 2019-06-25 | 中国平安人寿保险股份有限公司 | 机器学习模型超参数推断方法及装置、介质、电子设备 |
| EP3629246A1 (en) * | 2018-09-27 | 2020-04-01 | Swisscom AG | Systems and methods for neural architecture search |
| US20200151576A1 (en) * | 2018-11-08 | 2020-05-14 | Uber Technologies, Inc. | Training adaptable neural networks based on evolvability search |
| US20200226496A1 (en) * | 2019-01-11 | 2020-07-16 | Microsoft Technology Licensing, Llc | Large-scale automated hyperparameter tuning |
| CN109948029A (zh) * | 2019-01-25 | 2019-06-28 | 南京邮电大学 | 基于神经网络自适应的深度哈希图像搜索方法 |
| CN110569969A (zh) * | 2019-09-11 | 2019-12-13 | 北京百度网讯科技有限公司 | 网络模型结构的采样方法、装置以及电子设备 |
| CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
| CN111340221A (zh) * | 2020-02-25 | 2020-06-26 | 北京百度网讯科技有限公司 | 神经网络结构的采样方法和装置 |
| CN111612134A (zh) * | 2020-05-20 | 2020-09-01 | 鼎富智能科技有限公司 | 神经网络结构搜索方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MURAVEV A 等: "Neural Architecture Search by Estimation of Network Structure Distributions", ARXIV, 19 August 2019 (2019-08-19) * |
| 刘建友;: "基于神经网络的搜索引擎模型构建研究", 网络安全技术与应用, no. 02, 15 February 2020 (2020-02-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560996B (zh) | 用户画像识别模型训练方法、设备、可读存储介质及产品 | |
| CN113705628B (zh) | 预训练模型的确定方法、装置、电子设备以及存储介质 | |
| CN113792154A (zh) | 故障关联关系的确定方法、装置、电子设备及存储介质 | |
| CN112966744A (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
| CN112784961A (zh) | 超网络的训练方法、装置、电子设备和存储介质 | |
| CN115631381A (zh) | 分类模型训练方法、图像分类方法、装置及电子设备 | |
| CN113657249B (zh) | 训练方法、预测方法、装置、电子设备以及存储介质 | |
| CN115359308A (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
| CN114186681A (zh) | 用于生成模型簇的方法、装置及计算机程序产品 | |
| CN112528995B (zh) | 用于训练目标检测模型的方法、目标检测方法及装置 | |
| CN115759209A (zh) | 神经网络模型的量化方法、装置、电子设备及介质 | |
| CN113408304B (zh) | 文本翻译方法、装置、电子设备及存储介质 | |
| CN112579842A (zh) | 模型搜索方法、装置、电子设备、存储介质和程序产品 | |
| CN113807391A (zh) | 任务模型的训练方法、装置、电子设备及存储介质 | |
| CN113361621A (zh) | 用于训练模型的方法和装置 | |
| CN113590774A (zh) | 事件查询方法、装置以及存储介质 | |
| CN116257611B (zh) | 问答模型的训练方法、问答处理方法、装置及存储介质 | |
| CN116416500B (zh) | 图像识别模型训练方法、图像识别方法、装置及电子设备 | |
| CN114724090B (zh) | 行人再识别模型的训练方法、行人再识别方法及装置 | |
| CN113963433B (zh) | 运动搜索方法、装置、电子设备及存储介质 | |
| CN115131709B (zh) | 视频类别预测方法、视频类别预测模型的训练方法及装置 | |
| CN115034388B (zh) | 排序模型的量化参数的确定方法、装置及电子设备 | |
| CN112528123A (zh) | 模型搜索方法、装置、电子设备、存储介质和程序产品 | |
| CN113361712B (zh) | 特征确定模型的训练方法、语义分析方法、装置及电子设备 | |
| CN113313049A (zh) | 超参数的确定方法、装置、设备、存储介质以及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |