CN110210558A - 评估神经网络性能的方法及装置 - Google Patents

评估神经网络性能的方法及装置 Download PDF

Info

Publication number
CN110210558A
CN110210558A CN201910471332.0A CN201910471332A CN110210558A CN 110210558 A CN110210558 A CN 110210558A CN 201910471332 A CN201910471332 A CN 201910471332A CN 110210558 A CN110210558 A CN 110210558A
Authority
CN
China
Prior art keywords
neural network
assessed
assessment
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910471332.0A
Other languages
English (en)
Other versions
CN110210558B (zh
Inventor
周东展
周心池
伊帅
欧阳万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910471332.0A priority Critical patent/CN110210558B/zh
Publication of CN110210558A publication Critical patent/CN110210558A/zh
Application granted granted Critical
Publication of CN110210558B publication Critical patent/CN110210558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Abstract

本申请公开了一种评估神经网络性能的方法及装置。该方法包括：获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集；使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N为所述目标周期数。还公开了相应的装置。根据本实施例提供的预设规则调整参考参数集中的参数，可在缩短评估时间的同时，提升评估准确率。

Description

评估神经网络性能的方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种评估神经网络性能的方法及装置。
背景技术
神经网络在计算机视觉领域被广泛应用，通过训练神经网络，可使神经网络能完成如图像分类、图像识别等任务，但不同的结构的神经网络的性能不同，在执行上述任务时的精度也就不同。因此，需要为待执行的任务确定性能好的神经网络结构。
通过对待评估神经网络库中的神经网络的性能进行评估可确定待评估神经网络库中的不同结构的神经网络的性能排名(即评估结果)，进而选取性能较好的神经网络。由于训练数据越丰富，训练周期数越大，训练获得的神经网络的性能越准确，进而可更准确的评估神经网络的性能。然而训练数据越丰富，训练周期数越大，意味着所需耗费的计算资源很大和耗费的训练时长很长，因此，如何减少评估神经网络的性能所耗费的计算资源，以及缩短评估神经网络耗费训练时长就变得非常有意义。
发明内容
本申请提供一种评估神经网络性能的方法及装置，以评估神经网络的性能。
第一方面，提供了一种评估神经网络性能的方法，包括：获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集；使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N为所述目标周期数。
在第一方面中，用户可根据本实施例提供的预设规则合理调整参考参数集中的参数，以在缩短评估时间的同时，提升评估准确率。
在一种可能实现的方式中，所述预设规则包括：在将所述目标采样率设为第一预设值的情况下，减小所述参考参数集中的周期数获得所述目标周期数。
在该种可能实现的方式中，在将目标采样率设为第一预设值的情况下，通过减小参考参数集中的周期数获得目标周期数，可缩短评估时长以及提升评估效果。
在另一种可能实现的方式中，所述评估参数集还包括：目标通道数，所述预设规则包括：减小所述参考参数集中的通道数获得所述目标通道数；所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，所述方法还包括：将所述待评估神经网络集中的待评估神经网络的通道数设置为所述目标通道数。
在第二种可能实现的方式的基础上，该种实现方式通过减小待评估神经网络的通道数，可缩短评估时长，且可减少神经网络内参数的数量，降低出现过拟合的概率，进而提升评估效果。
在又一种可能实现的方式中，所述评估参数集还包括：目标分辨率，所述预设规则包括：减小所述参考参数集中的分辨率获得所述目标分辨率；所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，所述方法还包括：将所述样本图像集中的图像的分辨率减小至所述目标分辨率，得到减小分辨率后的样本图像集；所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，包括：使用所述减小分辨率后的样本图像集对所述待评估神经网络集训练M个周期，得到所述训练后的待评估神经网络集；所述M等于所述N。
在第二种可能实现的方式的基础上，该种实现方式通过减小样本图像集中图像的分辨率，可缩短评估时长以及提升评估效果。
在又一种可能实现的方式中，所述使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N 个周期，得到训练后的待评估神经网络集之后，还包括：在接收到用户输入的评估指令的情况下，根据所述待评估神经网络集中的待评估神经网络在所述评估结果中的排名和所述待评估神经网络在参考结果中的排名，得到所述评估结果和所述参考结果的相关度；所述参考结果通过在预设参数集下使用所述训练图像集训练所述待评估神经网络得到；所述相关度与所述评估结果的准确率成正相关；显示所述相关度。
在该种可能实现的方式中，通过待评估神经网络在参考结果中的排名和该待评估神经网络在评估结果中的排名，得到相关度，进而可根据相关度评价评估结果的准确率。
在又一种可能实现的方式中，所述方法还包括：显示评估所述待评估神经网络集的评估时长和所消耗的显存大小。
结合上一种可能实现的方式，在该种可能实现的方式中，用户可通过显示的评估时长和评估所消耗的显存大小选取合适的评估参数集。
在又一种可能实现的方式中，所述待评估神经网络集中的待评估神经网络用于图像分类。
结合前面任何一种可能实现的方式，在该种可能实现的方式中，前面任何一种可能实现的方式均可用于图像分类神经网络。
在又一种可能实现的方式中，所述待评估神经网络集中的待评估神经网络包括标准层、缩减层以及分类层；所述标准层、所述缩减层以及所述分类层依次串联；所述标准层用于从输入所述标准层的图像中提取特征；所述缩减层用于从输入所述缩减层的图像中提取特征，并缩小输入所述缩减层的图像的大小；所述分类层用于根据所述缩减层输出的特征得到输入所述待评估神经网络集中的神经网络的图像的分类结果；所述标准层和所述缩减层均包括多个神经元；所述多个神经元中的神经元依次串联，且第i+1个神经元的输入包括第i个神经元的输出和第i-1个神经元的输出；所述第i+1个神经元、所述第i个神经元以及所述第i-1个神经元属于所述多个神经元；所述i为大于1的正整数；所述神经元包括j个节点；第k个节点的输入为所述第k个节点之前的k-1个节点中的任意两个节点的输出；所述k为大于2的正整数，且所述k小于或等于所述j；所述神经元的输出为所述第j个节点的输出和所述第j-1个节点的输出融合后的结果；所述节点包括至少两个操作；所述操作的输入为所述节点的输入；所述操作可以为以下任意一种：卷积、池化、映射。
在该种可能实现的方式中，提供了一种待评估神经网络的结构，可基于该结构获得多种不同结构的待评估神经网络，以丰富待评估神经网络的结构。
在又一种可能实现的方式中，所述方法还包括：选取所述评估结果中排名最高的神经网络作为目标神经网络。
在该种可能实现的方式中，可根据评估结果选取性能最好的神经网络(即目标神经网络)，以便后续基于目标神经网络执行如图像分类等任务。
第二方面，提供了一种评估神经网络性能的装置，包括：获取单元，用于获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集；训练单元，用于使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N为所述目标周期数。
在一种可能实现的方式中，所述预设规则包括：在将所述目标采样率设为第一预设值的情况下，减小所述参考参数集中的周期数获得所述目标周期数。
在另一种可能实现的方式中，所述评估参数集还包括：目标通道数，所述预设规则包括：减小所述参考参数集中的通道数获得所述目标通道数；所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，所述方法还包括：将所述待评估神经网络集中的待评估神经网络的通道数设置为所述目标通道数。
在又一种可能实现的方式中，所述评估参数集还包括：目标分辨率，所述预设规则包括：减小所述参考参数集中的分辨率获得所述目标分辨率；所述评估神经网络性能的装置还包括：减小分辨率单元，用于在所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，将所述样本图像集中的图像的分辨率减小至所述目标分辨率，得到减小分辨率后的样本图像集；所述训练单元具体用于：使用所述减小分辨率后的样本图像集对所述待评估神经网络集训练M个周期，得到所述训练后的待评估神经网络集；所述M等于所述N。
在又一种可能实现的方式中，所述评估神经网络性能的装置还包括：确定单元，用于在所述使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之后，在接收到用户输入的评估指令的情况下，根据所述待评估神经网络集中的待评估神经网络在所述评估结果中的排名和所述待评估神经网络在参考结果中的排名，得到所述评估结果和所述参考结果的相关度；所述参考结果通过在预设参数集下使用所述训练图像集训练所述待评估神经网络得到；所述相关度与所述评估结果的准确率成正相关；显示单元，用于显示所述相关度。
在又一种可能实现的方式中，所述显示单元还用于：显示评估所述待评估神经网络集的评估时长和所消耗的显存大小。
在又一种可能实现的方式中，所述待评估神经网络集中的待评估神经网络用于图像分类。
在又一种可能实现的方式中，所述待评估神经网络集中的待评估神经网络包括标准层、缩减层以及分类层；所述标准层、所述缩减层以及所述分类层依次串联；所述标准层用于从输入所述标准层的图像中提取特征；所述缩减层用于从输入所述缩减层的图像中提取特征，并缩小输入所述缩减层的图像的大小；所述分类层用于根据所述缩减层输出的特征得到输入所述待评估神经网络集中的神经网络的图像的分类结果；所述标准层和所述缩减层均包括多个神经元；所述多个神经元中的神经元依次串联，且第i+1个神经元的输入包括第i个神经元的输出和第i-1个神经元的输出；所述第i+1个神经元、所述第i个神经元以及所述第i-1个神经元属于所述多个神经元；所述i为大于1的正整数；所述神经元包括j个节点；第k个节点的输入为所述第k个节点之前的k-1个节点中的任意两个节点的输出；所述k为大于2的正整数，且所述k小于或等于所述j；所述神经元的输出为所述第j个节点的输出和所述第j-1个节点的输出融合后的结果；所述节点包括至少两个操作；所述操作的输入为所述节点的输入；所述操作可以为以下任意一种：卷积、池化、映射。
在又一种可能实现的方式中，所述评估神经网络性能的装置还包括：选取单元，用于选取所述评估结果中排名最高的神经网络作为目标神经网络。
第三方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本申请实施例提供的一种评估神经网络性能的方法的流程示意图；
图2为本申请实施例提供的另一种评估神经网络性能的方法的流程示意图；
图3a为本申请实施例提供的一种待评估神经网络的整体结构示意图；
图3b为本申请实施例提供的一种神经网络层内的神经元之间的连接关系示意图；
图3c为本申请实施例提供的一种神经层内的神经元的结构示意图；
图3d为本申请实施例提供的一种神经元内节点的结构示意图；
图4为本申请实施例提供的一种评估神经网络性能装置的结构示意图；
图5为本申请实施例提供的一种评估神经网络性能装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
通过对神经网络进行训练，更新神经网络的权重，可使神经网络进行与训练数据对应的图像处理，例如：使用人脸图像集对神经网络进行训练，可使用训练后的神经网络进行人脸识别。又例如：使用包含猫和狗的图像集对神经网络进行训练，可使用训练后的神经网络识别猫和狗。
将神经网络应用于图像处理之前，需要对神经网络进行完整训练，即通过完整训练可使神经网络在进行图像处理时的准确率达到预设值，例如：预设值为98％，为使神经网络A进行图像分类的准确率达到预设值98％，需要使用10 万张图像对神经网络A训练600个周期，其中，使用10万张图像对神经网络A 训练600个周期得训练过程即为完整训练。
由于对不同的神经网络结构进行训练获得的神经网络在进行图像处理(如：图像分类)时的准确率不一样，因此，在进行图像处理之前，需要为图像处理确定性能较好的神经网络结构。其中，神经网络结构的性能越好，表征使用对该神经网络结构进行训练获得的神经网络进行图像处理的准确率越高。
而完整训练的训练数据量大，且训练周期长，也就是说完整训练的训练时长长，且完整训练所需耗费的计算资源大。若通过对不同的神经网络结构进行完整训练，并根据不同神经网络结构完整训练后的性能确定性能最好的神经网络结构，将耗费大量的时长(往往需要几天甚至十几天的时长)和大量的计算资源。
传统方法中，通过调整参考参数集可减少评估神经网络的性能所耗费的计算资源，以及缩短评估神经网络耗费训练时间(下文将减少一个或多个参数的方式称为快速设定)，其中，参考参数集包括：训练图像集中的图像的分辨率、神经网络的通道数、训练神经网络的周期数。
上述参考参数集可参见下例：用户需要一个用于执行图像分类任务的目标神经网络，目标神经网络需要使用训练图像集中的图像对待训练神经网络进行 500个周期(即参考参数集中的训练周期数)的训练获得，且目标神经网络的通道数为18(即参考参数集中的通道数)，其中，训练图像集中包含5万张图像，每一张图像的分辨率(即参考参数集中的分辨率)为32*32。
但在通常快速设定获得的参数下，不同的神经网络之间的性能排名与在进行快速设定之前的参数下并不相同。例如，在不进行快速设定的参数下，神经网络A的识别准确率比神经网络B的识别准确率高0.6％，但是在快速设定的参数下，神经网络B的识别准确率反而比神经网络A的识别准确率高3.79％。显然，传统方法中对神经网络的性能的评估的准确率低。因此，本申请提供一种调整参考参数集的方法，实施该方法可在保证评估准确率的同时，提高评估速度。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1，图1是本申请实施例提供的评估神经网络性能的方法的流程示意图。
101、获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集。
本申请实施例中，用户可通过预设规则对参考参数集进行调整获得评估参数集，训练图像集为完整训练所需的图像集，待评估神经网络集包括多个待评估的神经网络。
根据评估参数集中的目标采样率可从训练图像集中选取用于评估待评估神经网络性能的样本图像集。
通过使用样本图像集对待评估神经网络进行训练，并按训练后的神经网络对样本图像集的识别精度从高到低的顺序进行排名，可获得评估结果。其中，在样本图像集中的所有图像均被用于训练的情况下表征已完成一个训练周期，训练过程包括多个训练周期。例如：样本图像集包含5000张图像，每一次训练从样本图像集中选取100张图像用于训练，那么需要50次训练使用完样本图像集中所有的图像，即一个训练周期包含50次训练。
目标周期数则是使用待评估参数集评估待评估神经网络集所需训练的周期数。
本申请实施例中，评估参数集包括目标采样率和目标周期数，可选的，待评估参数集还可包括目标通道数和目标分辨率。其中，目标通道数指待评估神经网络的通道数，目标分辨率指用于评估待评估神经网络集的图像的分辨率。
神经网络包括多个卷积层，每一层卷积层包括不同的卷积核，而卷积层中卷积核的数目即为卷积层的通道数，神经网络的通道数即为神经网络中卷积层的通道数。需要理解的是，神经网络中的第一层卷积层的通道数需要和输入的图像的通道数保持一致，由于除第一层卷积层之外的卷积层中卷积核的数目与第一层卷积层中卷积核的数目呈固定倍数关系，本申请实施例中神经网络的通道数指神经网络中第一层卷积层中卷积核的数目。
预设规则包括多个调整参考参数集的规则，根据这些规则调整参考参数集获得的评估参数集可在提升评估速度的同时，提高评估准确率。在一种可能实现的方式中，预设规则包括：不通过减少训练图像集中图像的数量来提升评估速度，而通过减少训练周期数来提升评估速度。可选的，用户可将目标采样率设为1(即不减少训练图像集中图像的数量)，并减少参考参数集中的训练周期数获得目标周期数。
在另一种可能实现的方式中，评估参数集还包括：目标通道数，预设规则包括：首先不通过减少训练图像集中图像的数量来提升评估速度，而通过减少训练周期数来提升评估速度，然后可通过减小参考参数集中的通道数进一步提升评估速度，同时还能减少评估过程所耗费的计算资源，那么用户可在将目标采样率设为1(即不减少训练图像集中图像的数量)，且减少参考参数集中的训练周期数获得目标周期数的基础上，将参考参数集中的通道数减小获得目标通道数。
从以上两种可能实现的方式中可以看出，相较于传统方法中，无目的的调整参数集导致评估准确率低，用户通过本实施例提供的预设规则调整参考参数集，可在提高评估速度的同时，提高评估的准确性。
本申请实施例中，用户可根据预设规则调整参考参数集获得评估参数集，举例来说，参考参数集包括：训练周期数为500，训练图像集为5万张图像，预设规则包括：不通过减少训练图像集的数量来提升评估速度，而通过减少训练周期数来提升评估速度，那么用户在该预设规则的指导下，可将目标采样率设置为1(即不减少训练图像集的数量)，并减小训练周期数将目标周期数设为60，获得评估参数集。
需要理解的是，获得评估参数集的用户和输入评估参数集的用户可以是同一个用户，也可以是不同的用户，举例来说，张三根据预设规则调整参考参数集获得评估参数集，可将该评估参数集告知李四，并由李四使用该评估参数集评估神经网络的性能。
102、使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N为所述目标周期数。
本申请实施例中，使用目标采样率从训练图像集中采样获得样本图像集的方式可以是随机采样，也可以是均匀采样，本申请对采样的方式不做限定。
本申请实施例中，评估结果为按对样本图像集的识别精度从高到低的顺序对训练后的待评估神经网络集中的待评估神经网络进行排序获得的排名。举例来说，待评估神经网络集包含a、b、c、d四个待评估神经网络，使用样本图像集分别对a、b、c、d四个待评估神经网络训练N个周期，且按对样本图像集的识别精度从高到底的顺序对训练后的a、训练后的b、训练后的c、训练后的d 进行排序，获得的评估结果是训练后的b、训练后的c、训练后的a、训练后的d。从该评估结果中可以看出，神经网络b的结构对识别样本图像集的精度最好，接下来依次是神经网络c、神经网络a和神经网络d。进一步的，用户在需要使用训练图像集对神经网络进行完整训练时，可优先选择待评估神经网络c作为被训练对象，这样获得的训练后的神经网络在执行相应的图像处理任务时将具备更高的准确率。
在本实施例中，用户可根据本实施例提供的预设规则合理调整参考参数集中的参数，以在缩短评估时间的同时，提升评估准确率。
请参阅图2，图2是本申请实施例提供的另一种评估神经网络性能的方法的流程示意图。
201、获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集。
本实施例中，待评估神经网络集中的待评估神经网络用于图像分类，即待评估神经网络的结构适用于图像分类。待评估神经网络包括标准层、缩减层以及分类层，其中，标准层、缩减层以及分类层依次串联。标准层用于从输入所述标准层的图像中提取特征，缩减层用于从输入缩减层的图像中提取特征，并缩小输入缩减层的图像的大小，分类层用于根据缩减层输出的特征得到输入待评估神经网络的图像的分类结果。标准层和缩减层均包括多个神经元，多个神经元中的神经元依次串联，且第i+1个神经元的输入包括第i个神经元的输出和第i-1个神经元的输出，第i+1个神经元、第i个神经元以及第i-1个神经元属于这多个神经元，其中，i为大于1的正整数。每个神经元包括j个节点，其中，第k个节点的输入为第k个节点之前的k-1个节点中的任意两个节点的输出，k 为大于2的正整数，且k小于或等于j。神经元的输出为第j个节点的输出和第 j-1个节点的输出融合后的结果。每个节点包括至少两个操作，操作的输入为节点的输入，操作可以为以下任意一种：卷积、池化、映射。
在一种可能实现的方式中，待评估神经网络的结构可参见图3。其中，图 3a为待评估神经网络的整体结构示意图，如图3a所示，待评估神经网络均包含 3T个标准层(NormalCell)、2个缩减层(Reduction Cell)和1个分类层 (Classification)，其中，T为正整数，所有神经网络层依次串联，即前一层的输出为后一层的输入，其中，以输入图像为例，经过标准层的处理，图像的大小不会改变，而经过缩减层的处理，图像的大小会缩小至原来的一半。举例来说，输入的图像的大小为32*32，经过第一层标准层的处理后，输出的是大小为32*32 的图像，并将作为第二层缩减层的输入，经过第二层缩减层的处理后，输出的是大小为16*16的图像。
图3b为神经网络层内的神经元(cell)之间的连接关系示意图，如图3b所示，每个神经网络层中第i+1个神经元的输入均为第i个神经元和第i-1个神经元的输出，其中，i为大于或等于2的正整数。
图3c为图3b中的神经网络层内的神经元的结构示意图，如图3c所示，每个神经元包含3个节点，每个节点内部包含相应的操作，其中，节点0和节点1 为输入节点，节点0为第i-1个神经元的输出。节点1为第i个神经元的输出，节点2的输入则为节点0和节点1的输出，节点3的输入可以是节点0、节点1、节点2中任意两个节点的输出，也就是说，通过从节点0的输出、节点1的输出、节点2的输出中随机选择两个输出作为节点3的输入。节点4的输入可以是节点0、节点1、节点2、节点3中任意两个节点的输出，也就是说，通过从节点0的输出、节点1的输出、节点2的输出和节点3的输出中随机选择两个输出作为节点4的输入。最后将节点2、节点3和节点4的输出融合(Concat)，获得神经元的输出。
图3d为神经元内节点的结构示意图，如图3d所示，每个节点的两个输入分别输入至操作1和操作2，其中，操作1和操作2可以是卷积、池化、映射中的任意一种，也就是说，每个节点中的操作1和操作2可从卷积、池化和映射中随机选择一种操作，最后将操作1和操作2的输出相加，获得节点的输出。
从中可以看出，通过随机确定每个神经元内节点之间的连接关系和随机生成每个节点内的操作，可随机生成多个具有不同网络结构的待搜索神经网络。
需要理解的是，上述可能实现的方式中的搜索空间是为了举例，而不应该对本申请实施例造成限定，也就是说，本申请实施例还可基于其他搜索空间随机产生待搜索神经网络。
如上所述，传统方法由于无法对用户调整参考参数集提供指导，这直接导致用户是以一种“没有方向”的状态调整参考参数集，也就是说，用户并不知道调整参考参数集中的参数后会对评估准确率带来何种影响。而本申请实施例提供的预设规则可根据参考参数集中的参数对评估准确率的影响指导用户调整参考参数集。上述预设规则包括以下三点：
1、在将目标采样率设为第一预设值的情况下，减小参考参数集中的周期数获得目标周期数；
2、减小参考参数集中的通道数获得目标通道数；
3、减小参考参数集中的分辨率获得目标分辨率。
其中，第一预设值的取值范围为大于0且小于或等于1，可选的，第一预设值的取值为1。由于通过减小训练周期数或通过减小训练图像的数量均可缩短评估时长，但减小训练图像的数量会降低评估准确率，而减小训练周期数则虽然会降低评估准确率，但是相较于减小训练周期数缩短的时长，减小训练周期数降低的评估准确率是可以接受的。即若要以较短的时长评估神经网络的性能，势必会降低评估准确率，但通过减小训练周期数缩短评估时长而降低的评估准确率要比通过减小训练图像的数量缩短评估时长而降低的评估准确率小，且通过减小训练周期数缩短评估时长的效果最明显，因此第一点的优先级最高。即在通过调整参考参数集缩短评估时长时，首先将目标采样率设为第一预设值并将训练周期数减小获得目标周期数，以此缩短评估时长。
需要理解的是，此处的可以接受是针对用户而言的，举例来说，完整训练需要耗费7天的时长，而用户希望在12个小时内获得评估结果，通过将训练周期数减小，可将评估时长缩短至12个小时内，但评估准确率(此处的评估准确率的含义可参见下文的相关度)会下降0.8％，若用户觉得牺牲0.8％的评估准确率将评估时长缩短至12个小时内是可以接受的，即可通过减小训练周期数缩短评估时长。
举例来说，参考参数集包括：训练图像集包含5万张图像，训练图像集中的图像的分辨率为32*32，训练周期数为600，神经网络的通道数为18。则依据上述预设规则中的第一点，可将目标分辨率设为1，即将训练图像集中的5万张图像作为样本图像，用于训练待评估神经网络集，同时，为缩短评估神经网络耗费的时长，可减小训练周期数，如将训练周期数设为60，而图像的分辨率和神经网络的通道数可保持不变，这样，根据预设规则调整参考参数集后获得的评估参数集就为：目标采样率为1，训练图像集中的图像的分辨率为32*32，训练周期数为60，待评估神经网络的通道数为18。
上述预设规则中的第二点和第三点之间不存在优先级，也就是说，根据预设规则调整参考参数集时，在根据上述第一点将目标采样率设为第一预设值，同时减小参考参数集中的周期数的基础上，可选的，可再根据第二点将神经网络的通道数减小至目标通道数，并将待评估神经网络的通道数设置为目标通道数以缩短评估时长。例如，参考参数集中的神经网络的通道数为18，依据预设规则的第二点可将神经网络的通道数减小至6(即为目标通道数)，并将待评估神经网络的通道数设为6。
可选的，在第一点的基础上，还可依据第三点减小参考参数集中图像分辨率的大小以缩短评估时长。例如，参考参数集中图像的分辨率为32*32(即为训练图像集中图像的分辨率)，依据预设规则中的第三点，将图像的分辨率减小至 8*8(即为目标分辨率)，并将样本图像集中的图像的分辨率调整为8*8。
可选的，还可在第一点的基础上，既减小神经网络的通道数，又减小图像分辨率。例如，参考参数集中的神经网络的通道数为18，图像的分辨率为32*32，依据预设规则的第二点可将神经网络的通道数减小至6(即为目标通道数)，并将待评估神经网络的通道数设为6。此外，依据预设规则中的第三点，将图像的分辨率减小至8*8，并将样本图像集中的图像的分辨率调整为8*8。
202、使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N等于所述目标周期数。
按目标采样率从训练图像集中采样获得样本图像集，使用样本图像集训练待评估神经网络集N个周期，并按训练后的待评估神经网络对样本图像集的识别精度从高到低的顺序对待评估神经网络集中的神经网络进行排序，最后将排序后的排名作为评估结果。
举例来说，目标采样率为1，训练图像集包含5万张图像，按目标采样率从训练图像集中采样获得的样本图像集。假定N＝40，使用样本图像集中的5万张图像对待评估神经网络集中的神经网络训练40个周期，获得训练后的待评估神经网络集，并将样本图像集分别输入至每个训练后的待评估神经网络，获得每个训练后的待评估神经网络的识别精度，按识别精度从高到低的顺序对训练后的待评估神经网络集中的神经网络进行排序，获得评估结果。
203、在接收到用户输入的评估指令的情况下，根据所述待评估神经网络在所述评估结果中的排名和所述待评估神经网络在参考结果中的排名，获得所述评估结果和所述参考结果的相关度；所述参考结果通过在预设参数集下使用所述训练图像集训练所述待评估神经网络获得；所述相关度与所述评估结果的准确率成正相关。
本实施例中，参考结果为预先储存的，即使用参考图像集对待评估神经网络库中的神经网络进行完整训练，并按完整训练后的待评估神经网络集中神经网络对参考图像集的识别精度从高到低的顺序进行排序，获得参考结果。其中，参考图像集为预先设置的，用于训练待评估神经网络集获得参考结果。
由201～202可获得待评估神经网络集中的神经网络(下文称为待评估神经网络)在评估参数集下的评估结果，也就是说，待评估神经网络集中的每个神经网络在参考结果中有一个排名，同时在评估结果中有一个排名，根据待评估神经网络在两个结果(即参考结果和评估结果)中的排名差距可确定参考结果和评估结果之间的单调相关的程度。在一种可能实现的方式中，可根据下式获得参考结果和评估结果的相关度。
其中，i为待评估神经网络在待评估神经网络集中的编号，di是第i个待评估神经网络在参考结果中的排名与在评估结果中的排名的差值，K为待评估神经网络集中神经网络的数量。
举例来说(例1)，待评估神经网络集中包含6个待评估神经网络(即K＝6)，且这6个待评估神经网络的编号依次为1，2，3，…，6(下文将以编号表示待评估神经网络)，假定参考结果为3→4→5→1→6→2(“→”的方向表示对参考图像集的识别精度的降低)，评估结果为3→4→5→1→2→6，则d1＝|4-4|＝0，d2＝|6-5|＝1，d3＝|1-1|＝0，d4＝|2-2|＝0，d5＝|3-3|＝0， d6＝|5-6|＝1，将d1，d2，d3，d4，d5，d6以及K＝6代入公式1得到：即参考结果和评估结果的相关度为0.943。
再举例来说(例2)，待评估神经网络集中包含6个待评估神经网络(即 K＝6)，且待评估神经网络的编号依次为1，2，3，…，6(下文将以编号表示待评估神经网络)，假定参考结果为3→4→5→1→6→2(“→”的方向表示对参考图像集的识别精度的降低)，评估结果为5→3→4→2→1→6，则d1＝|4-5|＝ 1，d2＝|6-4|＝2，d3＝|1-2|＝1，d4＝|2-3|＝1，d5＝|3-1|＝2， d6＝|5-6|＝1，将d1，d2，d3，d4，d5，d6以及K＝6代入公式1得到：即参考结果和评估结果的相关度为0.657。
上述相关度与评估结果的准确率成正相关，也就是说，相关度越大，表征在该评估参数集下获得的评估结果就越准确。这一点从前面两个示例中也可看出，例1中的评估结果比例2中的评估结果要准确，反应在相关度上就是例1 中的相关度比例2中的相关度大。
正因为相关度与评估结果的准确率成正相关，所以可将相关度作为评判评估参数集的性能(即评估参数集的评估准确率)的指标。
上述预设规则的第一点可进一步理解为在评估参数集中的目标周期数、目标分辨率、目标通道数一定的情况下，将训练图像集中的部分图像作为样本图像集的相关度比将训练图像集作为样本图像集的相关度小，即目标采样率等于1 时的相关度比目标采样率取除1之外的其他值的相关度大。此外，在评估参数集中的目标采样率、目标分辨率、目标通道数一定的情况下，减小周期数时，相关度降低的幅度较小，例如：在目标周期数为100的情况下，评估时长为20 个小时，相关度为0.93，而在目标周期数为30的情况下，评估时长可缩短至2 个小时，相关度为0.91，损失0.02的相关度带来了非常好的效果(评估时长缩短了18个小时)，即相较于减小训练周期数缩短的时长，减小训练周期数降低的评估准确率是可以接受的。
上述预设规则中的第二点可进一步理解为在不改变神经网络的结构的情况下，减小神经网络的通道数可减小神经网络的参数的数量，进而可减小在训练神经网络是出现过拟合的概率，因此，减小待评估神经网络的通道数反而可使相关度增大。此外，如上所述减小待评估神经网络的通道数可减小待评估神经网络的参数的数量，这也将使评估速度加快，但通过减小待评估神经网络的通道数缩短评估时长的效果不如通过减小周期数缩短评估时长的效果好。
上述预设规则中的第三点可进一步理解为在评估参数集中的目标采样率、目标周期数、目标通道数一定的情况下，减小样本图像集中的图像的分辨率时，可提升评估速度，但相关度会降低。举例来说(例3)，在样本图像集中的图像的分辨率为32*32时，评估时长为20个小时，相关度为0.91，在样本图像集中的图像的分辨率为8*8是，评估时长为16个小时，相关度为0.82，在样本图像集中的图像的分辨率为4*4是，评估时长为14个小时，相关度为0.7。
也就是说，通过减小样本图像集中的图像的分辨率是以降低相关度为代价缩短评估时长，即减小样本图像集中的图像需要在评估准确率和评估速度之间做取舍，因此，可将减小样本图像集中的图像的分辨率作为调整参考参数集的一种可选的方式。接着例3继续举例，若用户觉得牺牲0.09的相关度(即相关度从0.91减小至0.82)而减小4个小时的评估时长(从20个小时减小至16个小时)可以接受，则可通过将样本图像集中的图像的分辨率从32*32减小至8*8。反之，若用户觉得牺牲0.09的相关度(即相关度从0.91减小至0.82)而减小4 个小时的评估时长(从20个小时减小至16个小时)不可以接受，则可将样本图像集中的图像的分辨率维持在32*32。
204、显示所述相关度。
可选的，在接受到用户输入的评估指令情况下，依据203提供的方案获得相关度后，可显示该相关度，以便用户根据相关度继续调整评估参数集。
举例来说，在评估参数集a(目标采样率为1，目标周期数为60，目标分辨率为8*8，目标通道数为6)下，评估时长为6个小时，相关度为0.91，用户希望将评估时长缩短至3小时，则可继续减小周期数，如将目标周期数减小至30，同时，还可在减小周期数的同时减小目标通道数，如将目标通道数减小至3，这样，获得的评估参数集b包括目标采样率为1，目标周期数为30，目标分辨率为8*8，目标通道数为3，评估参数集b的相关度为0.89。
进一步的，由于不同的评估参数集对应的评估时长和相关度不同，因此，用户可根据评估时长和相关度从多组评估参数集中选取合适的评估参数集作为后续评估神经网络的性能的评估参数集。
举例来说(例5)，分别使用评估参数集c、评估参数集d、评估参数集e对待评估神经网络库中的57个神经网络进行性能评估，评估参数集c的评估结果为：评估时长为8个小时，相关度为0.93，评估参数集d的评估结果为：评估时长为6个小时，相关度为0.91，评估参数集e的评估结果为：评估时长为4 个小时，相关度为0.9。在用户需要对200个神经网络进行性能评估时，可以评估参数集c、评估参数集d、评估参数集e的评估结果为参考，选取合适的评估参数集作为评估200个神经网络性能的评估参数集。也就是说，用户可先以少数量的神经网络为评估对象确定多则评估参数集的评估结果，再根据不同的评估结果选取合适的评估参数集作为大数量的神经网络的评估参数集，以节省评估大数量的神经网络的时长。其中，评估时长指从根据待评估参数集对待评估神经网络集开始评估到获得评估结果的时长。
可选的，还可显示评估所消耗的显存大小(即评估待评估神经网络集所消耗的显存大小)，以便用户根据硬件配置选取合适的评估参数集，接着例5继续举例，评估参数集c的评估结果为：需要4张A型号的图形处理器(graphics processing unit，GPU)处理整个评估过程的数据，其中，评估时长为8个小时，相关度为0.93，评估参数集d的评估结果为：需要3张A型号的GPU处理整个评估过程的数据，评估时长为6个小时，相关度为0.91，评估参数集e的评估结果为：需要2张A型号的GPU处理整个评估过程的数据，评估时长为4个小时，相关度为0.9。
由于评估结果为对待评估神经网络的性能的排名，可选的，在获得评估结果后，还可选取评估结果中排名最高的神经网络作为目标神经网络。后续可使用训练图像集对目标神经网络训练S个周期，并使用训练后的目标神经网络执行如图像分类等任务。
本实施例中，用户可根据预设规则中的3点调整参考参数集，以在缩短评估时间的同时，提升评估准确度。通过参考结果和评估结果的相关度可确定评估参数集的准确率，提升评估准确度。进一步的，用户可将相关度与预设规则结合获得符合需求的评估参数集，此外，还可根据评估时长和评估所消耗的显存大小选取评估参数集，即通过实施本实施例还可提升选取合适的评估参数集的效率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图4，图4为本申请实施例提供的一种评估神经网络性能的装置的结构示意图，该装置1包括：获取单元11、训练单元12、设置单元13、减小分辨率单元14、确定单元15、显示单元16以及选取单元17。其中：
获取单元11，用于获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集；
训练单元12，用于使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N为所述目标周期数。
在一种可能实现的方式中，所述预设规则包括：在将所述目标采样率设为第一预设值的情况下，减小所述参考参数集中的周期数获得所述目标周期数。
在另一种可能实现的方式中，所述评估参数集还包括：目标通道数，所述预设规则包括：减小所述参考参数集中的通道数获得所述目标通道数；所述评估神经网络性能的装置1还包括：设置单元13，用于在所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，将所述待评估神经网络集中的待评估神经网络的通道数设置为所述目标通道数。
在一种可能实现的方式中，所述评估参数集还包括：目标分辨率，所述预设规则包括：减小所述参考参数集中的分辨率获得所述目标分辨率；所述评估神经网络性能的装置1还包括：减小分辨率单元14，用于在所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，将所述样本图像集中的图像的分辨率减小至所述目标分辨率，得到减小分辨率后的样本图像集；所述训练单元12具体用于：使用所述减小分辨率后的样本图像集对所述待评估神经网络集训练M个周期，得到所述训练后的待评估神经网络集；所述M等于所述N。
在又一种可能实现的方式中，所述评估神经网络性能的装置1还包括：确定单元15，用于在所述使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之后，在接收到用户输入的评估指令的情况下，根据所述待评估神经网络集中的待评估神经网络在所述评估结果中的排名和所述待评估神经网络在参考结果中的排名，得到所述评估结果和所述参考结果的相关度；所述参考结果通过在预设参数集下使用所述训练图像集训练所述待评估神经网络得到；所述相关度与所述评估结果的准确率成正相关；显示单元16，用于显示所述相关度。
在又一种可能实现的方式中，所述显示单元16还用于：显示评估所述待评估神经网络集的评估时长和所消耗的显存大小。
在又一种可能实现的方式中，所述待评估神经网络集中的待评估神经网络用于图像分类。
在又一种可能实现的方式中，所述待评估神经网络集中的待评估神经网络包括标准层、缩减层以及分类层；所述标准层、所述缩减层以及所述分类层依次串联；所述标准层用于从输入所述标准层的图像中提取特征；所述缩减层用于从输入所述缩减层的图像中提取特征，并缩小输入所述缩减层的图像的大小；所述分类层用于根据所述缩减层输出的特征得到输入所述待评估神经网络集中的神经网络的图像的分类结果；所述标准层和所述缩减层均包括多个神经元；所述多个神经元中的神经元依次串联，且第i+1个神经元的输入包括第i个神经元的输出和第i-1个神经元的输出；所述第i+1个神经元、所述第i个神经元以及所述第i-1个神经元属于所述多个神经元；所述i为大于1的正整数；所述神经元包括j个节点；第k个节点的输入为所述第k个节点之前的k-1个节点中的任意两个节点的输出；所述k为大于2的正整数，且所述k小于或等于所述j；所述神经元的输出为所述第j个节点的输出和所述第j-1个节点的输出融合后的结果；所述节点包括至少两个操作；所述操作的输入为所述节点的输入；所述操作可以为以下任意一种：卷积、池化、映射。
在又一种可能实现的方式中，所述评估神经网络性能的装置1还包括：选取单元17，用于选取所述评估结果中排名最高的神经网络作为目标神经网络。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图5为本申请实施例提供的一种评估神经网络性能的装置的硬件结构示意图。该评估神经网络性能的装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个GPU，在处理器21是一个GPU的情况下，该 GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU 构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。
存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输出装置23和输入装置24可以是独立的器件，也可以是一个整体的器件。
可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储训练图像集，如该存储器22可用于存储通过输入装置23获取的待评估神经网络集，又或者该存储器22还可用于存储通过处理器21获得的评估结果等等，本申请实施例对于该存储器中具体所存储的数据不作限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器 (random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种评估神经网络性能的方法，其特征在于，包括：
获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集；
使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N为所述目标周期数。
2.根据权利要求1所述的方法，其特征在于，所述预设规则包括：在将所述目标采样率设为第一预设值的情况下，减小所述参考参数集中的周期数获得所述目标周期数。
3.根据权利要求2所述的方法，其特征在于，所述评估参数集还包括：目标通道数，所述预设规则包括：减小所述参考参数集中的通道数获得所述目标通道数；
所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，所述方法还包括：
将所述待评估神经网络集中的待评估神经网络的通道数设置为所述目标通道数。
4.根据权利要求2所述的方法，其特征在于，所述评估参数集还包括：目标分辨率，所述预设规则包括：减小所述参考参数集中的分辨率获得所述目标分辨率；
所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之前，所述方法还包括：
将所述样本图像集中的图像的分辨率减小至所述目标分辨率，得到减小分辨率后的样本图像集；
所述使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，包括：
使用所述减小分辨率后的样本图像集对所述待评估神经网络集训练M个周期，得到所述训练后的待评估神经网络集；所述M等于所述N。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集之后，还包括：
在接收到用户输入的评估指令的情况下，根据所述待评估神经网络集中的待评估神经网络在所述评估结果中的排名和所述待评估神经网络在参考结果中的排名，得到所述评估结果和所述参考结果的相关度；所述参考结果通过在预设参数集下使用所述训练图像集训练所述待评估神经网络得到；所述相关度与所述评估结果的准确率成正相关；
显示所述相关度。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
显示评估所述待评估神经网络集的评估时长和所消耗的显存大小。
7.一种评估神经网络性能的装置，其特征在于，包括：
获取单元，用于获取评估参数集、训练图像集和待评估神经网络集；所述评估参数集包括：目标采样率、目标周期数；所述评估参数集通过预设规则获得；所述预设规则用于指导用户调整参考参数集获得所述评估参数集；
训练单元，用于使用所述目标采样率从所述训练图像集中采样获得样本图像集，使用所述样本图像集对所述待评估神经网络集训练N个周期，得到训练后的待评估神经网络集，并基于所述训练后的待评估神经网络集得到评估结果；所述N为所述目标周期数。
8.一种处理器，其特征在于，所述处理器用于执行如权利要求1至4中任意一项所述的方法。
9.一种电子设备，其特征在于，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至6任意一项所述的方法。
CN201910471332.0A 2019-05-31 2019-05-31 评估神经网络性能的方法及装置 Active CN110210558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910471332.0A CN110210558B (zh) 2019-05-31 2019-05-31 评估神经网络性能的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910471332.0A CN110210558B (zh) 2019-05-31 2019-05-31 评估神经网络性能的方法及装置

Publications (2)

Publication Number Publication Date
CN110210558A true CN110210558A (zh) 2019-09-06
CN110210558B CN110210558B (zh) 2021-10-26

Family

ID=67790023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910471332.0A Active CN110210558B (zh) 2019-05-31 2019-05-31 评估神经网络性能的方法及装置

Country Status (1)

Country Link
CN (1) CN110210558B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738318A (zh) * 2019-09-11 2020-01-31 北京百度网讯科技有限公司 网络结构运行时间评估及评估模型生成方法、系统和装置
CN111325338A (zh) * 2020-02-12 2020-06-23 暗物智能科技(广州)有限公司 神经网络结构评价模型构建和神经网络结构搜索方法
WO2021051917A1 (zh) * 2019-09-16 2021-03-25 华为技术有限公司 人工智能ai模型的评估方法、系统及设备
CN112861951A (zh) * 2021-02-01 2021-05-28 上海依图网络科技有限公司 一种图像神经网络参数的确定方法及电子设备
WO2021227787A1 (zh) * 2020-05-09 2021-11-18 华为技术有限公司 训练神经网络预测器的方法、图像处理方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650746A (zh) * 2009-09-27 2010-02-17 中国电信股份有限公司 一种对排序结果进行验证的方法和系统
CN106096723A (zh) * 2016-05-27 2016-11-09 北京航空航天大学 一种基于混合神经网络算法的用于复杂工业产品性能评估方法
CN106934419A (zh) * 2017-03-09 2017-07-07 西安电子科技大学 基于复数轮廓波卷积神经网络的极化sar图像分类方法
CN106980623A (zh) * 2016-01-18 2017-07-25 华为技术有限公司 一种数据模型的确定方法及装置
CN107680082A (zh) * 2017-09-11 2018-02-09 宁夏医科大学 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法
CN108009600A (zh) * 2017-11-30 2018-05-08 北京小米移动软件有限公司 模型优化、质量检测方法、装置、设备及存储介质
CN108229525A (zh) * 2017-05-31 2018-06-29 商汤集团有限公司 神经网络训练及图像处理方法、装置、电子设备和存储介质
CN108573309A (zh) * 2018-01-04 2018-09-25 中国科学院计算技术研究所 一种机器学习算法的自适应调整方法和系统
CN108985379A (zh) * 2018-07-25 2018-12-11 北京京东尚科信息技术有限公司 分类器的性能评估方法、装置和计算机可读存储介质
CN108984893A (zh) * 2018-07-09 2018-12-11 北京航空航天大学 一种基于梯度提升方法的趋势预测方法
CN109615627A (zh) * 2018-12-14 2019-04-12 国网山东省电力公司信息通信公司 一种输变电巡检图像质量评价方法及系统
US20190122119A1 (en) * 2017-10-25 2019-04-25 SparkCognition, Inc. Adjusting automated neural network generation based on evaluation of candidate neural networks

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650746A (zh) * 2009-09-27 2010-02-17 中国电信股份有限公司 一种对排序结果进行验证的方法和系统
CN106980623A (zh) * 2016-01-18 2017-07-25 华为技术有限公司 一种数据模型的确定方法及装置
CN106096723A (zh) * 2016-05-27 2016-11-09 北京航空航天大学 一种基于混合神经网络算法的用于复杂工业产品性能评估方法
CN106934419A (zh) * 2017-03-09 2017-07-07 西安电子科技大学 基于复数轮廓波卷积神经网络的极化sar图像分类方法
CN108229525A (zh) * 2017-05-31 2018-06-29 商汤集团有限公司 神经网络训练及图像处理方法、装置、电子设备和存储介质
CN107680082A (zh) * 2017-09-11 2018-02-09 宁夏医科大学 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法
US20190122119A1 (en) * 2017-10-25 2019-04-25 SparkCognition, Inc. Adjusting automated neural network generation based on evaluation of candidate neural networks
CN108009600A (zh) * 2017-11-30 2018-05-08 北京小米移动软件有限公司 模型优化、质量检测方法、装置、设备及存储介质
CN108573309A (zh) * 2018-01-04 2018-09-25 中国科学院计算技术研究所 一种机器学习算法的自适应调整方法和系统
CN108984893A (zh) * 2018-07-09 2018-12-11 北京航空航天大学 一种基于梯度提升方法的趋势预测方法
CN108985379A (zh) * 2018-07-25 2018-12-11 北京京东尚科信息技术有限公司 分类器的性能评估方法、装置和计算机可读存储介质
CN109615627A (zh) * 2018-12-14 2019-04-12 国网山东省电力公司信息通信公司 一种输变电巡检图像质量评价方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈敏: "《认知计算导论》", 31 May 2017, 华中科技大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738318A (zh) * 2019-09-11 2020-01-31 北京百度网讯科技有限公司 网络结构运行时间评估及评估模型生成方法、系统和装置
WO2021051917A1 (zh) * 2019-09-16 2021-03-25 华为技术有限公司 人工智能ai模型的评估方法、系统及设备
CN111325338A (zh) * 2020-02-12 2020-06-23 暗物智能科技(广州)有限公司 神经网络结构评价模型构建和神经网络结构搜索方法
WO2021227787A1 (zh) * 2020-05-09 2021-11-18 华为技术有限公司 训练神经网络预测器的方法、图像处理方法及装置
CN112861951A (zh) * 2021-02-01 2021-05-28 上海依图网络科技有限公司 一种图像神经网络参数的确定方法及电子设备
CN112861951B (zh) * 2021-02-01 2024-03-26 上海依图网络科技有限公司 一种图像神经网络参数的确定方法及电子设备

Also Published As

Publication number Publication date
CN110210558B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN110210558A (zh) 评估神经网络性能的方法及装置
CN108197532B (zh) 人脸识别的方法、装置及计算机装置
Yang et al. Unsupervised extraction of video highlights via robust recurrent auto-encoders
CN108595585B (zh) 样本数据分类方法、模型训练方法、电子设备及存储介质
TW202032440A (zh) 用於建構機器學習模型的特徵選取方法、裝置及設備
CN113724880A (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
CN113767388A (zh) 用于工作流分析和设计任务优化的技术
CN110188878A (zh) 神经网络搜索方法及装置
JP2022548293A (ja) 目標検出モデルの自動モデリング方法及び装置
CN112529068A (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN111027610B (zh) 图像特征融合方法、设备和介质
Guan et al. Urban perception: Sensing cities via a deep interactive multi-task learning framework
CN109634405A (zh) 一种基于脑电信号的情绪分类方法、装置和存储介质
Wang et al. Fast and accurate action detection in videos with motion-centric attention model
JP6002796B1 (ja) 感性評価装置、感性評価方法、およびプログラム
CN113920123A (zh) 一种成瘾性脑网络分析方法及装置
CN110442749A (zh) 视频帧处理方法及装置
CN114224354B (zh) 心律失常分类方法、装置及可读存储介质
Vu et al. Heritage image classification by convolution neural networks
CN113962332A (zh) 基于自优化融合反馈的显著目标识别方法
Khorasani et al. Agricultural Harvester Sound Classification using Convolutional Neural Networks and Spectrograms
Wibowo et al. Classification of Brain Tumors on MRI Images Using Convolutional Neural Network Model EfficientNet
Singh et al. Ensemble network for ranking images based on visual appeal
Jo et al. How Much a Model be Trained by Passive Learning Before Active Learning?
CN114387614B (zh) 一种双重关键点生理关联约束的复杂人体姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant