CN112580807A - 一种基于效能评估的神经网络改进需求自动生成方法及装置 - Google Patents

Abstract

本公开提供了一种基于效能评估的神经网络改进需求自动生成方法，包括：S1，上传第一神经网络模型的基本信息，并将该基本信息存储在服务器中；S2，构建第一神经网络模型，并加载其权重文件，进行推理测试得到第一神经网络模型的评价信息；S3，根据评价信息得到第一神经网络模型的第一性能信息，分析该性能信息生成第一神经网络模型的改进信息；S4，对所述第一神经网络模型进行优化，根据训练数据集及验证数据集训练得到第二神经网络模型；S5，对第二神经网络模型进行推理测试得到其第二性能信息，将第二及第一性能信息进行对比分析得到第一及第二神经网络模型的对比结果。本公开还提供了一种基于效能评估的神经网络改进需求自动生成装置。

Description

一种基于效能评估的神经网络改进需求自动生成方法及装置

技术领域

本公开涉及深度神经网络技术领域，具体涉及一种基于效能评估的神经网络改进需求自动生成方法及装置。

背景技术

2006年，多伦多大学的Hinton等人提出了深度学习这一概念。深度学习是学习样本数据的内在规律和表示层次，从而发现丰富的层次模型，这些模型能够用来表示在人工智能领域遇到的各种数据的概率分布。深度学习的最终目标是使机器具有类人的智能，即让机器能够像人一样具有分析学习能力，能够学习和识别文字、声音和图像等现实生活中常见的数据。近年来，深度学习在计算机视觉、语音识别以及自然语言处理等其他诸多领域取得了突破性的进展。深度学习包含深度置信网络(DBN)、自编码器(Auto Encoder)、长短期记忆神经网络(LSTM)、卷积神经网络(CNN)、生成对抗网络(GAN)等诸多算法。

随着深度学习的发展，越来越多的领域，如遥感、医学、自动驾驶等都开始结合深度神经网络以更好的完成特定的功能。但是在训练过程中，神经网络可能会出现收敛速度慢、泛化性能差、过拟合、非凸优化和梯度消失等影响模型性能的问题。造成这些问题的原因是多方面，可能是模型结构问题、数据问题，或者是学习率等超参数设计问题。目前，大多都是靠人类经验进行实验尝试来解决上述训练好的模型性能较差的问题，以得到性能提升的改进方法，但还没有一个需求自动生成方法来帮助神经网络研究人员确定网络模型还有哪些需要或是可以改进的地方。

本发明提出一种基于效能评估的神经网络改进需求自动生成方法及装置，用户提供神经网络模型和相关训练策略，本发明通过一系列的模型评价指标对网络模型进行测试，综合考虑模型的评价指标，判断模型的性能得分，并针对一些较差的性能分析其原因，从而生成模型改进意见，并对原始网络模型进行改进，得到改进后训练好的网络模型。最后将改进意见和改进前后模型性能的对比结果反馈给用户实现神经网络模型的自动评估和反馈。

发明内容

本公开的第一方面提供了一种基于效能评估的神经网络改进需求自动生成方法，包括：S1，上传第一神经网络模型的基本信息，并将该基本信息存储在服务器中，其中，该基本信息包括：第一神经网络模型的代码、权重文件、训练数据集、测试数据集、验证数据集及训练参数设置文件；S2，根据上传的基本信息构建第一神经网络模型，并加载第一神经网络模型的权重文件，根据测试数据集对所述第一神经网络模型进行推理测试，得到第一神经网络模型的评价信息；S3，根据S2中的评价信息，得到第一神经网络模型的第一性能信息，并分析该性能信息生成第一神经网络模型的改进信息；S4，根据改进信息对第一神经网络模型进行优化，根据训练数据集及验证数据集训练得到改进后的第二神经网络模型；S5，根据评价信息对第二神经网络模型进行推理测试，得到第二神经网络模型的第二性能信息，并将第二性能信息与第一性能信息进行对比分析，得到第一神经网络模型与第二神经网络模型的对比结果。

可选地，该方法还包括：S6，将改进信息及对比结果输出，以供用户参考。

可选地，S3中的改进信息包括：调整数据集的划分意见信息或调整第一神经网络模型结构意见信息或调整训练参数设置意见信息。

可选地，S1中第一神经网络模型为基于遥感图像目标检测任务或遥感图像语义分割任务或三维重建任务的已训练好的神经网络模型。

本公开的第二方面提供了一种基于效能评估的神经网络改进需求自动生成装置，包括：模型上传模块，用于上传第一神经网络模型的基本信息，并将该基本信息存储在服务器中，其中，该基本信息包括：第一神经网络模型的代码、权重文件、训练数据集、测试数据集、验证数据集及训练参数设置文件；模型指标评估模块，用于根据上传的该基本信息构建第一神经网络模型，并加载第一神经网络模型的权重文件，根据测试数据集对第一神经网络模型进行推理测试，得到第一神经网络模型的评价信息；改进信息生成模块，用于根据评价信息得到第一神经网络模型的第一性能信息，并分析该性能信息生成第一神经网络模型的改进信息；模型改进模块，用于根据改进信息对第一神经网络模型进行优化，根据训练数据集及验证数据集训练得到改进后的第二神经网络模型；模型对比模块，用于根据评价信息对第二神经网络模型进行推理测试，得到第二神经网络模型的第二性能信息，并将第二性能信息与第一性能信息进行对比分析，得到第一神经网络模型与第二神经网络模型的对比结果。

可选地，该装置还包括：结果输出模块，用于将改进信息及所述对比结果输出，以供用户参考。

可选地，该改进信息生成模块输出的改进信息包括：调整数据集的划分意见信息或调整第一神经网络模型结构意见信息或调整训练参数设置意见信息。

可选地，第一神经网络模型为基于遥感图像目标检测任务或遥感图像语义分割任务或三维重建任务的已训练好的神经网络模型。

本公开的第三方面提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本公开的第一方面提供的基于效能评估的神经网络改进需求自动生成方法。

本公开的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开的第一方面提供的基于效能评估的神经网络改进需求自动生成方法。

本发明提出了一种基于效能评估的神经网络改进需求自动生成方法及装置，该方法根据用户提供的神经网络模型相应的信息对神经网络模型进行一系列的测试，得到模型的各项评价指标，并针对一些性能较差的指标分析其原因，生成模型改进意见，然后对原始网络模型进行改进并再次训练，最后对比改进前后模型性能结果并将结果和改进意见反馈给用户，从而实现神经网络模型的评估、反馈改进意见、改进前后模型性能对比结果的自动化过程。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1和图2示意性示出了根据本公开一实施例的基于效能评估的神经网络改进需求自动生成方法的流程图；

图3示意性示出了根据本公开一实施例的基于效能评估的神经网络改进需求自动生成装置的框图；

图4示意性示出了根据本公开一实施例的基于效能评估的神经网络改进需求自动生成装置中模型指标评估流程示意图；

图5示意性示出了根据本公开一实施例的基于效能评估的神经网络改进需求自动生成装置中模型改进流程示意图；

图6示意性示出了根据本公开一实施例的电子设备结构示意图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

图1示意性示出了根据本公开一实施例的基于效能评估的神经网络改进需求自动生成方法的流程图。

如图1所示，该基于效能评估的神经网络改进需求自动生成方法包括：

S1，上传第一神经网络模型的基本信息，并将该基本信息存储在服务器中，其中，该基本信息包括：第一神经网络模型的代码、权重文件、训练数据集、测试数据集、验证数据集及训练参数设置文件。

根据本公开的实施例，该第一神经网络模型的代码、权重文件、训练数据集、测试数据集、验证数据集及训练参数设置文件等基本信息文件根据神经网络模型中默认设置的文件格式进行相应的文件上传，如代码可上传的文件格式为.py，权重文件可上传的文件格式为.pth，数据集可上传的文件格式为.jpg、.tif等，训练参数设置文件可上传的文件格式为.yaml。

根据本公开的实施例，该第一神经网络模型可以为基于遥感图像目标检测任务或遥感图像语义分割任务或三维重建任务的已训练好的神经网络模型等，本公开对第一神经网络模型类型并不作限定。

S2，根据上传的基本信息构建第一神经网络模型，并加载第一神经网络模型的权重文件，根据测试数据集对所述第一神经网络模型进行推理测试，得到第一神经网络模型的评价信息。

根据本公开的实施例，根据代码文件中对模型的定义，构建相应的神经网络模型架构，加载第一神经网络模型的权重文件，根据测试数据集对所述第一神经网络模型进行推理测试得到第一神经网络模型的评价信息。本公开的实施例中，在第一神经网络模型训练之前，训练数据集和测试数据集已划分好，其中一些数据集可以是具有其官方划分好的训练数据集和测试数据集的，为保证第一神经网络模型和第二神经网络模型分析结果的可比性，整个训练过程中用于训练第一神经网络模型及第二神经网络模型的训练数据集和测试数据集前后保持不变，且要求一致，利用训练数据集进行训练，利用测试数据集进行测试。

根据本公开的实施例，根据不同任务类型的第一神经网络模型，得到其评价信息也不同，例如，针对分割任务的神经网络模型的评价信息为IoU、F1score、mIoU等，针对于检测任务的神经网络模型，评价信息为平均准确率(Map)等，针对于持续学习任务的神经网络模型，评价信息为平均遗忘率等，该评价信息即为该神经网络模型评价指标。

S3，根据S2中的评价信息，得到第一神经网络模型的第一性能信息，并分析该性能信息生成第一神经网络模型的改进信息。

根据本公开的实施例，S3中综合考虑第一神经网络模型在训练数据集和测试数据集训练中的评价信息，判断第一神经网络模型的第一性能信息，该性能信息为其性能得分，并根据该性能得分分析得分较低部分原因所在，进而生成改进信息并输出。

根据本公开的实施例，该改进信息包括调整数据集的划分意见信息或调整第一神经网络模型结构意见信息或调整训练参数设置意见信息等意见信息中的一种或多种。本公开实施例中，若在训练数据集中输出的评价指标较高，达到0.99以上，但在测试数据集输出的评价指标较低，小于0.75，则该神经网络过拟合，则得出的改进意见为增加数据量进行训练或更改backbone；若损失函数不收敛，则得出的改进意见为减小学习率。

S4，根据改进信息对第一神经网络模型进行优化，根据训练数据集及验证数据集训练得到改进后的第二神经网络模型。

根据本公开的实施例，以改进信息为调整数据集的划分意见信息和调整第一神经网络模型结构意见信息为例，若改进信息为调整数据集的划分，则根据上传的第一神经网络模型和数据集划分策略，改变数据集的划分，再次对该第一神经网络模型进行训练，根据损失函数调整网络参数，在训练集数据上测得准确率、召回率、虚警率及漏警率，得到训练好的第二神经网络模型；若改进信息为调整第一神经网络模型结构，则对该第一神经网络模型结构进行改进，利用根据第一神经网络模型同样的设置训练改进后的模型，得到训练好的第二神经网络模型。其中，每次改进训练只针对第一神经网络模型的改进信息中的一项改进信息，其余设置与第一神经网络模型保持一致，若其改进信息中存在多项改进信息时，进行多次训练后得到最终训练好的第二神经网络模型。

S5，根据评价信息对第二神经网络模型进行推理测试，得到第二神经网络模型的第二性能信息，并将第二性能信息与第一性能信息进行对比分析，得到第一神经网络模型与第二神经网络模型的对比结果。

根据本公开的实施例，若是根据对数据集进行不同划分的神经网络模型评价信息，则可以得到第一神经网络模型的数据划分是否对其模型性能产生影响，对比第一神经网络模型与第二神经网络模型中的各项指标，可以得到相对于第一神经网络模型提升了模型性能的第二神经网络模型，从而实现神经网络模型的评估、反馈改进意见、改进前后模型性能对比结果的自动化过程。

根据本公开的实施例，如图2所示，该方法还包括：S6，将该改进信息及对比结果输出，以供用户参考。

本公开的实施例，该方法在用户根据设定的上传格式上传一神经网络模型文件后，后续的评估测试、改进意见生成、模型改进、模型性能对比过程均为自动化实现，最终反馈给用户模型改进意见以及改进前后模型性能的对比结果。

图3示意性示出了根据本公开一实施例的基于效能评估的神经网络改进需求自动生成装置的框图。

如图3所示，该基于效能评估的神经网络改进需求自动生成装置包括：模型上传模块310、模型指标评估模块320、改进信息生成模块330、模型改进模块340及模型对比模块350，该装置可以用于实现参考图1～图2所描述的基于效能评估的神经网络改进需求自动生成方法。

模型上传模块310，用于上传第一神经网络模型的基本信息，并将该基本信息存储在服务器中，其中，该基本信息包括：第一神经网络模型的代码、权重文件、训练数据集、测试数据集、验证数据集及训练参数设置文件。本公开实施例中，该第一神经网络模型为基于遥感图像目标检测任务或遥感图像语义分割任务或三维重建任务的已训练好的神经网络模型等，本公开对第一神经网络模型类型并不作限定。

模型指标评估模块320，用于根据上传的基本信息构建第一神经网络模型，并加载第一神经网络模型的权重文件，根据测试数据集对第一神经网络模型进行推理测试，得到第一神经网络模型的评价信息。本公开的实施例中，根据不同任务类型的第一神经网络模型，得到其评价信息也不同，例如，针对分割任务的神经网络模型的评价信息为IoU、Flscore、mIoU等，针对于检测任务的神经网络模型，评价信息为Map等，针对于持续学习任务的神经网络模型，评价信息为平均遗忘率等，该评价信息即为一种神经网络模型评价指标。

改进信息生成模块330，用于根据评价信息得到第一神经网络模型的第一性能信息，并分析该性能信息生成第一神经网络模型的改进信息。本公开实施例中，该改进信息包括调整数据集的划分意见信息或调整第一神经网络模型结构意见信息或调整训练参数设置意见信息等意见信息中的一种或多种。

模型改进模块340，用于根据改进信息对第一神经网络模型进行优化，根据所述训练数据集及验证数据集训练得到改进后的第二神经网络模型。

模型对比模块350，用于根据评价信息对第二神经网络模型进行推理测试，得到第二神经网络模型的第二性能信息，并将第二性能信息与第一性能信息进行对比分析，得到第一神经网络模型与第二神经网络模型的对比结果。

如图3所示，该装置还包括：结果输出模块360，用于将改进信息及对比结果输出，以供用户参考。

根据本公开的实施例，如图4所示，模型指标评估模块320根据上传的基本信息构建第一神经网络模型，并加载第一神经网络模型的权重文件，查看第一神经网络模型的训练日志，该训练日志记录第一神经网络模型使用用户提供的训练集在训练时保存的内容，包括训练参数、模型结构、损失函数值及训练评价信息，其中，若该第一神经网络模型为针对目标检测任务的神经网络模型，则日志中记载着该模型在训练集上的准确率、召回率、漏警率及虚警率；然后根据用户提供的测试集对第一神经网络进行测试，得到在测试集上的准确率、召回率、漏警率及虚警率，得到第一神经网络模型的评价信息，即该评价信息包括准确率、召回率、漏警率及虚警率。

根据本公开的实施例，模型改进模块340根据改进信息对第一神经网络模型进行优化改进，如图5所示，若改进信息为调整第一神经网络的结构，则将Backbone更换为ResNet50或ResNet101等，将更改后网络结构的模型记为第二神经网络，使用训练第一神经网络的训练数据集对第二神经网络进行训练，得到训练数据集上的评价指标，再使用测试第一神经网络的测试数据集对第二神经网络进行测试，得到测试数据集的评价指标，得到改进后的第二神经网络模型；若改进信息为调整数据集的划分，则改变数据集的分配，使用改变后的训练数据集训练第一神经网络模型，根据损失函数调整网络参数，在训练数据集上测得准确率、召回率、虚警率及漏警率，将改变了第一神经网络模型参数的网络记为第二神经网络模型，然后使用改变后的测试数据集测得第二神经网络模型的评价指标，得到再次改进后的第二神经网络模型；其中，每次改进训练只针对第一神经网络模型的改进信息中的一项改进信息，其余设置与第一神经网络模型保持一致，若其改进信息中存在多项改进信息时，进行多次训练后得到最终训练好的第二神经网络模型。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，模型上传模块310、模型指标评估模块320、改进信息生成模块330、模型改进模块340、模型对比模块350及结果输出模块360中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，模型上传模块310、模型指标评估模块320、改进信息生成模块330、模型改进模块340、模型对比模块350及结果输出模块360中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，模型上传模块310、模型指标评估模块320、改进信息生成模块330、模型改进模块340、模型对比模块350及结果输出模块360中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开一实施例的电子设备的硬件结构图。

如图6所示，本实施例中所描述的电子设备600，包括：存储器610、处理器620及存储在存储器610上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1至图2中所示实施例中描述的基于效能评估的神经网络改进需求自动生成方法。

根据本公开的实施例，该电子设备还包括：至少一个输入设备630；至少一个输出设备640。上述存储器610、处理器620输入设备630和输出设备640通过总线650连接。

其中，输入设备630具体可为触控面板、物理按键或者鼠标等等。输出设备640具体可为显示屏。存储器610可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器610用于存储一组可执行程序代码，处理器620与存储器610耦合。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的终端中，该计算机可读存储介质可以是前述图6所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1至图2中所示实施例中描述的基于效能评估的神经网络改进需求自动生成方法。其中，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

需要说明的是，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种基于效能评估的神经网络改进需求自动生成方法，其特征在于，包括：

S1，上传第一神经网络模型的基本信息，并将该基本信息存储在服务器中，其中，该基本信息包括：第一神经网络模型的代码、权重文件、训练数据集、测试数据集、验证数据集及训练参数设置文件；

S2，根据上传的所述基本信息构建第一神经网络模型，并加载所述第一神经网络模型的权重文件，根据所述测试数据集对所述第一神经网络模型进行推理测试，得到所述第一神经网络模型的评价信息；

S3，根据S2中所述评价信息，得到所述第一神经网络模型的第一性能信息，并分析该性能信息生成所述第一神经网络模型的改进信息；

S4，根据所述改进信息对所述第一神经网络模型进行优化，根据所述训练数据集及验证数据集训练得到改进后的第二神经网络模型；

S5，根据所述评价信息对所述第二神经网络模型进行推理测试，得到所述第二神经网络模型的第二性能信息，并将所述第二性能信息与所述第一性能信息进行对比分析，得到所述第一神经网络模型与所述第二神经网络模型的对比结果。

2.根据权利要求1所述的基于效能评估的神经网络改进需求自动生成方法，其特征在于，该方法还包括：

S6，将所述改进信息及所述对比结果输出，以供用户参考。

3.根据权利要求1所述的基于效能评估的神经网络改进需求自动生成方法，其特征在于，所述S3中所述改进信息包括：调整所述数据集的划分意见信息或调整所述第一神经网络模型结构意见信息或调整所述训练参数设置意见信息。

4.根据权利要求1所述的基于效能评估的神经网络改进需求自动生成方法，其特征在于，所述S1中所述第一神经网络模型为基于遥感图像目标检测任务或遥感图像语义分割任务或三维重建任务的已训练好的神经网络模型。

5.一种基于效能评估的神经网络改进需求自动生成装置，其特征在于，包括：

模型上传模块，用于上传第一神经网络模型的基本信息，并将该基本信息存储在服务器中，其中，该基本信息包括：第一神经网络模型的代码、权重文件、训练数据集、测试数据集、验证数据集及训练参数设置文件；

模型指标评估模块，用于根据上传的所述基本信息构建第一神经网络模型，并加载所述第一神经网络模型的权重文件，根据所述测试数据集对所述第一神经网络模型进行推理测试，得到所述第一神经网络模型的评价信息；

改进信息生成模块，用于根据所述评价信息得到所述第一神经网络模型的第一性能信息，并分析该性能信息生成所述第一神经网络模型的改进信息；

模型改进模块，用于根据所述改进信息对所述第一神经网络模型进行优化，根据所述训练数据集及验证数据集训练得到改进后的第二神经网络模型；

模型对比模块，用于根据所述评价信息对所述第二神经网络模型进行推理测试，得到所述第二神经网络模型的第二性能信息，并将所述第二性能信息与所述第一性能信息进行对比分析，得到所述第一神经网络模型与所述第二神经网络模型的对比结果。

6.根据权利要求5所述的基于效能评估的神经网络改进需求自动生成装置，其特征在于，该装置还包括：

结果输出模块，用于将所述改进信息及所述对比结果输出，以供用户参考。

7.根据权利要求5所述的基于效能评估的神经网络改进需求自动生成装置，其特征在于，所述改进信息生成模块输出的改进信息包括：调整所述数据集的划分意见信息或调整所述第一神经网络模型结构意见信息或调整所述训练参数设置意见信息。

8.根据权利要求5所述的基于效能评估的神经网络改进需求自动生成装置，其特征在于，所述第一神经网络模型为基于遥感图像目标检测任务或遥感图像语义分割任务或三维重建任务的已训练好的神经网络模型。

Images