CN108170594A - 一种神经网络模型的测试方法、装置及设备 - Google Patents

Abstract

本申请公开了一种神经网络模型的测试方法，包括获取用户集中输入的配置参数；在接收到用户输入的配置参数注入命令后，调用与配置参数注入命令对应的预先设置的脚本文件，以便将配置参数注入神经网络模型的代码文件；接收并执行用户输入的启动测试命令，以便在配置参数条件下对神经网络模型进行测试。本申请通过预先编写好脚本文件的配置参数注入命令，可由处理器将用户集中输入的配置参数自动注入到神经网络模型的代码文件中，完成测试用例对神经网络模型的参数配置以便进行测试，可以有效地简化测试工作量并提高测试效率和准确度。本申请还公开了一种神经网络模型的测试装置、设备及计算机可读存储介质，同样具有上述有益效果。

Description

一种神经网络模型的测试方法、装置及设备

技术领域

本申请涉及软件测试技术领域，特别涉及一种神经网络模型的测试方法、装置、设备及计算机可读存储介质。

背景技术

随着深度学习等人工智能技术的发展，神经网络模型在大规模数据集的处理过程当中被广泛应用。因此，针对神经网络模型的测试也越来越受到关注。

一般地，在软件测试技术领域，需要利用大量的测试用例进行多次测试。不同的测试用例实际上是多种配置参数的组合，以尽最大可能地测试出系统漏洞。在现有技术中，用户具体是通过逐一定位各种配置参数所在的代码行并进行修改的。事实上，同一个神经网络模型中的各种配置参数可能分别存在于不同的程序文件中，而即使在同一个程序文件中的配置参数也会在不同的代码行中，因此用户需要在几十甚至几百或几千行的代码中一一寻找并修改配置参数，该过程费时费力，效率较低，且容易出错。

可见，采用何种神经网络模型的测试方法，以便有效简化测试工作量并提高测试效率和准确度，是本领域技术人员所亟待解决的技术问题。

发明内容

本申请的目的在于提供一种神经网络模型的测试方法、装置、设备及计算机可读存储介质，以便有效地简化测试工作量并提高测试效率和准确度。

为解决上述技术问题，本申请提供一种神经网络模型的测试方法，包括：

获取用户集中输入的配置参数；

在接收到用户输入的配置参数注入命令后，调用与所述配置参数注入命令对应的预先设置的脚本文件，以便将所述配置参数注入所述神经网络模型的代码文件；

接收并执行用户输入的启动测试命令，以便在所述配置参数条件下对所述神经网络模型进行测试。

可选地，所述配置参数的类型包括以下任意一种或者任意组合：

模型名称、测试数据路径、测试迭代次数、每批次处理数据量、图形处理器数量、日志文件存储目录。

可选地，所述获取用户集中输入的配置参数包括：

分别从用户输入的配置参数集中的各个指定行或指定列提取各个类型的所述配置参数。

可选地，所述配置参数包括多个测试用例的配置参数。

本申请还提供了一种神经网络模型的测试装置，包括：

获取模块：用于获取用户集中输入的配置参数；

注入模块：用于在接收到用户输入的配置参数注入命令后，调用与所述配置参数注入命令对应的预先设置的脚本文件，以便将所述配置参数注入所述神经网络模型的代码文件；

测试模块：用于接收并执行用户输入的启动测试命令，以便在所述配置参数条件下对所述网络模型进行测试。

可选地，所述配置参数的类型包括以下任意一种或者任意组合：

模型名称、测试数据路径、测试迭代次数、每批次处理数据量、图形处理芯片数量、日志文件存储目录。

可选地，所述获取模块具体用于：

分别从用户输入的配置参数集中的各个指定行或指定列提取各个类型的所述配置参数。

可选地，所述配置参数包括多个测试用例的配置参数。

本申请还提供了一种神经网络模型的测试设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如上所述的任一种神经网络模型的测试方法的步骤。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一中神经网络模型的测试方法的步骤。

本申请所提供的神经网络模型的测试方法包括：获取用户集中输入的配置参数；在接收到用户输入的配置参数注入命令后，调用与所述配置参数注入命令对应的预先设置的脚本文件，以便将所述配置参数注入所述神经网络模型的代码文件；接收并执行用户输入的启动测试命令，以便在所述配置参数条件下对所述神经网络模型进行测试。

可见，相比于现有技术，本申请所提供的神经网络模型的测试方法中，通过预先编写好脚本文件的配置参数注入命令，可由处理器将用户集中输入的配置参数自动注入到神经网络模型的代码文件中，完成测试用例对神经网络模型的参数配置，从而无需用户手动地在神经网络模型的代码文件中对配置参数一一定位并修改，可以有效地简化测试工作量并提高测试效率和准确度。本申请所提供的神经网络模型的测试装置、设备及计算机可读存储介质可以实现上述神经网络模型的测试方法，同样具有上述有益效果。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请实施例所提供的一种神经网络模型的测试方法的流程图；

图2为本申请实施例所提供的一种神经网络模型的测试装置的结构框图。

具体实施方式

本申请的核心在于提供一种神经网络模型的测试方法、装置、设备及计算机可读存储介质，以便有效地简化测试工作量并提高测试效率和准确度。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种神经网络模型的测试方法的流程图，主要包括以下步骤：

步骤1：获取用户集中输入的配置参数。

步骤2：在接收到用户输入的配置参数注入命令后，调用与配置参数注入命令对应的预先设置的脚本文件，以便将配置参数注入神经网络模型的代码文件。

步骤3：接收并执行用户输入的启动测试命令，以便在配置参数条件下对神经网络模型进行测试。

具体地，本申请实施例所提供的神经网络模型的测试方法中，用户不再需要一一地定位各类配置参数在神经网络模型的代码文件中所在的代码行并进行修改，而是集中输入所需要设定的配置参数，并输入配置参数注入命令，由处理器根据该配置参数注入命令而自行将用户集中输入的配置参数一一注入到神经网络模型的代码文件中，从而完成测试用例的参数配置，以便对神经网络在该配置参数条件下进行测试。

当然，本申请对于进行测试的神经网络并不进行限定，其可以为常用于图像处理中的卷积神经网络，如AlexNet、GoogLeNet和ResNet50这三种经典卷积神经网络。而这里所说的用户集中输入的配置参数，可以为多种类型的配置参数，并且可以采用多种输入的形式，本领域技术人员可以根据实际应用情况自行选择并设置，本申请实施例对此并不进行限定。

此外，这里所提到的配置参数注入命令是本申请实施例区别于现有技术的关键技术特征，该配置参数注入命令与其他命令一样，其具体的执行过程是通过一系列的脚本文件完成的，而当处理器运行该脚本文件时所具体实现的功能就是将用户集中输入的配置参数分别注入到神经网络模型的代码文件中，完成对神经网络模型的参数配置，以便于进行相关测试，例如benchmark测试。

当然，对于不同的应用系统，所采用的编程语言等并不相同，因此，对于本申请中的配置参数注入命令及其脚本文件，本领域技术人员可根据实际应用情况自行选择相应的编程语言和编程结构等来实现，本申请实施例对其具体实施方式并不进行限定。

可见，本申请实施例所提供的神经网络模型的测试方法中，通过预先编写好脚本文件的配置参数注入命令，可由处理器将用户集中输入的配置参数自动注入到神经网络模型的代码文件中，完成测试用例对神经网络模型的参数配置，从而无需用户手动地在神经网络模型的代码文件中对配置参数一一定位并修改，可以有效地简化测试工作量并提高测试效率和准确度。

本申请所提供的神经网络模型的测试方法，在上述实施例的基础上：

作为一种优选实施例，配置参数的类型包括以下任意一种或者任意组合：

模型名称、测试数据路径、测试迭代次数、每批次处理数据量、图形处理芯片数量、日志文件存储目录。

具体地，如前文所述，针对不同的应用系统，在进行测试时所涉及到的配置参数的类型也并不相同。以NVIDIA公司所开发出的NVCaffe这一针对多GPU(Graphics ProcessingUnit，图形处理器)加速优化的开源的深度学习框架为例来说，在该框架中用于图形处理的卷积神经网络模型在测试时，需要进行配置的参数的类型具体可以包括模型名称、测试数据路径、测试迭代次数、每批次处理数据量、图形处理器数量、日志文件存储目录中的任意一个或者任意组合。

其中，模型名称是待测试的神经网络模型的名称；测试数据路径是指用于对待测试的神经网络模型进行测试的测试数据所在的存储路径；测试迭代次数是指测试过程中神经网络模型的训练时间；每批次处理数据量是指每批次处理的测试数据的数据量，其取值一般为32、64、128、256、512或者1024等，因为测试数据的总量一般比较大，因此若一次性全部执行则效率较低，需要分成多个批次分开进行处理；图形处理器数量是指测试启动时具体是在多少个图形处理器上运行的，其值一般取1、4或者8；日志文件存储目录具体是指测试过程中所生成的测试结果日志文件的存储目录，以便用户在测试结束后从该日志文件存储目录中获取测试结果日志文件。

并且，具体地，在NVCaffe深度学习框架中，如测试迭代次数这一配置参数，一般是在名为solver.prototxt的代码文件中；而如测试数据路径、每批次处理数据量和图形处理器数量等配置参数，一般是在名为train_val.prototxt的代码文件中的。可见，现有技术中由用户一一定位代码文件以修改配置参数的过程操作起来十分麻烦。

当然，本领域技术人员也可以选择并设置更多其他类型的配置参数，本申请实施例对此并不进行限定。

作为一种优选实施例，获取用户集中输入的配置参数包括：

分别从用户输入的配置参数集中的各个指定行或指定列提取各个类型的配置参数。

具体地，本申请实施例所提供的神经网络模型的测试方法中，在获取用户集中输入的配置参数时具体可令用户按照预先设定的输入方式来输入配置参数，例如，用户具体可以将各类型的配置参数按照指定行或者指定列依次输入，构成配置参数集，以便处理器从中分别提取出各个类型的配置参数。

作为一种优选实施例，配置参数包括多个测试用例的配置参数。

具体地，由于在进行测试时，往往需要利用多个测试用例来对神经网络模型进行测试，所以，用户所集中输入的配置参数可以包括多个测试用例所对应的多组各类型配置参数。

下面对本申请实施例所提供的神经网络模型的测试装置进行介绍。

请参阅图2，图2为本申请实施例所提供的一种神经网络模型的测试装置的结构框图；包括获取模块1、注入模块2和测试模块3；

获取模块1用于获取用户集中输入的配置参数；

注入模块2用于在接收到用户输入的配置参数注入命令后，调用与配置参数注入命令对应的预先设置的脚本文件，以便将配置参数注入神经网络模型的代码文件；

测试模块3用于接收并执行用户输入的启动测试命令，以便在配置参数条件下对网络模型进行测试。

可见，本申请所提供的神经网络模型的测试装置，通过预先编写好脚本文件的配置参数注入命令，可由注入模块2将获取模块1所获取的用户集中输入的配置参数自动注入到神经网络模型的代码文件中，实现测试用例对神经网络模型的参数配置，进而由测试模块3完成测试，从而无需用户手动地在神经网络模型的代码文件中对配置参数一一定位并修改，可以有效地简化测试工作量并提高测试效率和准确度。

本申请所提供的神经网络模型的测试装置，在上述实施例的基础上：

作为一种优选实施例，配置参数的类型包括以下任意一种或者任意组合：

模型名称、测试数据路径、测试迭代次数、每批次处理数据量、图形处理芯片数量、日志文件存储目录。

作为一种优选实施例，获取模块1具体用于：

分别从用户输入的配置参数集中的各个指定行或指定列提取各个类型的配置参数。

作为一种优选实施例，配置参数包括多个测试用例的配置参数。

本申请还提供了一种神经网络模型的测试设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行计算机程序以实现以上所介绍的任一种神经网络模型的测试方法的步骤。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时用以实现以上所介绍的任一种神经网络模型的测试方法的步骤。

本申请所提供的神经网络模型的测试装置、设备及计算机可读存储介质的具体实施方式与上文所描述的神经网络模型的测试方法可相互对应参照，这里就不再赘述。

本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需说明的是，在本申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种神经网络模型的测试方法，其特征在于，包括：

获取用户集中输入的配置参数；

在接收到用户输入的配置参数注入命令后，调用与所述配置参数注入命令对应的预先设置的脚本文件，以便将所述配置参数注入所述神经网络模型的代码文件；

接收并执行用户输入的启动测试命令，以便在所述配置参数条件下对所述神经网络模型进行测试。

2.根据权利要求1所述的测试方法，其特征在于，所述配置参数的类型包括以下任意一种或者任意组合：

模型名称、测试数据路径、测试迭代次数、每批次处理数据量、图形处理器数量、日志文件存储目录。

3.根据权利要求2所述的测试方法，其特征在于，所述获取用户集中输入的配置参数包括：

分别从用户输入的配置参数集中的各个指定行或指定列提取各个类型的所述配置参数。

4.根据权利要求1至3任一项所述的测试方法，其特征在于，所述配置参数包括多个测试用例的配置参数。

5.一种神经网络模型的测试装置，其特征在于，包括：

获取模块：用于获取用户集中输入的配置参数；

注入模块：用于在接收到用户输入的配置参数注入命令后，调用与所述配置参数注入命令对应的预先设置的脚本文件，以便将所述配置参数注入所述神经网络模型的代码文件；

测试模块：用于接收并执行用户输入的启动测试命令，以便在所述配置参数条件下对所述网络模型进行测试。

6.根据权利要求5所述的测试装置，其特征在于，所述配置参数的类型包括以下任意一种或者任意组合：

模型名称、测试数据路径、测试迭代次数、每批次处理数据量、图形处理芯片数量、日志文件存储目录。

7.根据权利要求6所述的测试装置，其特征在于，所述获取模块具体用于：

分别从用户输入的配置参数集中的各个指定行或指定列提取各个类型的所述配置参数。

8.根据权利要求5至7任一项所述的测试装置，其特征在于，所述配置参数包括多个测试用例的配置参数。

9.一种神经网络模型的测试设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如权利要求1至4任一项所述的神经网络模型的测试方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的神经网络模型的测试方法的步骤。