CN117371506A - 模型训练、模型测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种模型训练、模型测试方法、装置、电子设备及存储介质，其中，模型训练方法包括：获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值；按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态；根据修改后的模型随机参数训练所述待训练模型。本发明实施例的技术方案能够缩短模型的训练时间，提高模型的训练效率，进而提高模型的测试效率，降低模型测试的人力成本。

Description

模型训练、模型测试方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种模型训练、模型测试方法、装置、电子设备及存储介质。

背景技术

神经网络模型在正式投入应用之前，都需要训练、验证以及测试的过程，以保证神经网络模型的精度能够符合应用要求。

由于模型的计算量非常大，对于硬件资源的要求很高，尤其是深度学习模型的训练，为了完成一次模型的收敛训练，通常少则需要几个小时的训练时间，多则几周甚至更长的训练时间。在模型精度达标后，将模型加入到测试系统中，以通过测试系统测试该模型的精度是否正常，并判断网络模型的软件开发中是否引入了错误。

发明人在实现本发明的过程中，发现现有技术存在如下缺陷：因为神经网络模型的训练时间较长，当加入到测试系统中的进行测试的神经网络模型越来越多后，需要的测试硬件资源也越来越多，并且能完成一次测试系统内所有网络模型测试的时间越来越长，如通常需要几天甚至几周时间，导致神经网络模型的测试以及开发软件的验证出现很大滞后性。对于已经达标的模型，因为测试的滞后性导致再次精度异常的时候，按照常规的回归测试方法需要排查具体是模型代码中哪里的修改引起的精度异常。然而，因为模型数量及测试时间很长，无法在一天内完成所有测试，导致精度异常测试的软件版本与上一次精度正常的软件版本之间可能会存在几天的时间差，使得模型回归测试变的十分困难。因此，又需要大量人力去定位问题，模型测试的难度不低于重新开发一个新的模型。这样随着开发的模型越多，出现这种问题的频率会不断增加，导致网络模型的软件开发过程中引入的问题不容易快速发现，且人力资源的严重浪费。

发明内容

本发明实施例提供一种模型训练、模型测试方法、装置、电子设备及存储介质，能够缩短模型的训练时间，提高模型的训练效率，进而提高模型的测试效率，降低模型测试的人力成本。

根据本发明的一方面，提供了一种模型训练方法，包括：

获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值；

按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态；

根据修改后的模型随机参数训练所述待训练模型。

根据本发明的另一方面，提供了一种模型测试方法，应用于模型测试系统，包括：

获取基准模型参考数据和模型测试阈值；

按照模型参数修改策略修改待测试模型的模型随机参数，以使所述待测试模型的随机数据处理状态转变为固定数据处理状态；其中，所述待测试模型通过第一方面所述的模型训练方法训练得到；

根据修改后的模型随机参数训练所述待测试模型；

在确定所述待测试模型完成训练的情况下，获取所述待测试模型的待测试训练过程参考数据；

根据所述待测试训练过程参考数据和所述基准模型参考数据计算参考数据相似度；

对所述参考数据相似度和所述模型测试阈值进行对比，以根据对比结果确定所述待测试模型的测试结果。

根据本发明的另一方面，提供了一种模型训练装置，包括：

待训练模型获取模块，用于获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值；

第一模型随机参数修改模块，用于按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态；

第一模型训练模块，用于根据修改后的模型随机参数训练所述待训练模型。

根据本发明的另一方面，提供了一种模型测试装置，配置于模型测试系统，包括：

模型数据获取模块，用于获取基准模型参考数据和模型测试阈值；

第二模型随机参数修改模块，用于按照模型参数修改策略修改待测试模型的模型随机参数，以使所述待测试模型的随机数据处理状态转变为固定数据处理状态；其中，所述待测试模型通过第一方面所述的模型训练方法训练得到；

第二模型训练模块，用于根据修改后的模型随机参数训练所述待测试模型；

训练过程参考数据获取模块，用于在确定所述待测试模型完成训练的情况下，获取所述待测试模型的待测试训练过程参考数据；

参考数据相似度计算模块，用于根据所述待测试训练过程参考数据和所述基准模型参考数据计算参考数据相似度；

测试结果确定模块，用于对所述参考数据相似度和所述模型测试阈值进行对比，以根据对比结果确定所述待测试模型的测试结果。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的模型训练或模型测试方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的模型训练或模型测试方法。

本发明实施例通过在模型训练的过程中获取模型精度超过预设阈值待训练模型，按照模型参数修改策略修改待训练模型的模型随机参数，以使待训练模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待训练模型。待模型训练完成后，将基准模型参考数据和模型测试阈值输入测试系统，进入模型测试过程，同样按照模型参数修改策略修改待测试模型的模型随机参数，以使待测试模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待测试模型。当待测试模型完成训练时，获取待测试模型的待测试训练过程参考数据，并根据待测试训练过程参考数据和基准模型参考数据计算参考数据相似度，进而对参考数据相似度和模型测试阈值进行对比，以根据对比结果确定待测试模型的测试结果，解决现有模型测试过程存在的测试效率低的问题，能够缩短模型的训练时间，提高模型的训练效率，进而提高模型的测试效率，降低模型测试的人力成本。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种模型训练方法的流程图；

图2是本发明实施例二提供的一种模型训练方法的流程图；

图3是本发明实施例二提供的一种在数据处理状态及少数迭代次数下模型精度达标与模型精度不达标的拟合状态对比效果示意图；

图4是本发明实施例二提供的一种待训练模型开启随机性后在不同随机状态下的拟合状态对比效果示意图；

图5是本发明实施例三提供的一种模型测试方法的流程图；

图6是本发明实施例三提供的一种模型训练和测试流程的示意图；

图7是本发明实施例四提供的一种模型训练装置的示意图；

图8是本发明实施例五提供的一种模型测试装置的示意图；

图9为本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一提供的一种模型训练方法的流程图，本实施例可适用于对待训练模型修改模型随机参数后对其进行快速训练的情况，该方法可以由模型训练装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中，该电子设备可以是终端设备，也可以是服务器设备，只要能够完成模型的训练即可，本发明实施例并不对电子设备的具体设备类型进行限定。相应的，如图1所示，该方法包括如下操作：

S110、获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值。

其中，待训练模型可以是任意类型需要进行训练的模型。例如，待训练模型可以是普通的卷积神经网络模型、图神经网络模型以及强化学习模型等，还可以是多层感知器、卷积神经网络、递归神经网络、深度信念网络以及受限玻尔兹曼机等各类深度学习模型。只要有训练和测试需求即可，本发明实施例并不对待训练模型的具体模型类型进行限定。预设阈值可以是根据实际需求设定的阈值，例如95％或97％等，本发明实施例并不对预设阈值的具体数值进行限定。

在本发明实施例中，待训练模型可以是未经训练的原始模型，也可以是根据实际业务场景进行微调的模型。当训练的模型精度达标后，可以认为当前模型训练是合格的。在模型训练合格的基础上，通过缩短模型训练过程，得到参考数据，可以在后续测试流程中提高模型的测试效率。

示例性的，假设7月20日测试得到的模型A的精度为96％且精度达标，则可以修改模型A的训练参数，重新训练模型，得到参考数据。在后续测试中可以使用7月20日修改参数后的参考数据作为标准，测试模型训练是否合格。

S120、按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态。

S130、根据修改后的模型随机参数训练所述待训练模型。

其中，模型参数修改策略可以是对待训练模型的相关模型参数进行修改的测量。模型随机参数可以是待训练模型中能够引发随机性问题的参数，例如可以包括但不限于随机种子和数据读取线程的数量和数据读取方式等。随机数据处理状态也即处理数据是随机或乱序的状态。固定数据处理状态也即处理数据是固定流程或规律可循的状态。示例性的，待训练模型例如可以是图像识别模型，用于进行图像识别处理，或者，待训练模型还可以是目标追踪模型，用于进行目标的识别以及追踪处理等。

可以理解的是，大部分模型的训练过程为了提高模型的效果，通常会增加训练的随机性。例如，模型通常会使用随机种子做模型参数的初始化、数据采样顺序的乱序以及某些算子如Dropout(随机失活)算子的随机训练等。这种随机性增加了模型结果复现的难度。

本发明实施例为了降低模型结果复现的难度，可以按照模型参数修改策略修改待训练模型的模型随机参数，将待训练模型中所有随机性相关的开关关闭或者变为一种有序的状态，并根据修改后的模型随机参数训练待训练模型，以使待训练模型在训练过程中的随机数据处理状态转变为固定数据处理状态，如将待训练模型的随机初始化状态转变为固定初始化状态。

由于待训练模型在训练过程中的数据处理状态均为固定数据处理状态，因此在后续对模型进行测试时，可以快速复现模型结果，以根据复现的模型结果快速定位模型中的问题。由此可见，上述模型训练方法不仅可以缩短模型的训练时间，提高模型的训练效率，还可以提高模型的测试效率，从而降低模型测试的人力成本。

示例性的，假设2023年7月20日测试得到的模型A的精度为96％，如果采用常规的模型训练方法重新训练得到模型B，由于随机性的问题，很难对模型A的训练过程进行结果复现，从而加大了模型测试的难度。而本发明实施例将模型A-20作为待训练模型后，通过修改模型A-20的模型随机参数，以使模型A-20的随机数据处理状态转变为固定数据处理状态，并重新对待训练模型进行快速训练，得到模型A-20-1，2023年7月21日使用相同快速训练参数得到模型A-21-1。相应的，由于模型训练过程中全部为固定数据处理状态，因此由模型A-20-1训练和模型A-21-1的训练规律是可知且一致的，极易对模型A-20-1的训练结果进行复现，从而快速定位训练过程中的问题具体是哪个环节或哪里的修改问题。

本发明实施例通过在模型训练的过程中获取模型精度超过预设阈值待训练模型，按照模型参数修改策略修改待训练模型的模型随机参数，以使待训练模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待训练模型。由于模型的训练过程中数据状态可控，因此待模型训练完成后，可以快速完成模型的测试过程，解决现有模型测试过程存在的测试效率低的问题，能够缩短模型的训练时间，提高模型的训练效率，进而提高模型的测试效率，降低模型测试的人力成本。

实施例二

图2是本发明实施例二提供的一种模型训练方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了修改待训练模型的模型随机参数、模型迭代参数以及收集训练过程参考数据的多种具体可选的实现方式。相应的，如图2所示，本实施例的方法可以包括：

S210、获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值。

S220、按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态。

在本发明的一个可选实施例中，所述按照模型参数修改策略修改所述待训练模型的模型随机参数，可以包括：确定所述待训练模型中随机数生成器的随机种子；固定所述随机数生成器的随机种子，以将所述随机数生成器随机输出的数值修改为固定有序的数值。

其中，随机数生成器可以用于在待训练模型中生成随机数据。随机种子可以是用于设置随机数生成器的模型随机参数。可以理解的是，待训练模型可以包括多种不同类型的随机种子，例如待训练模型的模型初始化过程以及数据处理过程中的数值计算过程中都可以设置相应的随机种子，本发明实施例并不对随机种子的类型和具体内容进行限定。

可选的，可以将待训练模型中随机数生成器的随机种子作为模型随机参数，并按照模型参数修改策略修改随机数生成器的随机种子。可选的，按照模型参数修改策略修改随机数生成器的随机种子，具体可以是直接固定随机种子的数值，例如，将随机种子的数值设置为固定数值10或20等。在待训练模型中，很多随机数生成器都会对应配置有一个随机种子，在确定并固定随机数生成器的随机种子后，随机数生成器随机输出的数值即被修改为固定有序的数值，也即，随机数生成器输出的数值是规律可循的数值序列。相应的，待训练模型每次调用随机数生成器输出的数据状态都是可知的有序数据，而规律有序的数据有利于复现待训练模型的训练结果。

在本发明的一个可选实施例中，所述按照模型参数修改策略修改所述待训练模型的模型随机参数，可以包括：确定所述待训练模型的多个数据读取进程；将各所述数据读取进程的异步数据读取操作修改为同步数据读取操作；或，从各所述数据读取进程筛选其中一个数据读取进程作为目标数据读取进程，开启所述目标数据读取进程，并关闭非目标数据读取进程。

其中，数据读取进程可以是待训练模型中用于读取数据的进程。示例性的，当待训练模型为图像识别模型时，数据读取进程可以是待训练模型中用于读取图像样本数据的进程。异步数据读取操作也即采用异步的方式读取数据的操作。同步数据读取操作也即采用同步的方式读取数据的操作。目标数据读取进程可以是唯一指定的用于读取数据的进程。非目标数据读取进程可以是数据读取进程中除目标数据读取进程之外的其他数据读取进程。

可以理解的是，对于待训练模型来说，除了随机种子可以产生随机问题，为了提升数据读取速度会使用多个数据读取进程异步读取数据。由于每个数据读取进程的读取速度不一致，也可能导致数据的读取顺序发生变化，从而打乱要读取的数据顺序。因此，多个数据读取进程的异步数据读取操作同样会产生随机问题。

为解决因数据读取顺序打乱的随机问题，可以将数据读取进程作为待训练模型的另外一种类型的模型随机参数，确定待训练模型中用于读取数据的多个数据读取进程，并将各数据读取进程的异步数据读取操作修改为同步数据读取操作，以保证各数据读取进程按顺序依次读取数据，如各数据读取进程每读取一个数据就训练一个轮次的待训练模型。或者，还可以从各数据读取进程筛选其中一个数据读取进程作为目标数据读取进程，仅开启目标数据读取进程用于读取数据，并关闭非目标数据读取进程，也即可以仅开启其中一个数据读取进程读取数据。通过对数据读取进程的模型随机参数进行修改，可以固定待训练模型的数据读取顺序。

可选的，将待训练模型中的所有模型随机参数的随机性完全修改为固定状态后，可以使用少量的迭代次数(如3-5次等)多次运行待训练模型的代码，以根据待训练模型的训练过程验证待训练模型的随机状态是否已修改为固定状态。示例性的，可以验证待训练模型的数据读取顺序是否已经固定，还可以加载待训练模型以获取其初始化参数，并判断待训练模型在初始化过程的随机性是否关闭等。可选的，可以通过获取待训练模型训练过程中所生成的日志数据等来实现上述随机性验证过程。

S230、按照所述模型参数修改策略修改所述待训练模型的模型迭代参数。

其中，模型迭代参数也即确定待训练模型反复训练迭代的次数的参数。

在本发明实施例中，可选的，模型参数修改策略除了可以包括对模型随机参数进行修改的策略，还可以包括对待训练模型的模型迭代参数进行修改的策略。可以理解的是，通常情况下，模型的训练过程需要迭代几百次甚至上万次，严重拉长了模型的训练时间，影响了模型的测试效率。因此，为了进一步提高模型测试的效率，按照模型参数修改策略修改待训练模型的模型迭代参数时，具体可以是减小待训练模型的模型迭代参数，例如将待训练模型的模型迭代参数修改为几十或几百的数值，使得待训练模型的模型迭代参数远远小于待训练模型精度收敛所需要的迭代次数。

S240、根据修改后的模型随机参数和模型迭代参数训练所述待训练模型。

相应的，在按照模型参数修改策略修改待训练模型的模型随机参数和模型迭代参数后，即可根据修改后的模型随机参数和模型迭代参数训练待训练模型。如此，待训练模型的每次训练结果可以快速复现，且模型的训练次数大幅缩减，不仅提高了待训练模型的训练效率，更有利于提高待训练模型后期的测试效率。

在本发明的一个可选实施例中，在所述根据修改后的模型随机参数和模型迭代参数训练所述待训练模型之后，还可以包括：获取所述待训练模型的正常训练过程参考数据和异常训练过程参考数据；其中，所述正常训练过程参考数据和所述异常训练过程参考数据包括模型收敛值和验证评测指标数据；根据所述正常训练过程参考数据确定基准模型参考数据；根据所述正常训练过程参考数据和所述异常训练过程参考数据生成模型测试阈值；其中，所述基准模型参考数据和所述模型测试阈值用于对待测试模型进行测试。

其中，正常训练过程参考数据可以是待训练模型在正常训练过程中生成的参考数据。异常训练过程参考数据可以是待训练模型在非正常训练过程中生成的参考数据。模型收敛值可以是通过待训练模型的损失函数所计算得到的损失值等，可以体现待训练模型的当前训练精度或训练效果即可，本发明实施例并不对模型收敛值的具体数值类型和内容进行限定。验证评测指标数据可以是用于验证评测待训练模型的训练效果的相关指标数据。示例性的，当待训练模型为图像识别模型时，验证评测指标数据可以包括但不限于图像识别准确率以及图像识别延时性等。当待训练模型为目标追踪模型时，验证评测指标数据可以包括但不限于目标追踪识别准确率以及目标追踪的延时性等。基准模型参考数据可以是能够用于作为参考标准的模型参考数据。示例性的，可以将待训练模型在正常训练过程中生成的达标的模型收敛值和验证评测指标数据作为基准模型参考数据。模型测试阈值可以是在后续模型测试过程中确定待测试模型是否达标的相关阈值。示例性的，模型测试阈值例如可以包括但不限于模型收敛值的阈值，如97％，以及验证评测指标数据中各个指标数据的阈值等，如图像识别准确率阈值95％等。

为了对后续模型测试过程确定测试参考的数据，在待训练模型的训练过程中，可以收集模型收敛值和验证评测指标数据等训练过程参考数据。在收集模型收敛值和验证评测指标数据的过程中，还可以对模型收敛值和验证评测指标数据进行分类，即可以获取正常训练过程参考数据和异常训练过程参考数据两种类型的训练过程参考数据。进一步的，可以根据正常训练过程参考数据确定基准模型参考数据，例如从正常训练过程参考数据中筛选，或依据权重计算出标准的模型收敛值和验证评测指标数据作为基准模型参考数据。同时，还可以根据正常训练过程参考数据和异常训练过程参考数据计算生成模型测试阈值。例如，可以使用传统的机器学习方法，如支持向量机、决策树以及余弦相似度等方法，对正常训练过程参考数据和异常训练过程参考数据计算生成模型测试阈值。

在本发明的一个可选实施例中，所述获取所述待训练模型的正常训练过程参考数据和异常训练过程参考数据，可以包括：获取所述待训练模型基于第一训练硬件设备训练时生成的拟合度超过第一预设拟合度阈值的第一训练过程参考数据；获取所述待训练模型基于第二训练硬件设备训练时生成的拟合度超过所述第一预设拟合度阈值的第二训练过程参考数据；其中，所述第一训练硬件设备和所述第二训练硬件设备的硬件随机性一致；将所述第一训练过程参考数据和所述第二训练过程参考数据作为所述正常训练过程参考数据；获取所述待训练模型训练时生成的拟合度低于第二预设拟合度阈值的第三训练过程参考数据；开启所述待训练模型的随机性，或对所述待训练模型加入误差干扰训练样本数据，得到异常待训练模型；获取所述异常待训练模型训练时生成的拟合度低于所述第二预设拟合度阈值的第四训练过程参考数据；将所述第三训练过程参考数据和所述第四训练过程参考数据作为所述异常训练过程参考数据。

其中，第一训练硬件设备可以是用于训练待训练模型的其中一种硬件设备，如CPU(Central Processing Unit，中央处理器)设备或GPU(Graphics Processing Unit，图形处理器)设备等。第二训练硬件设备可以是用于训练待训练模型的另外一种硬件设备，如另外一种CPU设备或GPU设备等。第一训练硬件设备和第二训练硬件设备的硬件随机性一致，所谓硬件随机性一致，可以理解为由硬件设备导致的随机状态一致。第一预设拟合度阈值可以根据实际需求设定，是表征模型训练正常的阈值数据，如90％或95％等，本发明实施例并不对第一预设拟合度阈值的具体数值进行限定。第一训练过程参考数据可以是通过第一训练硬件设备训练待训练模型时收集的参考数据。第二训练过程参考数据可以是通过第二训练硬件设备训练待训练模型时收集的参考数据。第二预设拟合度阈值可以根据实际需求设定，是表征模型训练异常的阈值数据，如70％或85％等，本发明实施例并不对第二预设拟合度阈值的具体数值进行限定。第三训练过程参考数据可以是待训练模型在正常训练时模型拟合度较低时收集的参考数据。误差干扰训练样本数据可以是用于训练待训练模型的负样本数据，可以对待训练模型的训练过程造成误差干扰。异常待训练模型可以是待训练模型开启随机性的模型，也还可以是训练过程中加入误差干扰训练样本数据时训练得到的模型。第四训练过程参考数据可以是待训练模型在异常训练时模型拟合度较低时收集的参考数据。

在本发明实施例中，可以对待训练模型进行正常训练和异常训练，以在训练过程中收集正常训练过程参考数据和异常训练过程参考数据。在基于第一训练硬件设备对待训练模型进行正常训练的过程中，将各待训练模型生成的拟合度超过第一预设拟合度阈值的第一训练过程参考数据。图3是本发明实施例二提供的一种在数据处理状态及少数迭代次数下模型精度达标与模型精度不达标的拟合状态对比效果示意图。在一个具体的例子中，如图3所示，理论上，各待训练模型生成的第一训练过程参考数据拟合度较高。为了进一步扩大正常训练过程参考数据的数量，当待训练模型的精度达标后，还可以将待训练模型转移至第二训练硬件设备反复训练，并获取待训练模型基于第二训练硬件设备训练时生成的拟合度超过第一预设拟合度阈值的第二训练过程参考数据。相应的，可以将待训练模型进行正常训练过程中生成的第一训练过程参考数据和第二训练过程参考数据作为正常训练过程参考数据。

可选的，在本发明实施例中，待训练模型的非正常训练过程可以包括但不限于模型精度异常时的训练过程、模型随机性状态为打开状态的训练过程以及加入异常干扰数据的训练过程等。具体的，在待训练模型的正常训练过程中，如果模型精度出现异常，则可以将次训练过程作为异常训练过程，如图3所示，待训练模型的模型精度较低时，生成的参考数据拟合度较低。因此，可以收集待训练模型训练时生成的拟合度低于第二预设拟合度阈值的第三训练过程参考数据。同时，为了进一步扩大异常训练过程参考数据的数量，可以通过完全开启待训练模型训练的随机性，或者在模型训练过程中，引入一些误差干扰的训练样本数据，以获取异常待训练模型训练时生成的拟合度低于第二预设拟合度阈值的第四训练过程参考数据。图4是本发明实施例二提供的一种待训练模型开启随机性后在不同随机状态下的拟合状态对比效果示意图。在一个具体的例子中，如图4所示，待训练模型开启随机性后，生成的参考数据的拟合度较低。相应的，可以将待训练模型的非正常训练过程中生成的第三训练过程参考数据和第四训练过程参考数据作为异常训练过程参考数据。

上述技术方案，通过根据修改后的模型随机参数和模型迭代参数训练待训练模型，并在待训练模型的训练过程中收集正常训练过程参考数据和异常训练过程参考数据，可以通过收集的正常训练过程参考数据和异常训练过程参考数据确定模型测试过程中参考的数据和相关阈值等。由于待训练模型的训练效率提高，因此正常训练过程参考数据和异常训练过程参考数据的收集效率也较高，进而能够提高后续模型的测试效率，降低模型测试的人力成本。

实施例三

图5是本发明实施例三提供的一种模型测试方法的流程图，本实施例可适用于对待测试的模型修改模型随机参数后对其进行快速测试的情况，该方法可以由配置在模型测试系统中的模型测试装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中，该电子设备可以是终端设备，也可以是服务器设备，只要能够完成模型的训练和测试即可，本发明实施例并不对电子设备的具体设备类型进行限定。相应的，如图5所示，该方法包括如下操作：

S310、获取基准模型参考数据和模型测试阈值。

在待训练模型完成模型训练过程，并基于正常训练过程参考数据和异常训练过程参考数据确定基准模型参考数据和模型测试阈值之后，可以将基准模型参考数据和模型测试阈值加入模型测试系统中，通过模型测试系统作为测试标准数据对待测试的模型进行测试流程。

S320、按照模型参数修改策略修改待测试模型的模型随机参数，以使所述待测试模型的随机数据处理状态转变为固定数据处理状态。

其中，所述待测试模型通过上述任一实施例所述的模型训练方法训练得到。

其中，模型测试流程中的模型参数修改策略可以和模型训练流程中的模型参数修改策略相同。待测试模型也即完成模型训练过程后需要进行测试的模型。

示例性的，待测试模型可以是修改模型随机参数和模型迭代参数并完成训练后的卷积神经网络模型、图神经网络模型以及强化学习模型等，还可以是多层感知器、卷积神经网络、递归神经网络、深度信念网络以及受限玻尔兹曼机等各类深度学习模型。本发明实施例并不对待测试模型的具体模型类型进行限定。

S330、根据修改后的模型随机参数训练所述待测试模型。

在本发明的一个可选实施例中，在所述获取基准模型参考数据和模型测试阈值之后，还可以包括：按照所述模型参数修改策略修改所述待测试模型的模型迭代参数；相应的，所述根据修改后的模型随机参数训练所述待测试模型，可以包括：根据修改后的模型随机参数和模型迭代参数训练所述待测试模型。

在本发明实施例中，当待训练模型完成训练后，可以将其作为待测试模型，并加入模型测试系统开始对其进行测试。在待测试模型的测试过程中，可以按照待测试模型在模型训练时的模型参数修改策略修改待测试模型的模型随机参数和模型迭代参数，并根据修改后的模型随机参数和模型迭代参数训练待测试模型，以使待测试模型在测试过程中的随机数据处理状态转变为固定数据处理状态，并降低待测试模型的训练迭代次数。

S340、在确定所述待测试模型完成训练的情况下，获取所述待测试模型的待测试训练过程参考数据。

其中，待测试训练过程参考数据可以是待测试模型在测试过程的训练环节中生成的参考数据，可以包括待测试模型的模型收敛值和验证评测指标数据。

相应的，当待测试模型完成测试过程中的训练环节后，可以收集待测试模型在测试过程的训练环节中生成的模型收敛值和验证评测指标数据等数据作为待测试训练过程参考数据。

S350、根据所述待测试训练过程参考数据和所述基准模型参考数据计算参考数据相似度。

其中，参考数据相似度可以是待测试训练过程参考数据和基准模型参考数据之间的相似度。

S360、对所述参考数据相似度和所述模型测试阈值进行对比，以根据对比结果确定所述待测试模型的测试结果。

相应的，在获取到待测试模型的待测试训练过程参考数据之后，可以对待测试训练过程参考数据和基准模型参考数据计算参考数据相似度。可以理解的是，待测试训练过程参考数据和基准模型参考数据包括多种不同的数据，因此，针对每一种类型的数据可以分别计算对应的相似度。例如，可以对待测试训练过程参考数据和基准模型参考数据中的模型收敛值计算对应的相似度，并对待测试训练过程参考数据和基准模型参考数据中的模型精度或识别准确率等分别计算对应的相似度。也即，参考数据相似度可以包括多种不同数据的相似度数值。可选的，参考数据相似度的计算方式可以采用欧氏距离、曼哈顿距离或余弦相似度等方法，本发明实施例并不对参考数据相似度的计算方法进行限定。

进一步的，可以分别对参考数据相似度和模型测试阈值进行对比，以根据对比结果确定待测试模型的测试结果。可以理解的是，如果参考数据相似度大于或等于对应的模型测试阈值，则表明待测试模型通过测试。如果参考数据相似度小于对应的模型测试阈值，则表明待测试模型未通过测试，即待测试模型在软件开发过程中引入了错误。

图6是本发明实施例三提供的一种模型训练和测试流程的示意图，在一个具体的例子中，如图6所示，整个模型训练和测试流程的操作如下：首先完成模型的随机性验证，确保模型的随机状态固定可重复。然后在模型固定的随机状态下，使用精度达标的模型，训练迭代模型几十到几百次，完成正样本数据(即正常训练过程参考数据)的收集。同时，可以引入一些干扰或者开发过程中不达标的模型版本训练得到一批负样本数据，完成负样本数据(即异常训练过程参考数据)的收集。之后使用传统机器学习等方法对正样本数据和负样本数据计算得到正负样本的阈值。最后将基准模型参考数据及阈值数据加入测试系统，对待测试的模型进行快速测试。由此可见，本发明实施例所提供的模型训练方法和模型测试方法从网络模型训练过程中的随机性入手，将所有的随机状态修改为固定状态以使训练结果能够复现，以排查模型的问题所在，从而可以快速验证模型的软件开发过程中是否存在问题。

本发明实施例通过在模型训练的过程中获取模型精度超过预设阈值待训练模型，按照模型参数修改策略修改待训练模型的模型随机参数，以使待训练模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待训练模型。待模型训练完成后，将基准模型参考数据和模型测试阈值输入测试系统，进入模型测试过程，同样按照模型参数修改策略修改待测试模型的模型随机参数，以使待测试模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待测试模型。当待测试模型完成训练时，获取待测试模型的待测试训练过程参考数据，并根据待测试训练过程参考数据和基准模型参考数据计算参考数据相似度，进而对参考数据相似度和模型测试阈值进行对比，以根据对比结果确定待测试模型的测试结果，解决现有模型测试过程存在的测试效率低的问题，能够缩短模型的训练时间，提高模型的训练效率，进而提高模型的测试效率，降低模型测试的人力成本。

需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。

实施例四

图7是本发明实施例四提供的一种模型训练装置的示意图，如图7所示，所述装置包括：待训练模型获取模块410、第一模型随机参数修改模块420以及第一模型训练模块430，其中：

待训练模型获取模块410，用于获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值；

第一模型随机参数修改模块420，用于按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态；

第一模型训练模块430，用于根据修改后的模型随机参数训练所述待训练模型。

本发明实施例通过在模型训练的过程中获取模型精度超过预设阈值待训练模型，按照模型参数修改策略修改待训练模型的模型随机参数，以使待训练模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待训练模型。由于模型的训练过程中数据状态可控，因此待模型训练完成后，可以快速完成模型的测试过程，解决现有模型测试过程存在的测试效率低的问题，能够缩短模型的训练时间，提高模型的训练效率，进而提高模型的测试效率，降低模型测试的人力成本。

可选的，第一模型随机参数修改模块420具体用于：确定所述待训练模型中随机数生成器的随机种子；固定所述随机数生成器的随机种子，以将所述随机数生成器随机输出的数值修改为固定有序的数值。

可选的，第一模型随机参数修改模块420具体用于：确定所述待训练模型的多个数据读取进程；将各所述数据读取进程的异步数据读取操作修改为同步数据读取操作；或，从各所述数据读取进程筛选其中一个数据读取进程作为目标数据读取进程，开启所述目标数据读取进程，并关闭非目标数据读取进程。

可选的，模型训练装置还包括第一模型迭代参数修改模块，用于：按照所述模型参数修改策略修改所述待训练模型的模型迭代参数；第一模型训练模块430具体用于：根据修改后的模型随机参数和模型迭代参数训练所述待训练模型。

可选的，模型训练装置还包括参考数据阈值确定模块，用于：获取所述待训练模型的正常训练过程参考数据和异常训练过程参考数据；其中，所述正常训练过程参考数据和所述异常训练过程参考数据包括模型收敛值和验证评测指标数据；根据所述正常训练过程参考数据确定基准模型参考数据；根据所述正常训练过程参考数据和所述异常训练过程参考数据生成模型测试阈值；其中，所述基准模型参考数据和所述模型测试阈值用于对待测试模型进行测试。

可选的，参考数据阈值确定模块具体用于：获取所述待训练模型基于第一训练硬件设备训练时生成的拟合度超过第一预设拟合度阈值的第一训练过程参考数据；获取所述待训练模型基于第二训练硬件设备训练时生成的拟合度超过所述第一预设拟合度阈值的第二训练过程参考数据；其中，所述第一训练硬件设备和所述第二训练硬件设备的硬件随机性一致；将所述第一训练过程参考数据和所述第二训练过程参考数据作为所述正常训练过程参考数据；获取所述待训练模型训练时生成的拟合度低于第二预设拟合度阈值的第三训练过程参考数据；开启所述待训练模型的随机性，或对所述待训练模型加入误差干扰训练样本数据，得到异常待训练模型；获取所述异常待训练模型训练时生成的拟合度低于所述第二预设拟合度阈值的第四训练过程参考数据；将所述第三训练过程参考数据和所述第四训练过程参考数据作为所述异常训练过程参考数据。

上述模型训练装置可执行本发明任意实施例所提供的模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的模型训练方法。

由于上述所介绍的模型训练装置为可以执行本发明实施例中的模型训练方法的装置，故而基于本发明实施例中所介绍的模型训练方法，本领域所属技术人员能够了解本实施例的模型训练装置的具体实施方式以及其各种变化形式，所以在此对于该模型训练装置如何实现本发明实施例中的模型训练方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中模型训练方法所采用的装置，都属于本申请所欲保护的范围。

实施例五

图8是本发明实施例五提供的一种模型测试装置的示意图，该模型测试装置配置于模型测试系统，如图8所示，所述装置包括：模型数据获取模块510、第二模型随机参数修改模块520、第二模型训练模块530、训练过程参考数据获取模块540、参考数据相似度计算模块550以及测试结果确定模块560，其中：

模型数据获取模块510，用于获取基准模型参考数据和模型测试阈值；

第二模型随机参数修改模块520，用于按照模型参数修改策略修改待测试模型的模型随机参数，以使所述待测试模型的随机数据处理状态转变为固定数据处理状态；其中，所述待测试模型通过上述任一实施例所述的模型训练方法训练得到；

第二模型训练模块530，用于根据修改后的模型随机参数训练所述待测试模型；

训练过程参考数据获取模块540，用于在确定所述待测试模型完成训练的情况下，获取所述待测试模型的待测试训练过程参考数据；

参考数据相似度计算模块550，用于根据所述待测试训练过程参考数据和所述基准模型参考数据计算参考数据相似度；

测试结果确定模块560，用于对所述参考数据相似度和所述模型测试阈值进行对比，以根据对比结果确定所述待测试模型的测试结果。

可选的，模型测试装置还包括第二模型迭代参数修改模块，用于：按照所述模型参数修改策略修改所述待测试模型的模型迭代参数；第二模型训练模块530具体用于：根据修改后的模型随机参数和模型迭代参数训练所述待测试模型。

本发明实施例通过在模型训练的过程中获取模型精度超过预设阈值待训练模型，按照模型参数修改策略修改待训练模型的模型随机参数，以使待训练模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待训练模型。待模型训练完成后，将基准模型参考数据和模型测试阈值输入测试系统，进入模型测试过程，同样按照模型参数修改策略修改待测试模型的模型随机参数，以使待测试模型的随机数据处理状态转变为固定数据处理状态，并根据修改后的模型随机参数训练待测试模型。当待测试模型完成训练时，获取待测试模型的待测试训练过程参考数据，并根据待测试训练过程参考数据和基准模型参考数据计算参考数据相似度，进而对参考数据相似度和模型测试阈值进行对比，以根据对比结果确定待测试模型的测试结果，解决现有模型测试过程存在的测试效率低的问题，能够缩短模型的训练时间，提高模型的训练效率，进而提高模型的测试效率，降低模型测试的人力成本。

上述模型测试装置可执行本发明任意实施例所提供的模型测试方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的模型测试方法。

由于上述所介绍的模型测试装置为可以执行本发明实施例中的模型测试方法的装置，故而基于本发明实施例中所介绍的模型测试方法，本领域所属技术人员能够了解本实施例的模型测试装置的具体实施方式以及其各种变化形式，所以在此对于该模型测试装置如何实现本发明实施例中的模型测试方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中模型测试方法所采用的装置，都属于本申请所欲保护的范围。

实施例六

图9示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如模型训练方法或模型测试方法。

其中，模型训练方法包括：获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值；按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态；根据修改后的模型随机参数训练所述待训练模型。

其中，模型测试方法包括：获取基准模型参考数据和模型测试阈值；按照模型参数修改策略修改待测试模型的模型随机参数，以使所述待测试模型的随机数据处理状态转变为固定数据处理状态；其中，所述待测试模型通过上述任一实施例所述的模型训练方法训练得到；根据修改后的模型随机参数训练所述待测试模型；在确定所述待测试模型完成训练的情况下，获取所述待测试模型的待测试训练过程参考数据；根据所述待测试训练过程参考数据和所述基准模型参考数据计算参考数据相似度；对所述参考数据相似度和所述模型测试阈值进行对比，以根据对比结果确定所述待测试模型的测试结果。

在一些实施例中，模型训练方法或模型测试方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的模型训练方法或模型测试方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法或模型测试方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

Claims (12)

1.一种模型训练方法，其特征在于，包括：

获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值；

按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态；

根据修改后的模型随机参数训练所述待训练模型。

2.根据权利要求1所述的方法，其特征在于，所述按照模型参数修改策略修改所述待训练模型的模型随机参数，包括：

确定所述待训练模型中随机数生成器的随机种子；

固定所述随机数生成器的随机种子，以将所述随机数生成器随机输出的数值修改为固定有序的数值。

3.根据权利要求1所述的方法，其特征在于，所述按照模型参数修改策略修改所述待训练模型的模型随机参数，包括：

确定所述待训练模型的多个数据读取进程；

将各所述数据读取进程的异步数据读取操作修改为同步数据读取操作；或

从各所述数据读取进程筛选其中一个数据读取进程作为目标数据读取进程，开启所述目标数据读取进程，并关闭非目标数据读取进程。

4.根据权利要求1所述的方法，其特征在于，还包括：

按照所述模型参数修改策略修改所述待训练模型的模型迭代参数；

所述根据修改后的模型随机参数训练所述待训练模型，包括：

根据修改后的模型随机参数和模型迭代参数训练所述待训练模型。

5.根据权利要求4所述的方法，其特征在于，在所述根据修改后的模型随机参数和模型迭代参数训练所述待训练模型之后，还包括：

获取所述待训练模型的正常训练过程参考数据和异常训练过程参考数据；其中，所述正常训练过程参考数据和所述异常训练过程参考数据包括模型收敛值和验证评测指标数据；

根据所述正常训练过程参考数据确定基准模型参考数据；

根据所述正常训练过程参考数据和所述异常训练过程参考数据生成模型测试阈值；

其中，所述基准模型参考数据和所述模型测试阈值用于对待测试模型进行测试。

6.根据权利要求5所述的方法，其特征在于，所述获取所述待训练模型的正常训练过程参考数据和异常训练过程参考数据，包括：

获取所述待训练模型基于第一训练硬件设备训练时生成的拟合度超过第一预设拟合度阈值的第一训练过程参考数据；

获取所述待训练模型基于第二训练硬件设备训练时生成的拟合度超过所述第一预设拟合度阈值的第二训练过程参考数据；其中，所述第一训练硬件设备和所述第二训练硬件设备的硬件随机性一致；

将所述第一训练过程参考数据和所述第二训练过程参考数据作为所述正常训练过程参考数据；

获取所述待训练模型训练时生成的拟合度低于第二预设拟合度阈值的第三训练过程参考数据；

开启所述待训练模型的随机性，或对所述待训练模型加入误差干扰训练样本数据，得到异常待训练模型；

获取所述异常待训练模型训练时生成的拟合度低于所述第二预设拟合度阈值的第四训练过程参考数据；

将所述第三训练过程参考数据和所述第四训练过程参考数据作为所述异常训练过程参考数据。

7.一种模型测试方法，其特征在于，应用于模型测试系统，包括：

获取基准模型参考数据和模型测试阈值；

按照模型参数修改策略修改待测试模型的模型随机参数，以使所述待测试模型的随机数据处理状态转变为固定数据处理状态；其中，所述待测试模型通过权利要求1-6任一所述的模型训练方法训练得到；

根据修改后的模型随机参数训练所述待测试模型；

在确定所述待测试模型完成训练的情况下，获取所述待测试模型的待测试训练过程参考数据；

根据所述待测试训练过程参考数据和所述基准模型参考数据计算参考数据相似度；

对所述参考数据相似度和所述模型测试阈值进行对比，以根据对比结果确定所述待测试模型的测试结果。

8.根据权利要求7所述的方法，其特征在于，在所述获取基准模型参考数据和模型测试阈值之后，还包括：

按照所述模型参数修改策略修改所述待测试模型的模型迭代参数；

所述根据修改后的模型随机参数训练所述待测试模型，包括：

根据修改后的模型随机参数和模型迭代参数训练所述待测试模型。

9.一种模型训练装置，其特征在于，包括：

待训练模型获取模块，用于获取待训练模型；其中，所述待训练模型的模型精度超过预设阈值；

第一模型随机参数修改模块，用于按照模型参数修改策略修改所述待训练模型的模型随机参数，以使所述待训练模型的随机数据处理状态转变为固定数据处理状态；

第一模型训练模块，用于根据修改后的模型随机参数训练所述待训练模型。

10.一种模型测试装置，其特征在于，配置于模型测试系统，包括：

模型数据获取模块，用于获取基准模型参考数据和模型测试阈值；

第二模型随机参数修改模块，用于按照模型参数修改策略修改待测试模型的模型随机参数，以使所述待测试模型的随机数据处理状态转变为固定数据处理状态；其中，所述待测试模型通过权利要求1-6任一所述的模型训练方法训练得到；

第二模型训练模块，用于根据修改后的模型随机参数训练所述待测试模型；

训练过程参考数据获取模块，用于在确定所述待测试模型完成训练的情况下，获取所述待测试模型的待测试训练过程参考数据；

参考数据相似度计算模块，用于根据所述待测试训练过程参考数据和所述基准模型参考数据计算参考数据相似度；

测试结果确定模块，用于对所述参考数据相似度和所述模型测试阈值进行对比，以根据对比结果确定所述待测试模型的测试结果。

11.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一所述的模型训练方法，或执行权利要求7-8中任一所述的模型测试方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一所述的模型训练方法，或执行权利要求7-8中任一所述的模型测试方法。