CN110377501A - 模型测试方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种模型测试方法、装置、计算机设备和存储介质。所述方法涉及模型测试流程改进，包括：确定待测试模型的输出测试周期；在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。采用本方法能够提高模型测试效率。

Description

模型测试方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型测试方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，人工智能得到了愈加广泛的重视，其研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等，已经在机器人，经济政治决策，控制系统，仿真系统中得到应用。人工智能一般通过构建的各种模型实现对应功能，如决策树模型、神经网络模型、贝叶斯模型等等。而在模型构建过程，模型测试是重要的一环，通过模型测试可以对构建模型的效果进行测试，以得到满足实际应用需求的模型。

目前，模型测试过程中，需要对模型输出进行持续监测，以判断模型输出是否满足需求，从而得到准确的测试结果。然而，当一些应用下模型测试周期较长时，对模型输出监测的时间跨度大，耗时长，模型测试效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高模型测试效率的模型测试方法、装置、计算机设备和存储介质。

一种模型测试方法，所述方法包括：

确定待测试模型的输出测试周期；

在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；

将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；

根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

在其中一个实施例中，在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期包括：

将输出测试周期与预设的测试周期阈值进行比较，当输出测试周期超过测试周期阈值时，获取预设的周期划分规则；

根据周期划分规则确定输出测试周期的子周期数量；

按照子周期数量，将输出测试周期划分成各测试子周期。

在其中一个实施例中，将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出包括：

获取测试样本数据；

按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据；

将子周期测试数据输入待测试模型中，得到子周期测试输出。

在其中一个实施例中，根据子周期测试输出和预设的输出关联度，得到全周期测试输出包括：

根据测试子周期，确定子周期测试输出对应预设的输出关联度；

根据子周期测试输出，以及与子周期测试输出对应的输出关联度，计算全周期测试输出。

在其中一个实施例中，在根据子周期测试输出和预设的输出关联度，得到全周期测试输出之前，还包括：

获取待测试模型对应业务系统的历史业务数据；

从历史业务数据中提取输出测试周期对应的全周期历史数据，和各测试子周期对应的子周期历史数据；

根据全周期历史数据和子周期历史数据之间的历史数据关联度，确定各测试子周期的子周期输出，和输出测试周期的全周期输出之间的输出关联度。

在其中一个实施例中，根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果包括：

根据全周期测试输出确定全周期测试结果；

获取待测试模型预设的模型输出需求；

将全周期测试结果与模型输出需求进行比较，并根据比较结果得到待测试模型的模型测试结果。

在其中一个实施例中，在得到待测试模型的模型测试结果之后，还包括：

当模型测试结果为测试不通过时，确定全周期测试结果与模型输出需求之间的模型输出偏差值；

根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据；

通过模型更新数据对待测试模型进行模型更新。

一种模型测试装置，所述装置包括：

测试周期确定模块，用于确定待测试模型的输出测试周期；

测试周期划分模块，用于在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；

子周期测试模块，用于将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；

全周期测试模块，用于根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

测试结果获取模块，用于根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

确定待测试模型的输出测试周期；

在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；

将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；

根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

确定待测试模型的输出测试周期；

在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；

将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；

根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

上述模型测试方法、装置、计算机设备和存储介质，对于输出测试周期超过预设测试周期阈值的待测试模型，通过将待测试模型的输出测试周期按照预设的周期拆分规则拆分成各测试子周期分别进行模型测试，得到子周期测试输出，并根据子周期测试输出和预设的输出关联度得到全周期测试输出，再进一步得到模型测试结果，通过利用时间跨度短的子周期测试输出获得全周期测试输出，可以缩短待测试模型的测试时间跨度，有效提高模型测试效率。

附图说明

图1为一个实施例中模型测试方法的应用场景图；

图2为一个实施例中模型测试方法的流程示意图；

图3为一个实施例中确定输出关联度的流程示意图；

图4为另一个实施例中模型测试方法的流程示意图；

图5为一个实施例中模型测试装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的模型测试方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器104在待测试模型的输出测试周期超过预设的测试周期阈值时将输出测试周期划分成各测试子周期，并获取待测试模型各测试子周期的子周期输出和输出测试周期的全周期输出之间预设的输出关联度，通过终端102向服务器104发送的各测试子周期对应的子周期测试数据进行模型测试，根据得到的子周期测试输出和输出关联度获得全周期测试输出，进一步根据全周期测试输出得到待测试模型的模型测试结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种模型测试方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤S201：确定待测试模型的输出测试周期。

其中，待测试模型可以为各种需要进行模型测试的数学模型或基于计算机软件的人工智能模型等，输出测试周期为待测试模型的输出进行测试验证的时间周期，输出测试周期是根据待测试模型的具体应用确定得到的。本实施例中，待测试模型的输出测试周期较长，且根据不同周期段的输入均可以得到对应的输出数据，从而可以将输出测试周期进行拆分测试从而缩短测试时间跨度。例如，对于预测作用类的待测试模型，具体可以包括预测人类寿命或预测职工任职时间等数学模型，针对待测试模型的输出，需要经过长时间的监测，如一年、三年、五年甚至长时间，才可以对待测试模型的预测效果进行测试和评价。此时，输出测试周期可以根据模型应用场景下的监测或考核周期进行对应设置，具体可以直接将输出测试周期设为模型应用的监测或考核周期。如对于用于预测职工任职时间的待测试模型，在进行模型测试时，需要对职工的任职时间进行长时间的监测，如可能考核周期为一年，则需要进行持续一年时间的考核，才可以确定该待测试模型输出的准确程度，实现对模型测试，此时输出测试周期可以对应设置为考核周期的一年。具体实现时，在确定待测试模型后，可以根据待测试模型的模型数据包中提取确定该待测试模型的输出测试周期。

步骤S203：在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期。

得到待测试模型的输出测试周期后，对于输出测试周期长的待待测试模型，若直接按照该输出测试周期进行模型测试，时间跨度大，耗时长，极大影响模型测试效率。可以将输出测试周期进行拆分，得到各测试子周期，并以测试子周期进行模型测试，从而有效缩短模型测试的时间跨度，提高模型测试效率。具体地，获取预设的周期划分规则，周期划分规则可以包括子周期数量及对应的子周期范围，具体地可以根据实际需求进行设置，如根据该待测模型对应测试样本数据的获取难度、模型输出的确定难度或应用场景的业务规则等确定。例如，对于预测职工任职时间能否超过一年的待测试模型，其输出测试周期为一年，则周期划分规则可以为以季度划分，得到4个测试子周期。

得到待测试模型对应预设的周期划分规则后，按照该周期划分规则将输出测试周期划分成各测试子周期。各测试子周期之间可以互斥，即各测试子周期之间无交集，也可以有交集。例如，对于输出测试周期为一年的待测试模型，可以先基于季度划分得到4个互斥的测试子周期，还可以将4个互斥的测试子周期进行组合，得到包括第一季度测试子周期和第二季度测试子周期的第五个测试子周期，依次可以扩展得到各种时间跨度范围不同的测试子周期。

步骤S205：将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出。

将输出测试周期划分成各测试子周期后，根据各测试子周期对应预设的子周期测试数据对待测试模型进行模型测试。具体地，获取各测试子周期对应预设的子周期测试数据，子周期测试数据可以按照各测试子周期将测试样本数据进行划分得到。将得到的子周期测试数据输入待测试模型中，得到子周期测试输出，子周期测试输出即为根据子周期测试数据对待测试模型进行子周期测试的子周期测试结果。

步骤S207：根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到。

其中，输出关联度反映了测试子周期的子周期输出和输出测试周期的全周期输出之间的对应关系，其是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到预先得到，具体可以基于业务系统的历史业务数据的大数据分析结果确定。在具体实现时，可以在将待测试模型的输出测试周期划分成各测试子周期后，基于待测试模型对应业务系统的历史业务数据确定全周期历史数据和各子周期历史数据之间的历史数据关联度，并将根据该历史数据关联度得到输出关联度，如可以直接将历史数据关联度作为输出关联度。根据输出关联度可以通过测试子周期的子周期输出得到输出测试周期的全周期输出，从而实现对待测试模型的测试。

具体的，得到子周期测试输出后，结合对应预设的输出关联度得到全周期测试输出，全周期测试输出为通过子周期测试数据对待测试模型进行子周期测试得到的子周期测试结果，对待测试模型进行全周期输出的拟合结果，通过该全周期测试输出可进一步得到待测试模型的模型测试结果。

步骤S209：根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

得到全周期测试输出后，获取预设的模型输出需求，模型输出需求可以包括模型输出的误差条件，只有满足该模型输出需求，模型测试结果对应为测试通过，否则模型测试结果为测试不通过，需要对待测试模型重新进行迭代更新，以提高待测试模型输出的精确度，从而实现对待测试模型的高效测试。具体地，可以将全周期测试输出和预设的模型输出需求进行比较，根据输出比较结果确定待测试模型的模型测试结果。

上述模型测试方法中，在待测试模型的输出测试周期超过预设的测试周期阈值时将输出测试周期划分成各测试子周期，并获取待测试模型各测试子周期的子周期输出和输出测试周期的全周期输出之间预设的输出关联度，通过各测试子周期对应的子周期测试数据进行模型测试，根据得到的子周期测试输出和输出关联度获得全周期测试输出，进一步根据全周期测试输出得到待测试模型的模型测试结果。对于输出测试周期超过预设测试周期阈值的待测试模型，通过将待测试模型的输出测试周期按照预设的周期拆分规则拆分成各测试子周期分别进行模型测试，并根据子周期测试输出和预设的输出关联度得到全周期测试输出，再进一步得到模型测试结果，通过利用时间跨度短的子周期测试输出获得全周期测试输出，可以缩短待测试模型的测试时间跨度，有效提高模型测试效率。

在一个实施例中，在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期包括：将输出测试周期与预设的测试周期阈值进行比较，当输出测试周期超过测试周期阈值时，获取预设的周期划分规则；根据周期划分规则确定输出测试周期的子周期数量；按照子周期数量，将输出测试周期划分成各测试子周期。

确定待测试模型的输出测试周期后，对该输出测试周期的长短进行判断，当输出测试周期足够长时，将输出测试周期进行拆分；而当输出测试周期较短时，可以直接按照输出测试周期对应的测试数据对待测试模型进行模型测试。

具体地，获取预设的测试周期阈值，测试周期阈值用于判断待测试模型是否需要对其输出测试周期进行拆分，具体可以根据实际需求进行设置。比较输出测试周期和该测试周期阈值，当输出测试周期超过测试周期阈值时，即当前的待测试模型的输出测试周期较长，需要对输出测试周期进行拆分后再进行模型测试，此时获取预设的周期划分规则。周期划分规则可以包括子周期数量及对应的子周期范围，具体地可以根据实际需求进行设置，如根据该待测模型对应测试样本数据的获取难度、模型输出的确定难度或应用场景的业务规则等确定。得到周期划分规则后，根据该周期划分规则确定输出测试周期的子周期数量，即对应各测试子周期的数目。具体地，可以先根据周期划分规则确定各子周期范围条件及周期段组合条件，根据子周期范围条件和周期段组合条件可以确定子周期数量。得到子周期数量后，按照该子周期数量，将输出测试周期划分成各测试子周期，从而实现对输出测试周期的针对性划分。

在一个实施例中，将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出包括：获取测试样本数据；按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据；将子周期测试数据输入待测试模型中，得到子周期测试输出。

在将输出测试周期划分成各测试子周期后，通过各测试子周期对应的子周期测试数据对待测试模型进行子周期测试，得到子周期测试输出。本实施例中，获取测试样本数据，测试样本数据为已知晓对应完整测试周期结果数据，具体可以为历史业务数据中预留的用于模型测试的业务用户数据。对应于待测试模型的输出测试周期的划分，按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据。通过将子周期测试数据输入待测试模型中，进行子周期测试，得到子周期测试输出，根据子周期测试输出和对应的输出关联度可以得到全周期测试输出，通过全周期测试输出可以对待测试模型进行完整输出测试周期的模型测试，从而实现了利用时间跨度拆分后的测试子周期对待测试模型进行模型测试，缩短了待测试模型的测试时间跨度，有效提高了模型测试效率。

在一个实施例中，根据子周期测试输出和预设的输出关联度，得到全周期测试输出包括：根据测试子周期，确定子周期测试输出对应预设的输出关联度；根据子周期测试输出，以及与子周期测试输出对应的输出关联度，计算全周期测试输出。

得到子周期测试输出后，结合该子周期测试输出对应的输出关联度可以得到全周期测试输出。具体地，根据测试子周期，即根据子周期测试数据对应的测试子周期，确定子周期测试输出对应的输出关联度。按照该输出关联度，结合子周期测试输出计算得到全周期测试输出。全周期测试输出根据子周期测试输出和输出关联度得到，通过全周期测试输出可以对待测试模型进行完整输出测试周期的模型测试，从而实现了利用时间跨度拆分后的测试子周期对待测试模型进行模型测试。

在一个实施例中，如图3所示，确定输出关联度的步骤，即在根据子周期测试输出和预设的输出关联度，得到全周期测试输出之前，还包括：

步骤S301：获取待测试模型对应业务系统的历史业务数据。

输出关联度反映了测试子周期的子周期输出和输出测试周期的全周期输出之间的对应关系，一般地，处于不同周期阶段的测试子周期，其子周期输出和输出测试周期的全周期输出之间的对应关系不同。具体可以基于业务系统的历史业务数据的大数据分析结果确定。

具体地，确定待测试模型对应的业务系统，从该业务系统中获取历史业务数据，历史业务数据包括各业务用户在该业务系统下的各种历史数据，基于历史业务数据进行大数据分析，可以得到准确的测试子周期的子周期输出和输出测试周期的全周期输出之间的对应关系。

步骤S303：从历史业务数据中提取输出测试周期对应的全周期历史数据，和各测试子周期对应的子周期历史数据。

得到历史业务数据后，从中提取输出测试周期对应的全周期历史数据，以及各测试子周期对应的子周期历史数据。其中，全周期历史数据可以包括各业务用户的完整测试周期结果数据，该全周期历史数据可以对应于待测试模型输出测试周期的全周期输出；而子周期历史数据则包括各业务用户在各测试子周期的结果数据，其对应于待测试模型测试子周期的子周期输出。根据全周期历史数据和子周期历史数据，可以确定各测试子周期的子周期输出和输出测试周期的全周期输出之间的对应关系，即得到输出关联度。

步骤S305：根据全周期历史数据和子周期历史数据之间的历史数据关联度，确定各测试子周期的子周期输出，和输出测试周期的全周期输出之间的输出关联度。

得到全周期历史数据和子周期历史数据后，确定全周期历史数据和子周期历史数据之间的历史数据关联度。具体地，可以通过函数建模对历史数据关联度进行拟合，如通过最小二乘法进行拟合，得到回归方程，从而得到历史数据关联度。得到历史数据关联度后，结合各测试子周期的子周期输出，和输出测试周期的全周期输出，得到输出关联度。具体地，可以直接将历史数据关联度作为输出关联度，也可以对历史数据关联度进行二次处理，如进行归一化处理等，得到输出关联度。

在一个实施例中，根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果包括：根据全周期测试输出确定全周期测试结果；获取待测试模型预设的模型输出需求；将全周期测试结果与模型输出需求进行比较，并根据比较结果得到待测试模型的模型测试结果。

根据子周期测试输出和输出关联度得到全周期测试输出后，通过全周期测试输出可以对待测试模型进行完整输出测试周期的模型测试。具体地，根据全周期测试输出确定全周期测试结果，具体可以将全周期测试输出与子周期测试数据对应的测试周期结果数据进行比较得到全周期测试结果。再获取预设的模型输出需求，模型输出需求与待测试模型对应预先设置，为待测试模型的测试结束条件，具体可以包括模型输出的误差条件，只有满足该模型输出需求，模型测试结果对应为测试通过，否则模型测试结果为测试不通过。比较得到的全周期测试结果与模型输出需求，并根据比较结果得到待测试模型的模型测试结果，从而实现对待测试模型的模型测试处理。

在一个实施例中，在得到待测试模型的模型测试结果之后，还包括：当模型测试结果为测试不通过时，确定全周期测试结果与模型输出需求之间的模型输出偏差值；根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据；通过模型更新数据对待测试模型进行模型更新。

得到待测试模型的模型测试结果之后，可以根据模型测试结果对待测试模型进行对应处理。例如，模型测试通过时，表明待测试模型已满足输出需求，可以投入运行；而模型测试不通过时，需要对待测试模型进行迭代更新，以提高待测试模型输出的精确度。

具体地，在得到待测试模型的模型测试结果之后，若模型测试结果为测试不通过，表明需要对待测试模型进行训练，确定全周期测试结果与模型输出需求之间的模型输出偏差值，模型输出偏差值可以根据全周期测试结果与模型输出需求的比较结果得到，其反映了当前的待测试模型与模型输出需求之间的差距。再根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据，模型更新数据用于对待测试模型进行迭代更新，具体可以包括子周期测试数据、全周期测试结果和模型输出偏差值。通过得到的模型更新数据，对待测试模型进行模型更新，具体可以将模型更新数据发送至模型构建节点，由模型构建节点通过得到的模型更新数据训练待测试模型，从而实现对待测试模型的迭代更新。

在一个实施例中，如图4所示，提供了一种模型测试方法，包括：

步骤S401：确定待测试模型的输出测试周期；

步骤S402：将输出测试周期与预设的测试周期阈值进行比较，当输出测试周期超过测试周期阈值时，获取预设的周期划分规则；

步骤S403：根据周期划分规则确定输出测试周期的子周期数量；

步骤S404：按照子周期数量，将输出测试周期划分成各测试子周期。

本实施例中，输出测试周期根据待测试模型的应用场景的业务规则对应设置，当输出测试周期足够长时，将输出测试周期按照预设的周期划分规则进行拆分；而当输出测试周期较短时，可以直接按照输出测试周期对应的测试数据对待测试模型进行模型测试。

步骤S405：确定各测试子周期的子周期输出，和输出测试周期的全周期输出之间的输出关联度。

本实施例中，在将待测试模型的输出测试周期划分得到各测试子周期后，进一步确定输出关联度，输出关联度反映了测试子周期的子周期输出和输出测试周期的全周期输出之间的对应关系，一般地，处于不同周期阶段的测试子周期，其子周期输出和输出测试周期的全周期输出之间的对应关系不同。输出关联度基于业务系统的历史业务数据的大数据分析结果确定。具体地，确定输出关联度的步骤包括：获取待测试模型对应业务系统的历史业务数据；从历史业务数据中提取输出测试周期对应的全周期历史数据，和各测试子周期对应的子周期历史数据；根据全周期历史数据和子周期历史数据之间的历史数据关联度，确定各测试子周期的子周期输出，和输出测试周期的全周期输出之间的输出关联度。

步骤S406：获取测试样本数据；

步骤S407：按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据；

步骤S408：将子周期测试数据输入待测试模型中，得到子周期测试输出；

步骤S409：根据测试子周期，确定子周期测试输出对应的输出关联度；

步骤S410：根据子周期测试输出，以及与子周期测试输出对应的输出关联度，计算全周期测试输出；

步骤S411：根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

本实施例中，在将输出测试周期划分成各测试子周期后，通过各测试子周期对应的子周期测试数据对待测试模型进行子周期测试，得到子周期测试输出。具体地，对应于待测试模型的输出测试周期的划分，按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据，通过将子周期测试数据输入待测试模型中，进行子周期测试，得到子周期测试输出，结合对应的输出关联度可以得到全周期测试输出，并通过全周期测试输出可以对待测试模型进行完整输出测试周期的模型测试。

步骤S412：当模型测试结果为测试不通过时，确定全周期测试结果与模型输出需求之间的模型输出偏差值；

步骤S413：根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据；

步骤S414：通过模型更新数据对待测试模型进行模型更新。

得到待测试模型的模型测试结果之后，可以根据模型测试结果对待测试模型进行对应处理。本实施例中，当模型测试不通过时，需要对待测试模型进行迭代更新。具体地，根据全周期测试结果与模型输出需求的比较结果得到模型输出偏差值，根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据，通过得到的模型更新数据，对待测试模型进行模型更新，以提高待测试模型输出的精确度。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种模型测试装置，包括：测试周期确定模块501、测试周期划分模块503、子周期测试模块505、全周期测试模块507和测试结果获取模块509，其中：

测试周期确定模块501，用于确定待测试模型的输出测试周期；

测试周期划分模块503，用于在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；

子周期测试模块505，用于将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；

全周期测试模块507，用于根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

测试结果获取模块509，用于根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

在一个实施例中，测试周期划分模块503包括划分规则获取单元、子周期数量确定单元和周期划分单元，其中：划分规则获取单元，用于将输出测试周期与预设的测试周期阈值进行比较，当输出测试周期超过测试周期阈值时，获取预设的周期划分规则；子周期数量确定单元，用于根据周期划分规则确定输出测试周期的子周期数量；周期划分单元，用于按照子周期数量，将输出测试周期划分成各测试子周期。

在一个实施例中，子周期测试模块505包括样本数据获取单元、测试数据划分单元和子周期测试单元，其中：样本数据获取单元，用于获取测试样本数据；测试数据划分单元，用于按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据；子周期测试单元，用于将子周期测试数据输入待测试模型中，得到子周期测试输出。

在一个实施例中，全周期测试模块507包括测试关联度单元和全周期测试单元，其中：测试关联度单元，用于根据测试子周期，确定子周期测试输出对应预设的输出关联度；全周期测试单元，用于根据子周期测试输出，以及与子周期测试输出对应的输出关联度，计算全周期测试输出。

在一个实施例中，还包括历史数据获取模块、周期数据提取模块和关联度确定模块，其中：历史数据获取模块，用于获取待测试模型对应业务系统的历史业务数据；周期数据提取模块，用于从历史业务数据中提取输出测试周期对应的全周期历史数据，和各测试子周期对应的子周期历史数据；关联度确定模块，用于根据全周期历史数据和子周期历史数据之间的历史数据关联度，确定各测试子周期的子周期输出，和输出测试周期的全周期输出之间的输出关联度。

在一个实施例中，测试结果获取模块509包括全周期测试结果单元、模型输出需求单元和测试结果获取单元，其中：全周期测试结果单元，用于根据全周期测试输出确定全周期测试结果；模型输出需求单元，用于获取待测试模型预设的模型输出需求；测试结果获取单元，用于将全周期测试结果与模型输出需求进行比较，并根据比较结果得到待测试模型的模型测试结果。

在一个实施例中，还包括偏差值确定模块、更新数据获取模块和模型更新模块，其中：偏差值确定模块，用于当模型测试结果为测试不通过时，确定全周期测试结果与模型输出需求之间的模型输出偏差值；更新数据获取模块，用于根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据；模型更新模块，用于通过模型更新数据对待测试模型进行模型更新。

关于模型测试装置的具体限定可以参见上文中对于模型测试方法的限定，在此不再赘述。上述模型测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型测试方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

确定待测试模型的输出测试周期；

在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；

将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；

根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待测试模型对应业务系统的历史业务数据；从历史业务数据中提取输出测试周期对应的全周期历史数据，和各测试子周期对应的子周期历史数据；根据全周期历史数据和子周期历史数据之间的历史数据关联度，确定各测试子周期的子周期输出，和输出测试周期的全周期输出之间的输出关联度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取测试样本数据；按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据；将子周期测试数据输入待测试模型中，得到子周期测试输出。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据测试子周期，确定子周期测试输出对应预设的输出关联度；根据子周期测试输出，以及与子周期测试输出对应的输出关联度，计算全周期测试输出。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将输出测试周期与预设的测试周期阈值进行比较，当输出测试周期超过测试周期阈值时，获取预设的周期划分规则；根据周期划分规则确定输出测试周期的子周期数量；按照子周期数量，将输出测试周期划分成各测试子周期。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据全周期测试输出确定全周期测试结果；获取待测试模型预设的模型输出需求；将全周期测试结果与模型输出需求进行比较，并根据比较结果得到待测试模型的模型测试结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当模型测试结果为测试不通过时，确定全周期测试结果与模型输出需求之间的模型输出偏差值；根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据；通过模型更新数据对待测试模型进行模型更新。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

确定待测试模型的输出测试周期；

在输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将输出测试周期划分成各测试子周期；

将测试子周期对应预设的子周期测试数据，输入待测试模型中，得到子周期测试输出；

根据子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，输出关联度是通过待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

根据全周期测试输出和预设的模型输出需求的比较结果，得到待测试模型的模型测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将输出测试周期与预设的测试周期阈值进行比较，当输出测试周期超过测试周期阈值时，获取预设的周期划分规则；根据周期划分规则确定输出测试周期的子周期数量；按照子周期数量，将输出测试周期划分成各测试子周期。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取测试样本数据；按照各测试子周期，将测试样本数据进行划分，得到各测试子周期对应预设的子周期测试数据；将子周期测试数据输入待测试模型中，得到子周期测试输出。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据测试子周期，确定子周期测试输出对应预设的输出关联度；根据子周期测试输出，以及与子周期测试输出对应的输出关联度，计算全周期测试输出。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待测试模型对应业务系统的历史业务数据；从历史业务数据中提取输出测试周期对应的全周期历史数据，和各测试子周期对应的子周期历史数据；根据全周期历史数据和子周期历史数据之间的历史数据关联度，确定各测试子周期的子周期输出，和输出测试周期的全周期输出之间的输出关联度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据全周期测试输出确定全周期测试结果；获取待测试模型预设的模型输出需求；将全周期测试结果与模型输出需求进行比较，并根据比较结果得到待测试模型的模型测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当模型测试结果为测试不通过时，确定全周期测试结果与模型输出需求之间的模型输出偏差值；根据子周期测试数据、全周期测试结果和模型输出偏差值，得到模型更新数据；通过模型更新数据对待测试模型进行模型更新。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型测试方法，所述方法包括：

确定待测试模型的输出测试周期；

在所述输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将所述输出测试周期划分成各测试子周期；

将所述测试子周期对应预设的子周期测试数据，输入所述待测试模型中，得到子周期测试输出；

根据所述子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，所述输出关联度是通过所述待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

根据所述全周期测试输出和预设的模型输出需求的比较结果，得到所述待测试模型的模型测试结果。

2.根据权利要求1所述的方法，其特征在于，所述在所述输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将所述输出测试周期划分成各测试子周期包括：

将所述输出测试周期与预设的测试周期阈值进行比较，当所述输出测试周期超过所述测试周期阈值时，获取预设的周期划分规则；

根据所述周期划分规则确定所述输出测试周期的子周期数量；

按照所述子周期数量，将所述输出测试周期划分成各测试子周期。

3.根据权利要求1所述的方法，其特征在于，所述将所述测试子周期对应预设的子周期测试数据，输入所述待测试模型中，得到子周期测试输出包括：

获取测试样本数据；

按照各所述测试子周期，将所述测试样本数据进行划分，得到各所述测试子周期对应预设的子周期测试数据；

将所述子周期测试数据输入所述待测试模型中，得到子周期测试输出。

4.根据权利要求1所述的方法，其特征在于，所述根据所述子周期测试输出和预设的输出关联度，得到全周期测试输出包括：

根据所述测试子周期，确定所述子周期测试输出对应预设的输出关联度；

根据所述子周期测试输出，以及与所述子周期测试输出对应的输出关联度，计算全周期测试输出。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述子周期测试输出和预设的输出关联度，得到全周期测试输出之前，还包括：

获取所述待测试模型对应业务系统的所述历史业务数据；

从所述历史业务数据中提取所述输出测试周期对应的所述全周期历史数据，和各所述测试子周期对应的所述子周期历史数据；

根据所述全周期历史数据和子周期历史数据之间的历史数据关联度，确定各所述测试子周期的子周期输出，和所述输出测试周期的全周期输出之间的输出关联度。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述根据所述全周期测试输出和预设的模型输出需求的比较结果，得到所述待测试模型的模型测试结果包括：

根据所述全周期测试输出确定全周期测试结果；

获取所述待测试模型预设的模型输出需求；

将所述全周期测试结果与所述模型输出需求进行比较，并根据比较结果得到所述待测试模型的模型测试结果。

7.根据权利要求6所述的方法，其特征在于，在所述得到所述待测试模型的模型测试结果之后，还包括：

当所述模型测试结果为测试不通过时，确定所述全周期测试结果与所述模型输出需求之间的模型输出偏差值；

根据所述子周期测试数据、所述全周期测试结果和所述模型输出偏差值，得到模型更新数据；

通过所述模型更新数据对所述待测试模型进行模型更新。

8.一种模型测试装置，其特征在于，所述装置包括：

测试周期确定模块，用于确定待测试模型的输出测试周期；

测试周期划分模块，用于在所述输出测试周期超过预设的测试周期阈值时，按照预设的周期划分规则，将所述输出测试周期划分成各测试子周期；

子周期测试模块，用于将所述测试子周期对应预设的子周期测试数据，输入所述待测试模型中，得到子周期测试输出；

全周期测试模块，用于根据所述子周期测试输出和预设的输出关联度，得到全周期测试输出；其中，所述输出关联度是通过所述待测试模型对应业务系统的历史业务数据中的子周期历史数据，和全周期历史数据之间的对应关系得到；

测试结果获取模块，用于根据所述全周期测试输出和预设的模型输出需求的比较结果，得到所述待测试模型的模型测试结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。