CN109829550B - 模型评价方法和装置、模型评价系统及其训练方法和装置 - Google Patents

Abstract

本申请提供模型评价方法和装置、模型评价系统及其训练方法和装置，其中，模型评价方法包括：将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；将任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，参数搜索模型具有最优的权重参数。从而在同一个任务模型对不同语句适应性有差别，多个任务模型输出多个结果的情况下，实现对任务模型的评价。

Description

模型评价方法和装置、模型评价系统及其训练方法和装置

技术领域

本申请涉及人工智能技术领域，特别涉及模型评价方法和装置、模型评价系统及其训练方法和装置、计算设备、存储介质和芯片。

背景技术

超参数是在任务模型开始学习过程之前设置的参数，而不是通过任务模型训练得到的参数数据。通常情况下，在机器学习过程中需要对超参数进行优化，给任务模型选择一组最优超参数，以提高机器学习的性能和效果。

现有技术中，任务模型的超参数靠人为的经验进行设定，并在后续过程中一步步的调整，这需要花费较长时间才能得到一组最优的任务模型超参数，然后基于多个任务模型得到最优的输出结果，输出效率低下。

发明内容

有鉴于此，本申请实施例提供了模型评价方法和装置、模型评价系统及其训练方法和装置、计算设备、存储介质和芯片，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种模型评价方法，所述方法包括：

将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；

将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

可选地，所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模型的置信权重，包括：

所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的所述参数搜索模型的权重参数的乘积，得到每个任务模型的置信权重。

可选地，根据每个任务模型的置信权重得到每个任务模型的评价值，包括：

根据每个任务模型的置信权重，确定最优的置信权重对应的任务模型；

根据每个任务模型对应的最优的置信权重的次数，得到每个任务模型的评价值。

本申请实施例公开了一种模型评价系统的训练方法，所述方法包括：

将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；

将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本、将所述任务输入特征对应的任务验证特征作为训练标签输入参数搜索模型，对参数搜索模型进行训练，以使所述训练样本与所述训练标签相关联，并使所述参数搜索模型具有最优的权重参数。

可选地，将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本、将所述任务输入特征对应的任务验证特征作为训练标签输入参数搜索模型，对参数搜索模型进行训练，包括：

根据每个任务模型的任务输出特征对应的置信度以及每个任务模型对应的所述参数搜索模型的权重参数，得到每个任务模型的置信权重；

根据至少两个任务模型的任务输出特征和所述任务输入特征对应的任务验证特征，得到每个任务模型对应的评价系数；

调整每个任务模型对应的所述参数搜索模型的权重参数，使置信权重最优的任务模型为评价系数最优的任务模型。

可选地，调整每个任务模型对应的所述参数搜索模型的权重参数，包括：

确定所述参数搜索模型的搜索参数；

通过高斯函数随机采样，生成每个任务模型对应的所述参数搜索模型的权重参数，其中，所述高斯函数以所述任务模型的调整前对应的所述参数搜索模型的权重参数为均值，以搜索参数为方差。

本申请实施例公开了一种模型评价装置，所述装置包括：

第一输入模块，被配置为将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；

评价模块，被配置为将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

可选地，所述评价模块具体被配置为：使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的所述参数搜索模型的权重参数的乘积，得到每个任务模型的置信权重。

可选地，所述评价模块具体被配置为：根据每个任务模型的置信权重，确定最优的置信权重对应的任务模型；

根据每个任务模型对应的最优的置信权重的次数，得到每个任务模型的评价值。

本申请实施例公开了一种模型评价系统的训练装置，所述装置包括：

第二输入模块，被配置为将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；

训练模块，被配置为将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本、将所述任务输入特征对应的任务验证特征作为训练标签输入参数搜索模型，对参数搜索模型进行训练，以使所述训练样本与所述训练标签相关联，并使所述参数搜索模型具有最优的权重参数。

本申请实施例公开了一种模型输出评价系统，包括：

至少两个任务模型，每个任务模型接收输入的任务输入特征，得到每个所述任务模型的任务输出特征和任务输出特征对应的置信度；

参数搜索模型，接收输入的所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及每个任务模型对应的所述参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

本申请实施例公开了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如上所述模型输出评价方法或模型评价系统的训练方法的步骤。

本申请实施例公开了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述模型输出评价方法或模型评价系统的训练方法的步骤。

本申请实施例公开了一种芯片，其存储有计算机指令，该指令被执行时实现如上所述模型输出评价方法或模型评价系统的训练方法的步骤。

本申请提供的模型评价方法，将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度，然后将任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及参数搜索模型的权重参数得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，从而在同一个任务模型对不同语句适应性有差别，多个任务模型输出多个结果的情况下，实现对任务模型的评价。

本申请提供的模型评价系统的训练方法，通过将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度，将任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本，将任务输入特征对应的任务验证特征作为训练标签对参数搜索模型进行训练，从而使所述参数搜索模型具有最优的权重参数，提高了权重参数的调整效率。

其次，本申请通过以调整前的参数搜索模型的权重参数为均值，以搜索参数为方差的高斯函数随机采样生成参数搜索模型的权重参数，从而以调整前的最优的权重参数作为启发信息来引导权重参数的搜索，有效的减少了权重参数的搜索范围，提高了参数搜索速度，同时能够获得更优的结果。在搜索次数足够多的条件下，本算法可更高效地搜索到全局最优解。

附图说明

图1是本申请实施例的计算设备的结构示意图；

图2是本申请实施例的模型评价系统的训练方法的流程示意图；

图3是本申请实施例的模型评价系统的训练方法的流程示意图；

图4a和图4b是本申请实施例的基于高斯函数进行参数调整的示意图；

图5是本申请实施例的模型评价方法的流程示意图；

图6是本申请实施例的模型评价系统的结构示意图；

图7是本申请实施例的模型评价系统的一个具体应用示例的结构示意图；

图8是本申请实施例的模型评价系统的训练装置的结构示意图；

图9是本申请实施例的模型评价装置的结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本发明一个或多个实施例涉及的名词术语进行解释。

高斯抽样：又称高斯采样或者高斯分布抽样，是指以高斯分布(正态分布)进行抽样，具体描述为产生的随机数X的均值和方差与高斯函数一致。

Bleu值(bilingual evaluation understudy)：即双语互译质量评估辅助工具。它是用来评估机器翻译质量的工具，用于判断两个语句之间的相似程度。

在本申请中，提供了模型评价方法和装置、模型评价系统及其训练方法和装置、计算设备、存储介质和芯片，在下面的实施例中逐一进行详细说明。

图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。

计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。

其中，处理器120可以执行图2所示方法中的步骤。图2是示出了根据本申请一实施例的模型评价系统的训练方法的示意性流程图，包括步骤201至步骤202。

201、将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度。

需要说明的是，本步骤中的任务输入特征有多个，将每个任务输入特征分别输入至少两个任务模型，从而可以得到每个任务输入特征对应的至少两个任务输出特征和任务输出特征对应的置信度。

其中，任务输入特征和任务验证特征为预先获取，获取的方式可以通过网络查找获取，也可以通过在预先存储的任务集中获取。

任务模型可以为多种，例如翻译模型、图像检测模型等。

以翻译模型为例，任务输入特征可以为待翻译语句，任务输出特征可以为翻译语句，任务验证特征可以为标准翻译语句。对应地，任务集中包括多个待翻译语句和多个标准翻译语句，待翻译语句和标准翻译语句互为译文关系。例如，待翻译语句为“我爱中国”，标准翻译语句为“I love China”。

以图像检测模型为例，任务输入特征可以为待检测图像，任务输出特征可以为检测信息，任务验证特征可以为标准检测信息。对应地，任务集中包括多个待检测图像和多个检测信息。

例如，以人脸识别模型为例，任务输入特征可以为待检测人脸图像，任务输出特征可以为检测人脸图像，任务验证特征可以为标准人脸图像。评价指标可以为人脸图像的相似度。

202、将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本，将所述任务输入特征对应的任务验证特征作为训练标签输入参数搜索模型，对参数搜索模型进行训练，以使所述训练样本与所述训练标签相关联，并使所述参数搜索模型具有最优的权重参数。

可选地，步骤202具体包括：

S1、根据每个任务模型的任务输出特征对应的置信度以及每个任务模型对应的所述参数搜索模型的权重参数，得到每个任务模型的置信权重。

S2、根据至少两个任务模型的任务输出特征和所述任务输入特征对应的任务验证特征，得到每个任务模型对应的评价系数。

S3、调整每个任务模型对应的所述参数搜索模型的权重参数，使置信权重最优的任务模型为评价系数最优的任务模型。

需要说明的是，参数搜索模型包括至少两个权重参数，权重参数和任务模型一一对应，也即，每个任务模型分别对应于一个参数搜索模型的权重参数。

具体地，参见图3，步骤202包括下述步骤301～308：

301、确定参数搜索模型的初始的权重参数和搜索次数阈值。

其中，初始的权重参数可以为人为设置。

302、根据至少两个任务模型的任务输出特征和所述任务输入特征对应的任务验证特征，得到每个任务模型对应的第一评价系数，以确定第一评价系数最优的任务模型。

具体地，可以通过将任务输出特征和任务验证特征进行对比，得到第一评价系数。以翻译模型为例，任务输出特征为翻译语句，任务验证特征为标准翻译语句，可以通过翻译语句和标准翻译语句进行计算得到的bleu值作为第一评价系数。bleu值越高，则翻译语句越接近标准翻译语句，该翻译语句对应的翻译模型的翻译效果就越好。

当然，第一评价系数还可以通过其他参数来实现，例如通过NIST值作为第一评价系数。

303、调整权重参数，使置信权重最优的任务模型为第一评价系数最优的任务模型，其中，每个任务模型的置信权重根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的参数搜索模型的权重参数得到。

具体地，可以根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的参数搜索模型的权重参数的乘积，得到每个任务模型的置信权重。

需要说明的是，本实施例中通过置信权重作为对任务模型的评价指标，那么，第一评价系数最优的任务模型，置信权重也应该为最优。训练参数搜索模型的过程，实质为调整置信权重的过程。

可选地，调整权重参数的方法有多种，例如网格搜索、随机搜索等。

网格搜索是应用最广泛的超参数搜索算法，网格搜索通过查找搜索范围内的所有的点来确定最优值。一般通过给出较大的搜索范围以及较小的步长，网格搜索是可以找到全局较优值的，如果网格无限密集的时候可以找到全局最优值。但是，网格搜索最大的缺陷是：它十分消耗计算资源，特别是需要调优的参数比较多的时候。

与网格搜索相比，随机搜索并未尝试所有参数值，而是从指定的分布中采样固定数量的参数设置。随机搜索的理论依据是：如果随即样本点集足够大，那么也可以找到全局的最优值，或它们的近似值。通过对搜索范围的随机取样，随机搜索一般会比网格搜索要快一些。这种方法存在精度较差的问题，一般用于粗选或普查。

本实施例通过以下方法调整权重参数：确定所述参数搜索模型的搜索参数，然后通过高斯函数随机采样，生成每个任务模型对应的所述参数搜索模型的权重参数，其中，所述高斯函数以所述任务模型的调整前的对应的所述参数搜索模型的权重参数为均值，以搜索参数为方差。

通过高斯函数进行权重参数的调整，从而实现以调整前的最优的权重参数作为启发信息来引导权重参数的搜索，有效地减少了权重参数的搜索范围，同时能够获得更优的结果。在搜索次数足够多的条件下，本算法可更高效地搜索到全局最优解。与网格搜索和随机搜索相比，本实施例的调整权重参数方法要比随机搜索的效率高，且具有更优的结果。

经过实际测验，达到最优结果的参数调整次数，本实施例的方法大约为500次，而随机搜索大约为10000次。

参见图4a和图4b，下述例子为基于高斯函数进行参数调整的示例性说明。

任务说明：拟合一元二次方程y＝ax²+bx+c，其中设a＝0.5，b＝0.1，c＝1，区间为[-1，1]。

根据实际任务，图4a为不加入高斯噪声情况下进行参数调整的结果：{'a':0.4990,'b':0.0994,'c':1.0002}；图4b为加入高斯噪声后进行参数调整的结果：{'a':0.4856,'b':0.0946,'c':1.0073}。

由上述结果可见，在不加入高斯噪声以及加入高斯噪声的情况下，基于高斯函数进行参数调整的结果均与实际结果较为接近。

304、判断搜索次数是否达到搜索次数阈值，若是，执行步骤308，若否，执行步骤305。

305、根据再次输入的至少两个任务模型的任务输出特征和所述任务输入特征对应的任务验证特征，得到每个任务模型对应的第二评价系数。

具体地，可以通过将任务输出特征和任务验证特征进行对比，得到第二评价系数。

以翻译模型为例，任务输出特征为翻译语句，任务验证特征为标准翻译语句，可以通过翻译语句和标准翻译语句进行计算得到的bleu值作为第二评价系数。bleu值越高，则翻译语句越接近标准翻译语句，该翻译语句对应的翻译模型的翻译效果就越好。

306、将第二评价系数和第一评价系数进行比较，若第二评价系数优于第一评价系数，执行步骤307，若第一评价系数优于第二评价系数，执行步骤304。

307、将第二评价系数赋值给第一评价系数，并调整权重参数，使置信权重最优的任务模型为第一评价系数最优的任务模型，执行步骤304。

其中，每个任务模型的置信权重根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的所述参数搜索模型的权重参数得到。

对于第二评价系数优于第一评价系数的情形，则可以认为任务模型对应于第二评价系数的任务输出特征要优于第一评价系数的任务输出特征，此种情况下，需要对参数搜索模型的权重参数重新调整，以使置信权重最优的任务模型为第一评价系数最优的任务模型。

调整权重参数的方法在前述步骤中已经解释，在此便不再详述。

308、将每个任务模型对应的调整后的所述权重参数作为最优的权重参数。

本申请提供的模型输出评价系统的训练方法，通过将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度，将任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本，将任务输入特征对应的任务验证特征作为训练标签对参数搜索模型进行训练，从而使所述参数搜索模型具有最优的权重参数，提高了权重参数的调整效率。

其次，本申请通过以调整前的参数搜索模型的权重参数为均值，以搜索参数为方差的高斯函数随机采样生成参数搜索模型的权重参数，从而以调整前的最优的权重参数作为启发信息来引导权重参数的搜索，有效的减少了权重参数的搜索范围，提高了参数搜索速度，同时能够获得更优的结果。在搜索次数足够多的条件下，本算法可更高效地搜索到全局最优解。

本申请实施例还公开了一种模型评价方法，参见图5，包括下述步骤501～502：

501、将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度。

502、将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

需要说明的是，参数搜索模型包括至少两个权重参数，权重参数和任务模型一一对应，也即，每个任务模型分别对应于一个参数搜索模型的权重参数。

具体地，参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模型的置信权重，包括：参数搜索模型将每个任务模型的任务输出特征对应的置信度以及每个任务模型对应的所述参数搜索模型的权重参数的乘积，得到每个任务模型的置信权重。

具体地，步骤502中根据每个任务模型的置信权重得到每个任务模型的评价值，包括：

根据每个任务模型的置信权重，确定最优的置信权重对应的任务模型；

根据每个任务模型对应的最优的置信权重的次数，得到每个任务模型的评价值。

在一个具体示例中，以4个任务模型为例，第1个任务模型对应的最优的置信权重的次数为500次，第2个任务模型对应的最优的置信权重的次数为250次，第3个任务模型对应的最优的置信权重的次数为200次，第4个任务模型对应的最优的置信权重的次数为50次，那么，第1～4个任务模型的评价值分别为0.5、0.25、0.2和0.05。

评价值可以作为对任务模型的评价指标，表征任务模型的执行结果的优劣程度。

本申请提供的模型评价方法，将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度，然后将任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及参数搜索模型的权重参数得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，从而在同一个任务模型对不同语句适应性有差别，多个任务模型输出多个结果的情况下，实现对任务模型的评价。

本申请实施例还公开了一种模型评价系统，参见图6，包括：

至少两个任务模型，每个任务模型接收输入的任务输入特征，得到每个所述任务模型的任务输出特征和任务输出特征对应的置信度；

参数搜索模型，接收输入的所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

具体地，每个任务模型的评价值，包括：根据每个任务模型的置信权重，确定最优的置信权重对应的任务模型，然后根据每个任务模型对应的最优的置信权重的次数，得到每个任务模型的评价值。

其中，对于任务输入特征和任务输出特征的解释、置信权重的计算，在前述实施例中已经详述，在此便不再重复赘述。

下面以一具体的模型评价系统进行说明。参见图7，图7中的模型评价系统以任务模型为翻译模型为例，共包括4个翻译模型。

本示例的模型评价方法包括：

S701、将待翻译语句分别输入四个翻译模型，分别得到四个翻译模型的译文语句j1～j4和译文语句j1～j4对应的置信度p1～p4。

S702、将所述任务输入特征对应的译文语句j1～j4和译文语句j1～j4对应的置信度p1～p4输入参数搜索模型，以使参数搜索模型根据译文语句j1～j4对应的置信度p1～p4以及权重参数w1～w4，得到四个翻译模型的置信权重。

其中，第一个翻译模型的置信权重为w1*p1，第二个翻译模型的置信权重为w2*p2，第三个翻译模型的置信权重为w3*p3，第四个翻译模型的置信权重为w4*p4。

S703、根据每个翻译模型的置信权重，确定最优的置信权重对应的翻译模型。

S704、根据每个翻译模型对应的最优的置信权重的次数，得到每个翻译模型的评价值。

例如第1个任务模型对应的最优的置信权重的次数为500次，第2个任务模型对应的最优的置信权重的次数为250次，第3个任务模型对应的最优的置信权重的次数为200次，第4个任务模型对应的最优的置信权重的次数为50次，那么，第1～4个任务模型的评价值分别为0.5、0.25、0.2和0.05。

本申请实施例还公开了一种模型评价系统的训练装置，参见图8，包括：

第一输入模块801，被配置为将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；

训练模块802，被配置为将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本，将所述任务输入特征对应的验证特征作为训练标签，对参数搜索模型进行训练，以使所述训练样本与所述训练标签相关联，并使所述参数搜索模型具有最优的权重参数。

可选地，训练模块802具体被配置为：

根据每个任务模型的任务输出特征对应的置信度以及每个任务模型对应的所述参数搜索模型的权重参数，得到每个任务模型的置信权重；

根据至少两个任务模型的任务输出特征和所述任务输入特征对应的任务验证特征，得到每个任务模型对应的评价系数；

调整每个任务模型对应的所述参数搜索模型的权重参数，使置信权重最优的任务模型为评价系数最优的任务模型。

可选地，训练模块802包括：

初始值确定模块，被配置为确定参数搜索模型的初始的权重参数和搜索次数阈值；

第一评价系数确定模块，被配置为根据至少两个任务模型的任务输出特征和所述任务输入特征对应的验证特征，得到每个任务模型对应的第一评价系数，以确定第一评价系数最优的任务模型；

第一处理模块，被配置为调整权重参数，使置信权重最优的任务模型为第一评价系数最优的任务模型，其中，每个任务模型的置信权重根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的所述参数搜索模型的权重参数得到；

判断模块，被配置为判断搜索次数是否达到搜索次数阈值，若是，执行最优权重参数确定模块，若否，执行第二评价系数确定模块；

第二评价系数确定模块，被配置为根据再次输入的至少两个任务模型的任务输出特征和所述任务输入特征对应的验证特征，得到每个任务模型对应的第二评价系数；

比较模块，被配置为将第二评价系数和第一评价系数进行比较，若第二评价系数优于第一评价系数，执行第二处理模块，若第一评价系数优于第二评价系数，执行判断模块；

第二处理模块，被配置为将第二评价系数赋值给第一评价系数，并调整权重参数，使置信权重最优的任务模型为第一评价系数最优的任务模型，执行判断模块，其中，每个任务模型的置信权重根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的所述参数搜索模型的权重参数得到；

最优权重参数确定模块，被配置为将每个任务模型对应的调整后的所述权重参数作为最优的权重参数。

可选地，训练模块802具体被配置为：

根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的所述参数搜索模型的权重参数的乘积，得到每个任务模型的置信权重。

可选地，训练模块802具体被配置为：

确定所述参数搜索模型的搜索参数；

通过高斯函数随机采样，生成每个任务模型对应的所述参数搜索模型的权重参数，其中，所述高斯函数以所述任务模型的调整前的对应的所述参数搜索模型的权重参数为均值，以搜索参数为方差。

上述为本实施例的一种模型评价系统的训练装置的示意性方案。需要说明的是，该模型评价系统的训练装置的技术方案与上述的模型评价系统的训练方法的技术方案属于同一构思，模型评价系统的训练装置的技术方案未详细描述的细节内容，均可以参见上述模型评价系统的训练方法的技术方案的描述。

本申请实施例还公开了一种模型评价装置，参见图9，包括：

第二输入模块901，被配置为将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；

评价模块902，被配置为将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

可选地，评价模块902具体被配置为：使参数搜索模型将每个任务模型的任务输出特征对应的置信度以及每个任务模型对应的所述参数搜索模型的权重参数的乘积作为每个任务模型的置信权重。

可选地，评价模块902具体被配置为：根据每个任务模型的置信权重，确定最优的置信权重对应的任务模型，根据每个任务模型对应的最优的置信权重的次数，得到每个任务模型的评价值。

上述为本实施例的一种模型评价装置的示意性方案。需要说明的是，该模型评价装置的技术方案与上述的模型评价方法的技术方案属于同一构思，模型评价装置的技术方案未详细描述的细节内容，均可以参见上述模型评价方法的技术方案的描述。

本申请一实施例还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如上所述的模型评价系统的训练方法或模型评价方法。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述的模型评价系统的训练方法或模型评价方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的模型评价系统的训练方法或模型评价方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述模型评价系统的训练方法或模型评价方法的技术方案的描述。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请实施例还公开了一种芯片，其存储有计算机指令，该指令被执行时实现如上所述的模型评价系统的训练方法或模型评价方法的步骤。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种模型评价系统的训练方法，其特征在于，所述方法包括：

将待翻译语句分别输入至少两个翻译模型，得到每个翻译模型的翻译语句和所述翻译语句对应的置信度；

将所述待翻译语句对应的至少两个翻译模型的翻译语句和翻译语句对应的置信度作为训练样本、将所述待翻译语句对应的标准翻译语句作为训练标签输入参数搜索模型，对参数搜索模型进行训练，以使所述训练样本与所述训练标签相关联，并使所述参数搜索模型具有最优的权重参数，所述待翻译语句和所述待翻译语句对应的标准翻译语句为预先获取，其中，所述最优的权重参数根据每个翻译模型的评价系数调整获得；

根据所述最优的权重参数确定所述至少两个翻译模型中每个翻译模型的评价值。

2.如权利要求1所述的方法，其特征在于，将所述待翻译语句对应的至少两个翻译模型的翻译语句和翻译语句对应的置信度作为训练样本、将所述待翻译语句对应的标准翻译语句作为训练标签输入参数搜索模型，对参数搜索模型进行训练，包括：

根据每个翻译模型的翻译语句对应的置信度以及每个翻译模型对应的所述参数搜索模型的权重参数，得到每个翻译模型的置信权重；

根据至少两个翻译模型的翻译语句和所述待翻译语句对应的标准翻译语句，得到每个翻译模型对应的评价系数；

调整每个翻译模型对应的所述参数搜索模型的权重参数，使置信权重最优的翻译模型为评价系数最优的翻译模型。

3.如权利要求1所述的方法，其特征在于，调整每个翻译模型对应的所述参数搜索模型的权重参数，包括：

确定所述参数搜索模型的搜索参数；

通过高斯函数随机采样，生成每个翻译模型对应的所述参数搜索模型的权重参数，其中，所述高斯函数以所述翻译模型的调整前的对应的所述参数搜索模型的权重参数为均值，以搜索参数为方差。

4.一种模型评价方法，其特征在于，所述方法包括：

将待翻译语句分别输入模型评价系统的至少两个翻译模型，得到每个翻译模型的翻译语句和所述翻译语句对应的置信度，其中，所述模型评价系统是通过上述权利要求1-3任意一项模型评价系统的训练方法训练得到的；

将所述待翻译语句对应的至少两个翻译模型的翻译语句和所述翻译语句对应的置信度输入所述模型评价系统的参数搜索模型，以使所述参数搜索模型根据每个翻译模型的翻译语句对应的置信度以及所述参数搜索模型的权重参数，得到每个翻译模型的置信权重，并根据每个翻译模型的置信权重得到每个翻译模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

5.如权利要求4所述的方法，其特征在于，所述参数搜索模型根据每个翻译模型的翻译语句对应的置信度以及所述参数搜索模型的权重参数，得到每个翻译模型的置信权重，包括：

所述参数搜索模型根据每个翻译模型的翻译语句对应的置信度和每个翻译模型对应的所述参数搜索模型的权重参数的乘积，得到每个翻译模型的置信权重。

6.如权利要求4所述的方法，其特征在于，根据每个翻译模型的置信权重得到每个翻译模型的评价值，包括：

根据每个翻译模型的置信权重，确定最优的置信权重对应的翻译模型；

根据每个翻译模型对应的最优的置信权重的次数，得到每个翻译模型的评价值。

7.一种模型评价系统的训练装置，其特征在于，所述装置包括：

第二输入模块，被配置为将待翻译语句分别输入至少两个翻译模型，得到每个翻译模型的翻译语句和翻译语句对应的置信度；

训练模块，被配置为将所述待翻译语句对应的至少两个翻译模型的翻译语句和翻译语句对应的置信度作为训练样本、将所述待翻译语句对应的标准翻译语句作为训练标签输入参数搜索模型，对参数搜索模型进行训练，以使所述训练样本与所述训练标签相关联，并使所述参数搜索模型具有最优的权重参数，所述待翻译语句和所述待翻译语句对应的标准翻译语句为预先获取，其中，所述最优的权重参数根据每个翻译模型的评价系数调整获得；根据所述最优的权重参数确定所述至少两个翻译模型中每个翻译模型的评价值。

8.一种模型评价装置，其特征在于，所述装置包括：

第一输入模块，被配置为将待翻译语句分别输入模型评价系统的至少两个翻译模型，得到每个翻译模型的翻译语句和所述翻译语句对应的置信度，其中，所述模型评价系统是通过上述权利要求1-3任意一项模型评价系统的训练方法训练得到的；

评价模块，被配置为将所述待翻译语句对应的至少两个翻译模型的翻译语句和翻译语句对应的置信度输入所述模型评价系统的参数搜索模型，以使所述参数搜索模型根据每个翻译模型的翻译语句对应的置信度以及所述参数搜索模型的权重参数，得到每个翻译模型的置信权重，并根据每个翻译模型的置信权重得到每个翻译模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

9.如权利要求8所述的装置，其特征在于，所述评价模块具体被配置为：使所述参数搜索模型根据每个翻译模型的翻译语句对应的置信度和每个翻译模型对应的所述参数搜索模型的权重参数的乘积，得到每个翻译模型的置信权重。

10.如权利要求8所述的装置，其特征在于，所述评价模块具体被配置为：根据每个翻译模型的置信权重，确定最优的置信权重对应的翻译模型；

根据每个翻译模型对应的最优的置信权重的次数，得到每个翻译模型的评价值。

11.一种模型评价系统，其特征在于，所述模型评价系统是通过上述权利要求1-3任意一项模型评价系统的训练方法训练得到的，包括：

至少两个翻译模型，每个翻译模型接收输入的待翻译语句，得到每个所述翻译模型的翻译语句和翻译语句对应的置信度；

参数搜索模型，接收输入的所述待翻译语句对应的至少两个翻译模型的翻译语句和翻译语句对应的置信度，以使所述参数搜索模型根据每个翻译模型的翻译语句对应的置信度以及所述参数搜索模型的权重参数，得到每个翻译模型的置信权重，并根据每个翻译模型的置信权重得到每个翻译模型的评价值，其中，所述参数搜索模型具有最优的权重参数。

12.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-3或者4-6任意一项所述方法的步骤。

13.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-3或者4-6任意一项所述方法的步骤。

14.一种芯片，其存储有计算机指令，其特征在于，该指令被执行时实现权利要求1-3或者4-6任意一项所述方法的步骤。

Images