CN109919302B - 一种用于图像的神经网络的训练方法及装置 - Google Patents

Abstract

本发明提供一种神经网络训练方法及装置，所述方法包括：利用第一训练集对回归神经网络模型进行训练；根据所述第一训练集中各训练样本的训练结果以及所述第一训练集的训练结果，分别对所述第一训练集中各训练样本进行置信度标注，以得到第二训练集；根据所述第二训练集进行置信度神经网络模型训练。应用本发明实施例可以提高训练结果的准确性，进而提高预测结果的准确性。

Description

一种用于图像的神经网络的训练方法及装置

技术领域

本发明涉及人工智能领域，尤其涉及一种神经网络训练方法及装置。

背景技术

回归类问题中，按照传统神经网络模型设计并不能生成置信度，然而，在实际应用中，通常需要确定回归类问题的置信度，例如，在利用神经网络预测人脸候选框、物体候选框、人脸关键点、股市走向或天气预报等一系列的内容时，需要确定预测结果准确性。在同一神经网络预训练模型的计算下，不同图像预测结果的准确度不一样，图像画质差、图像主体内容倾斜角度大、图像主体颜色和背景颜色色差小的图像被预测(识别/画框/描点等操作)的准确度往往相对较差。

置信度一般是通过预测点到实际标注点的距离来判断，同一张图片，如果其标注的点和预测的点重合度高，距离较近，则确定其“置信度高”。

可见，现有置信度确定方案中，置信度的损失函数需要通过判断标注点和实际预测点差距来调节神经网络参数。

然而实践发现，由于预测点的损失函数也需要通过判断标注点和实际预测点差距来调节神经网络参数，即影响预测点和置信度的主要计算因素一样，若使用同一个神经网络对预测点和置信度进行训练，置信度和预测点的损失函数存在特定的线性关系。由于参数共享原因，预测点和置信度在训练参数的反向传播计算中，会相互干扰，最终导致训练结果不收敛，或者这两个预测结果中至少一项不准确。

发明内容

本发明提供一种神经网络训练方法及装置，以解决现有回归网络训练图像过程中回归训练与置信度训练的参数共享导致的训练结果准确性低的问题。

根据本发明的第一方面，提供一种神经网络训练方法，包括：

利用第一训练集对回归神经网络模型进行训练；

根据所述第一训练集中各训练样本的训练结果以及所述第一训练集的训练结果，分别对所述第一训练集中各训练样本进行置信度标注，以得到第二训练集；

根据所述第二训练集进行置信度神经网络模型训练。

根据本发明的第二方面，提供一种神经网络训练装置，包括：

第一训练单元，用于利用第一训练集对回归神经网络模型进行训练；

标注单元，用于根据所述第一训练集中各训练样本的训练结果以及所述第一训练集的训练结果，分别对所述第一训练集中各训练样本进行置信度标注，以得到第二训练集；

第二训练单元，用于根据所述第二训练集进行置信度神经网络模型训练。

应用本发明公开的技术方案，通过构建相互独立的回归神经网络模型和置信度神经网络模型，并利用第一训练集对回归神经网络模型进行训练，其中，第一训练集中的每个训练样本为样本图像数据，进而，根据第一训练集中各训练样本的训练结果以及第一训练集的训练结果，分别对第一训练集中各训练样本进行置信度标注，以得到第二训练集，并根据第二训练集进行置信度神经网络模型训练，通过回归结果与置信度分开训练的方式，训练过程互不干扰，提高了训练结果的准确性，进而可以提高预测结果的准确性。

附图说明

图1是本发明实施例提供的一种神经网络训练方法的流程示意图；

图2是本发明实施例提供的一种训练网络的示意图；

图3是本发明实施例提供的一种神经网络训练装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

请参见图1，为本发明实施例提供的一种神经网络训练方法的流程示意图，如图1所示，该神经网络训练方法可以包括以下步骤：

步骤101、利用第一训练集对回归神经网络模型进行训练。

本发明实施例中，考虑到使用同一神经网络模型进行回归训练和置信度训练时，训练得到的神经网络模型的预测结果的准确性会较低，因此，为了提高预测结果的准确性，可以构建两个神经网络模型，一个用于进行回归训练(本文中称为回归神经网络模型)，另一个用于进行置信度训练(本文中称为置信度神经网络模型)。

本发明实施例中，为了实现回归神经网络模型的训练，可以预先收集一定数量的训练样本形成训练集(本文中称为第一训练集)，并利用第一训练集对回归神经网络模型进行训练，直至回归神经网络模型收敛。

其中，训练样本可以为按照一定策略进行了标注(如关键点或/和目标框等)的图片，例如，对于用于进行人脸识别训练的训练样本，可以为标注了用于人脸识别的关键点的人脸图片。

步骤102、根据第一训练集中各训练样本的训练结果以及第一训练集的训练结果，分别对第一训练集中各训练样本进行置信度标注，以得到第二训练集。

本发明实施例中，完成了回归神经网络模型的训练之后，可以根据第一训练集中各训练样本的训练结果以及第一训练集的训练结果，分别对第一训练集中各训练样本进行置信度标注，以得到进行了置信度标注的训练样本构成训练集(本文中称为第二训练集)。

在本发明其中一个实施例中，上述根据第一训练集中各训练样本的训练结果以及第一训练集的训练结果，分别对第一训练集中各训练样本进行置信度标注，可以包括：

对于第一训练集中的任一训练样本，根据该训练样本对应训练好的回归神经网络模型的第一loss(损失)值以及第一训练集对应该训练好的回归神经网络模型的第二loss值，对该训练样本进行置信度标注。

在该实施例中，完成对回归神经网络模型的训练之后，可以利用训练好的回归神经网络模型计算第一训练集中各训练样本的loss值(本文中称为第一loss值)以及第一训练集的loss值(本文中称为第二loss值)。

对于第一训练集中的任一训练样本，可以根据该训练样本的第一loss值以及第一训练集的第二loss值对该训练样本进行置信度标注。

在一个示例中，上述根据该训练样本对应训练好的回归神经网络模型的第一loss值以及第一训练集对应训练好的回归神经网络模型的第二loss值，对该训练样本进行置信度标注，可以包括：

当第一loss值小于第二loss值时，将该训练样本的置信度标注为第一特征值，该第一特征值用于表明该训练样本的预测效果优于第一训练集的预测效果；

当第一loss值大于第二loss值时，将该训练样本的置信度标注为第二特征值，该第二特征值用于表明该训练样本的预测效果差于第一训练集的预测效果。

在该示例中，考虑到对于任一训练样本，当该训练样本的第一loss值大于第一训练集的第二loss值时，可以认为该训练样本的预测效果优于第一训练集的预测效果，此时，可以将该训练样本的置信度标注为第一特征值(如1、0.9等)。

同理，当该训练样本的第一loss值小于第一训练集的第二loss值时，可以认为该训练样本的预测效果差于第一训练集的预测效果，此时，可以将该训练样本的置信度标注为第二特征值(如0、0.1等)。

需要说明的是，在该示例中，当对于任一训练样本，若该训练样本的第一loss值等于第一训练集的第二loss值时，可以按照第一loss值大于第二loss值的情况处理(即将该训练样本的置信度标注为第一特征值)；或者，也可以按照第一loss值小于第二loss值的情况处理(即将该训练样本的置信度标注为第二特征值)；或者，还可以按照其他策略对该训练样本的置信度进行标注，其具体实现在此不做赘述。

应该认识到，在本发明实施例中，上述示例中描述的对训练样本进行置信度标注的方式仅仅是本申请实施例中在二分类应用场景中对训练样本进行置信度标注的一种具体示例，而并不是对本发明保护范围的限定，即在本发明实施例中，也可以通过其他方式实现对训练样本进行置信度标注，例如，在非二分类应用场景，如三分类、四分类应用场景，可以根据回归神经网络模型的训练结果对训练样本进行更多不同值的置信度标注，例如，可以根据回归神经网络模型的训练结果将训练样本的置信度标注为0.1(对应“差”)、0.5(对应“一般”)或0.9(对应“好”)等，其具体实现在此不做赘述。

步骤103、根据第二训练集进行置信度神经网络模型训练。

本发明实施例中，按照步骤102描述的方式得到第二训练集之后，可以根据第二训练集对置信度神经网络模型进行训练，直至置信度神经网络模型收敛。

在本发明其中一个实施例中，上述根据第二训练集进行置信度神经网络模型训练，可以包括：

根据第二训练集对应置信度神经网络模型的第三loss值，对置信度神经网络模型进行参数优化，直至置信度神经网络模型收敛。

在该实施例中，使用第二训练集对置信度神经网络模型训练过程中，可以计算第二训练集的loss值(本文中称为第三loss值)，并根据该第三loss值对置信度神经网络模型进行参数优化，直至置信度神经网络模型收敛。

例如，当连续多次(可以根据实际场景设定，如2次、3次等)第二训练集的第三loss值减小的幅度不超过预设阈值时，确定置信度神经网络模型收敛。

在一个示例中，上述第二训练集对应置信度神经网络模型的第三loss值可以通过以下公式确定：

H＝-∑(y_i*log(g_i(conf))+(1-y_i)*log(g_i(conf)))

g_i(conf)＝sigmoid(confi)

其中，H为第三loss值，y_i为训练样本i标注的置信度对应的特征参数，y_i∈{0,1}，confi为置信度神经网络模型输出的训练样本i的置信度，1≤i≤N，N为训练样本的数量。

其中，当训练样本i标注的置信度为表明该训练样本的预测效果优于第一训练集的预测效果的值(如第一特征值)时，y_i＝1；当训练样本i标注的置信度为表明该训练样本的预测效果差于第一训练集的预测效果的值(如第二特征值)时，y_i＝0。

可选地，当第一特征值为1，第二特征值为0时，y_i可以为训练样本i标注的置信度。

为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面结合具体实例对本发明实施例提供的技术方案进行说明。

在该实施例中，将关于置信度的训练独立于回归训练，作为一个新的阶段。为了便于描述，将回归训练阶段称为回归阶段(regression stage)，将新增加的置信度训练阶段称为置信度阶段(confidence stage)，置信度阶段位于回归阶段参数训练之后。即若原模型需要有n个训练阶段，那么增加了置信度训练后，全程总共n+1个训练阶段。

其中，置信度阶段训练采用一个全新的网络层级结构(即置信度神经网络模型)，网络结构不再使用回归阶段的网络模型(即回归神经网络模型)。

在该实施例中，置信度神经网络模型的网络结构设计如下：

利用ResNet(Residual Neural Network，残差神经网络)构造一个神经网络用于特征提取；

利用一个卷积层或者全连接层进行置信度输出。

整体网络采用分层次顺序训练的方式，回归阶段和置信度阶段分开训练，回归阶段训练完成之后，再进行置信度阶段训练。

其中，若回归阶段或/和置信度阶段内包含级联网络设计，则各阶段内按照级联顺序独立训练各级联层，各层互不干扰。

在该实施例中，置信度阶段的损失函数设计如下(以二分类为例)：

训练参数为T＝{(x1，y1)，(x2，y2)…(xn，yn)}，其中xi∈Rm，yi∈{0,1}；

其中，xi为回归阶段的训练样本标注置信度后得到的样本，yi为对回归阶段的训练样本i标注的置信度。

训练过程：

根据回归阶段计算出的全局loss(gloable loss)和单个训练样本的loss(current loss)来确定训练样本的置信度；其中，对于任一训练样本：

若current loss<gloable loss，则认为该训练样本在回归阶段被预测的置信度高，则将y标注为1；

若current loss＞gloable loss，则认为该训练样本在回归阶段被预测的置信度低，则将y标注为0。

需要说明的是，若current loss＝gloable loss，则可以按照上述“current loss<gloable loss”的情况进行置信度标注；或者，也可以按照上述“current loss＞gloableloss”的情况进行置信度标注；或者，还可以进一步按照其他策略进行置信度标注。

在该实施例中，置信度阶段的损失函数如下：

H＝-∑(y_i*log(g_i(conf))+(1-y_i)*log(g_i(conf)))

g_i(conf)＝sigmoid(confi)

举例来说，以DAN(Deep Alignment Network，深对准网络)网络作为回归神经网络模型为例，该模型可以预测出人脸的68个关键点。

为了实现置信度训练，利用ResNet和卷积层构造置信度神经网络模型，构造完成之后新的DAN网络结构图2所示，其训练过程如下：

1、分阶段训练：先训练回归阶段，再训练置信度阶段；其中，训练置信度阶段，可以使用训练好的回归阶段的网络模型对训练样本标注置信度，并使用置信度标注后的训练样本作为置信度阶段训练的输入参数。

2、回归阶段内按照级联顺序依次分阶段进行训练，即从第1层级到第n层级依次训练，训练第i层i∈(1，n)时，需要用使用已经训练好的第i-1层参数计算出来的结果作为本次训练的输入参数。

通过以上描述可以看出，在本发明实施例提供的技术方案中，通过构建相互独立的回归神经网络模型和置信度神经网络模型，并利用第一训练集对回归神经网络模型进行训练，进而，根据第一训练集中各训练样本的训练结果以及第一训练集的训练结果，分别对第一训练集中各训练样本进行置信度标注，以得到第二训练集，并根据第二训练集进行置信度神经网络模型训练，通过回归结果与置信度分开训练的方式，训练过程互不干扰，提高了训练结果的准确性，进而可以提高预测结果的准确性。

请参见图3，为本发明实施例提供一种神经网络训练装置的结构示意图，如图3所示，该神经网络训练装置可以包括：

第一训练单元310，用于利用第一训练集对回归神经网络模型进行训练；

标注单元320，用于根据所述第一训练集中各训练样本的训练结果以及所述第一训练集的训练结果，分别对所述第一训练集中各训练样本进行置信度标注，以得到第二训练集；

第二训练单元330，用于根据所述第二训练集进行置信度神经网络模型训练。

在可选实施例中，所述标注单元320，具体用于对于所述第一训练集中的任一训练样本，根据该训练样本对应训练好的回归神经网络模型的第一损失loss值以及所述第一训练集对应所述训练好的回归神经网络模型的第二loss值，对该训练样本进行置信度标注。

在可选实施例中，所述标注单元320，具体用于当所述第一loss值小于所述第二loss值时，将该训练样本的置信度标注为第一特征值，所述第一特征值用于表明该训练样本的预测效果优于第一训练集的预测效果；当所述第一loss值大于所述第二loss值时，将该训练样本的置信度标注为第二特征值，所述第二特征值用于表明该训练样本的预测效果差于第一训练集的预测效果。

在可选实施例中，所述第二训练单元330，具体用于根据所述第二训练集对应所述置信度神经网络模型的第三loss值，对所述置信度神经网络模型进行参数优化，直至所述置信度神经网络模型收敛。

在可选实施例中，所述第二训练集对应所述置信度神经网络模型的第三loss值通过以下公式确定：

H＝-∑(y_i*log(g_i(conf))+(1-y_i)*log(g_i(conf)))

g_i(conf)＝sigmoid(confi)

其中，H为所述第三loss值，yi为训练样本i标注的置信度对应的特征参数，y_i∈{0,1}，confi为所述置信度神经网络模型输出的训练样本i的置信度，1≤i≤N，N为训练样本的数量；

其中，当训练样本i标注的置信度为表明该训练样本的预测效果优于第一训练集的预测效果的值时，y_i＝1；当训练样本i标注的置信度为表明该训练样本的预测效果差于第一训练集的预测效果的值时，y_i＝0。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

由上述实施例可见，通过构建相互独立的回归神经网络模型和置信度神经网络模型，并利用第一训练集对回归神经网络模型进行训练，进而，根据第一训练集中各训练样本的训练结果以及第一训练集的训练结果，分别对第一训练集中各训练样本进行置信度标注，以得到第二训练集，并根据第二训练集进行置信度神经网络模型训练，通过回归结果与置信度分开训练的方式，训练过程互不干扰，提高了训练结果的准确性，进而可以提高预测结果的准确性。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种用于图像的神经网络的训练方法，其特征在于，包括：

利用第一训练集对回归神经网络模型进行训练，得到训练好的回归神经网络模型，其中，第一训练集中的每个训练样本为样本图像数据，所述样本图像数据包括但不限于：关键点或/和目标框；

对于所述第一训练集中的任一训练样本，当该训练样本对应训练好的回归神经网络模型的第一loss值小于所述第一训练集对应所述训练好的回归神经网络模型的第二loss值时，将该训练样本的置信度标注为第一特征值，以得到第二训练集，所述第一特征值用于表明该训练样本的预测效果优于第一训练集的预测效果；当所述第一loss值大于所述第二loss值时，将该训练样本的置信度标注为第二特征值，以得到第二训练集，所述第二特征值用于表明该训练样本的预测效果差于第一训练集的预测效果；

根据所述第二训练集进行置信度神经网络模型训练，得到训练好的置信度神经网络模型，所述训练好的置信度神经网络模型用于确定图像的置信度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二训练集进行置信度神经网络模型训练，包括：

根据所述第二训练集对应所述置信度神经网络模型的第三loss值，对所述置信度神经网络模型进行参数优化，直至所述置信度神经网络模型收敛。

3.根据权利要求2所述的方法，其特征在于，所述第二训练集对应所述置信度神经网络模型的第三loss值通过以下公式确定：

H＝-∑(y_i*log(g_i(conf))+(1-y_i)*log(g_i(conf)))

g_i(conf)＝sigmoid(confi)

其中，H为所述第三loss值，yi为训练样本i标注的置信度对应的特征参数，y_i∈{0,1}，confi为所述置信度神经网络模型输出的训练样本i的置信度，1≤i≤N，N为训练样本的数量；

其中，当训练样本i标注的置信度为表明该训练样本的预测效果优于第一训练集的预测效果的值时，y_i＝1；当训练样本i标注的置信度为表明该训练样本的预测效果差于第一训练集的预测效果的值时，y_i＝0。

4.一种用于图像的神经网络的训练装置，其特征在于，包括：

第一训练单元，用于利用第一训练集对回归神经网络模型进行训练，得到训练好的回归神经网络模型，其中，第一训练集中的每个训练样本为样本图像数据，所述样本图像数据包括但不限于：关键点或/和目标框；

标注单元，用于对于所述第一训练集中的任一训练样本，当该训练样本对应训练好的回归神经网络模型的第一loss值小于所述第一训练集对应所述训练好的回归神经网络模型的第二loss值时，将该训练样本的置信度标注为第一特征值，以得到第二训练集，所述第一特征值用于表明该训练样本的预测效果优于第一训练集的预测效果；当所述第一loss值大于所述第二loss值时，将该训练样本的置信度标注为第二特征值，以得到第二训练集，所述第二特征值用于表明该训练样本的预测效果差于第一训练集的预测效果；

第二训练单元，用于根据所述第二训练集进行置信度神经网络模型训练，得到训练好的置信度神经网络模型，所述训练好的置信度神经网络模型用于确定图像的置信度。

5.根据权利要求4所述的装置，其特征在于，

所述第二训练单元，具体用于根据所述第二训练集对应所述置信度神经网络模型的第三loss值，对所述置信度神经网络模型进行参数优化，直至所述置信度神经网络模型收敛。

6.根据权利要求5所述的装置，其特征在于，所述第二训练集对应所述置信度神经网络模型的第三loss值通过以下公式确定：

H＝-∑(y_i*log(g_i(conf))+(1-y_i)*log(g_i(conf)))

g_i(conf)＝sigmoid(confi)

其中，H为所述第三loss值，yi为训练样本i标注的置信度对应的特征参数，y_i∈{0,1}，confi为所述置信度神经网络模型输出的训练样本i的置信度，1≤i≤N，N为训练样本的数量；

其中，当训练样本i标注的置信度为表明该训练样本的预测效果优于第一训练集的预测效果的值时，y_i＝1；当训练样本i标注的置信度为表明该训练样本的预测效果差于第一训练集的预测效果的值时，y_i＝0。

Images