CN116090579A - 检测模型的训练方法、系统、电子设备及存储介质 - Google Patents

Abstract

本申请的实施例提供了一种检测模型的训练方法、系统、电子设备及存储介质。该方法包括：训练步骤：基于每个样本图像被选择的概率确定出训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；概率调整步骤：基于一轮迭代训练的训练结果，更新每个样本图像被选择的概率，并转至训练步骤，直至满足预设的训练结束条件。该方案可以有效保证训练好的检测模型对各类样本的检测准确度均较高，大大提高检测模型的检测精度。同时，还可以显著缩短模型训练时间，提高模型的训练效率和训练效果。

Description

检测模型的训练方法、系统、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，更具体地涉及一种检测模型的训练方法、一种检测模型的训练系统、一种电子设备及一种存储介质。

背景技术

近年来，计算机视觉被广泛应用于多种领域。例如，应用计算机视觉技术检测图像中的目标，具体例如待测物体中存在的一些裂纹缺陷，以便于及时察觉或修复。为了保证检测精度，需要通过大量的裂纹样本图像来训练该检测模型。而在实际的工业场景中，裂纹缺陷数据量极少，难以收集到足够数量的样本图像以保证对检测模型的有效训练。

现有技术中，在检测模型训练之前，利用一些图像合成技术离线生成训练样本，并直接利用随机选择的训练样本对检测模型进行训练。由于随机选择的训练样本的不确定性，导致实际训练采用的训练样本并不能很好地提升检测模型的训练结果，从而导致对模型的训练效果较差，训练好的模型的检测精度也较低。

发明内容

考虑到上述问题而提出了本申请。根据本申请的一个方面，提供了一种检测模型的训练方法，该方法包括：

训练步骤：基于每个样本图像被选择的概率确定出训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；

概率调整步骤：基于一轮迭代训练的训练结果，更新每个样本图像被选择的概率，并转至训练步骤，直至满足预设的训练结束条件。

示例性地，样本图像包括前景图像和/或背景图像，

基于每个样本图像被选择的概率确定出训练样本,包括：

基于每个前景图像和/或每个背景图像被选择的概率，选择前景图像和/或背景图像；以及

基于被选择的前景图像和/或背景图像生成训练样本；

更新每个样本图像被选择的概率，包括：

更新每个前景图像和/或每个背景图像被选择的概率。

示例性地，概率调整步骤，包括：

差异确定子步骤，对于每个训练样本，根据检测模型对该训练样本的预测结果和预设标准结果，确定该训练样本的样本图像对应的差异信息；

概率计算子步骤，根据每个样本图像对应的差异信息以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率；

更新子步骤，根据计算的下一轮迭代训练时该样本图像被选择的概率，更新每个样本图像被选择的概率，并转至训练步骤。

示例性地，预设次数为至少一次；

差异确定子步骤，包括：

若至少两次迭代训练采用具有相同的样本图像的训练样本，则基于最新一次迭代训练中检测模型对该训练样本的预测结果和预设标准结果，确定该相同的样本图像对应的差异信息。

示例性地，差异确定子步骤，包括：

若单次迭代训练采用具有相同的样本图像的至少2个训练样本，则根据检测模型对该至少2个训练样本各自的预测结果和预设标准结果，分别计算该相同的样本图像对应的多个初始差异信息，并综合多个初始差异信息确定该相同的样本图像对应的差异信息。

示例性地，每个样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时该样本图像被选择的概率为正相关关系。

示例性地，正相关关系利用如下公式表达：

其中，w_t,i表示第i个样本图像在第t轮迭代训练被

选择的概率；

w_t+1,i表示第i样本图像在第t+1轮迭代训练被选择的概率；

err_t,i表示差异大小，且初始值为0；

n表示可供选择的样本图像的数量。

示例性地，对于第一轮迭代训练，可供选择的所有前景图像被选择的概率的初始值相同；和/或，可供选择的所有背景图像被选择的概率的初始值相同。

示例性地，样本图像包括前景图像和背景图像，基于被选择的前景图像和/或背景图像生成训练样本，包括：

确定被选择的前景图像中的每个像素的第一权重，其中，距离被选择的前景图像中的前景区域越近的像素的第一权重的权重值越大；

基于第一权重，确定被选择的背景图像中的对应像素的第二权重，其中，第二权重与第一权重负相关；以及

利用第一权重和第二权重，加权融合被选择的前景图像和被选择的背景图像，以得到训练样本。

根据本申请的第二方面，还提供一种检测模型的训练系统，包括：

训练模块，用于基于每个样本图像被选择的概率确定出训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；以及

概率调整模块，用于基于一轮迭代训练的训练结果，更新每个样本图像被选择的概率。

根据本申请的第三方面，还提供一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述检测模型的训练方法。

根据本申请的第四方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述检测模型的训练方法。

根据上述方案，在对检测模型进行迭代训练过程中，根据上一轮迭代训练的训练结果对下一轮迭代训练中的训练样本的确定进行适度地干预，使得之后的迭代训练所采用的训练样本更有利于模型的训练。该方案可以有效保证训练好的检测模型对各类样本的检测准确度均较高，大大提高检测模型的检测精度。同时，还可以显著缩短模型训练时间，提高模型的训练效率和训练效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本申请一个实施例的检测模型的训练方法的示意性流程图；

图2示出了根据本申请另一个实施例的检测模型的训练方法的示意性流程图；

图3示出了根据本申请一个实施例的检测模型的训练系统的示意性框图；以及

图4示出了根据本申请一个实施例的电子设备的示意性框图。

具体实施方式

为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。

为了至少部分地解决上述问题，根本申请的第一方面，提供一种检测模型的训练方法。该方法可以用于训练各种类型的检测模型，包括但不限于各种目标检测模型以及各种分割模型等。

图1示出了根据本申请一个实施例的检测模型的训练方法1000的示意性流程图。如图1所示，检测模型的训练方法1000可以包括以下训练步骤S1200和概率调整步骤S1400。

训练步骤S1200，基于每个样本图像被选择的概率确定出训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练。

根据本申请实施例，样本图像可以是包括待训练的检测模型将要检测的目标对象的图像。例如，待训练的检测模型用于检测晶圆中的缺陷，则样本图像可以是已拍摄好的晶圆图像。样本图像可以是任何合适形式的图像。其可以是RGB图像或灰度图像。样本图像可以是静态图像，也可以是动态视频中的任一视频帧。样本图像可以是任意合适尺寸、合适分辨率的图像。此外，样本图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善样本图像的视觉效果，提高样本图像的清晰度，或是突出图像中的某些特征以便于模型训练的所有操作。示例性而非限制性地，预处理操作可以包括对原始图像的数字化、几何变换、归一化、滤波等操作。

根据本申请实施例，待训练的检测模型的训练样本可以是样本图像，也可以是由样本图像生成的图像。

在一个示例中，训练样本可以是样本图像。基于每个样本图像被选择的概率确定出训练样本，可以包括：从样本图像库中直接选择预设数目的样本图像，作为训练样本。预设数目可以是任何合适的数目。例如，样本图像库中可以包括1000个样本图像，预设数目可以是10。即，在训练步骤S1200,可以基于每个样本图像被选择的概率，从1000个样本图像中选择10个样本图像，作为训练样本。在这种示例中，每个训练样本可以是一个样本图像。例如，1000个样本图像可以是已预先合成好的裂纹样本图像。在此步骤中，则可以直接基于每个裂纹样本图像被选择的概率，从裂纹样本图像库选择10个裂纹样本图像，作为裂纹缺陷的检测模型的训练样本。每个样本图像被选择的概率可以根据实际需求进行任意设置。1000个样本图像中的每个样本图像被选择的概率相等，也可以不相等。示例性而非限制性地，1000个样本图像各自被选择的概率之和可以等于1。每个样本图像被初次选择的概率可以相等，例如均为0.1％。

在另一示例中，训练样本也可以是由一个或多个样本图像生成的图像。

可选地，训练样本可以是由一个样本图像生成的图像。针对待训练的检测模型，可以预先收集该模型的检测对象的图像，例如前述示例中的裂纹缺陷图像，加入到样本图像库中。示例性而非限制性地，训练样本可以是通过对样本图像执行第一处理操作生成的样本图像。该第一处理操作可以是任何合适的图像处理，例如是尺寸变换、图像增强等。基于每个样本图像被选择的概率确定出训练样本，可以包括：基于每个样本图像被选择的概率从样本图像库中选择样本图像；并对每个被选择的样本图像执行第一处理操作，以生成每个训练样本。与上述示例类似地，每个样本图像被选择的概率可以根据实际需求进行任意设置。例如，所有样本图像各自被选择的概率之和可以等于1。每个样本图像初次被选择的概率可以相等，也可以不相等。或者，每个训练样本还可以是由一个样本图像和其他预设图像生成的。例如，样本图像可以是前景图像，每个训练样本可以是根据选择的前景图像和预设背景图像合成的；或者，样本图像可以是背景图像，每个训练样本也可以是根据选择的背景图像和预设前景图像生成。

替代地，每个训练样本还可以是由多个样本图像生成的。例如，每个训练样本可以是由两个样本图像融合生成的。待训练的检测模型的样本图像库中可以包括前景图像库和/或背景图像库。前景图像库中可以包括多个前景图像和/或背景图像库中可以包括多个背景图像。每个训练样本可以是由一个前景图像和一个背景图像融合而成的合成图像。基于每个样本图像被选择的概率确定出训练样本，可以包括：基于每个前景图像被选择的概率从前景图像库中选择前景图像，和/或基于每个背景图像被选择的概率从背景图像库中选择背景图像。然后，可以将选择的前景图像和/或背景图像采用任何合适的图像融合方法进行融合，以得到合成的训练样本。容易理解，在这种示例中，每个训练样本可以对应一个前景图像和一个背景图像。每个样本图像被选择的概率可以包括前景图像被选择的概率和背景图像被选择的概率。每个前景图像被选择的概率可以是将该前景图像从前景图像库中选择出的概率。而每个背景图像被选择的概率可以是将该背景图像从被景图像库中选择出的概率。每个样本图像被选择的概率可以根据实际需求进行预先设置。例如，所有前景图像各自被选择的概率之和可以是1，所有背景图像各自被选择的概率之和也可以是1。对于每个训练样本，其对应的前景图像被选择的概率和其对应的背景图像被选择的概率可以相同，也可以不同。对于这种方案的具体实施方案将在后文进行阐释，在此不再赘述。当然，在其他特殊的示例中，每个训练样本也可以是由2个以上的样本图像生成的。

根据本申请实施例，可以采用任何合适的采样方式选择样本图像，以确定训练样本。优选地，可以采用概率加权采样的方式选择样本图像。每个样本图像可以被预先赋予一定的权重，该权重越大，其被选择的概率越大。所有样本图像各自被选择的概率之和可以等于1。

在确定出用于每次迭代训练的训练样本之后，还可以对训练样本进行标注。例如，每个训练样本可以是合成好的裂纹缺陷图像，裂纹缺陷图像中的裂纹区域的位置即标注为前景，该裂纹区域可以是用于合成该裂纹缺陷图像的前景图像的前景区域，由此，可以得到标注好的训练样本。然后，可以将已标注的训练样本送入待训练的检测模型中进行单次迭代训练。可以采用任何现有的或未来研发的训练方法训练该检测模型。具体地，对于每次迭代训练，可以将训练样本送入检测模型执行前向计算得到预测值。并可以计算预测值与真实值之间的损失函数值。执行梯度反向传播，并根据预设的优化算法更新检测模型的模型参数。对于每次迭代训练，可以获取当前迭代的训练结果。该训练结果可以包括模型对每个训练样本的预测结果。并可以根据预测结果更新模型参数。

根据本申请实施例，对检测模型的迭代训练可以包括多轮的迭代训练。其中，每轮的迭代训练的次数可以是一次，也可以是多次。预设次数可以是n次，n为大于或等于0的整数。可选地，对于每轮的迭代训练次数为一次的情况，可以在按照上述步骤完成对检测模型的单次迭代训练之后，转至概率调整步骤S1400。替代地，对于每轮的迭代训练次数为多次的情况，例如为n+1次，可以在按照上述步骤完成对检测模型的单次迭代训练之后,继续重复执行上述步骤n次，直至完成一轮迭代训练。在一个具体的示例中，每轮迭代训练的次数例如为10次，每次迭代训练的训练样本例如为10个，每个训练样本可以是从1000个样本图像中选择出的。即，对于第一次迭代训练，可以基于每个样本图像被选择的概率从1000个样本图像选出10个样本图像，作为第一次迭代训练的训练样本。进而，将选出的10个训练样本输入至检测模型中进行模型推理，可以获取第一次迭代训练中模型对每个样本图像的第一预测结果。进而可以依据第一预测结果对模型参数进行第一次更新。同样地，对于第二次迭代训练，可以再次基于每个样本图像被选择的概率从1000个训练样本选出10个样本图像，作为第二次迭代训练的训练样本。第二次迭代的训练样本与第一次迭代的训练样本可以完全不同，也可以部分相同。同样可以将第二次迭代的10个训练样本输入至检测模型中进行模型推理，获取第二次迭代训练中模型对每个样本图像的第二预测结果，并依据第二预测结果对模型参数进行第二次更新。如此循环，直至完成第10次迭代训练。并可以得到10次迭代训练中模型对每个训练样本的第十预测结果，并可以根据第十预测结果对模型参数进行第十次更新。

概率调整步骤S1400,基于一轮迭代训练的训练结果，更新每个样本图像被选择的概率，并转至训练步骤，直至满足预设的训练结束条件。

可以理解，一轮迭代训练的训练结果可以包括该轮迭代训练中所包含的多次迭代训练的训练结果。如前所述，每次迭代训练的训练结果可以包括在该迭代训练中模型对每个训练样本的预测结果。示例性地，可以基于每次迭代训练中，模型对每个训练样本的预测结果，更新每个样本图像被选择的概率，以作为下一轮迭代训练中各个样本图像被选择的概率。

如前所述，对检测模型的每轮迭代训练过程中的迭代次数可以是1次，也可以是多次。对于每轮迭代次数为1次的情况，可以直接基于单次迭代训练的训练结果，更新每个样本图像被选择的概率。例如，该单次迭代训练中的训练样本的数量为10。可以基于单次迭代训练中模型对该10个训练样本的预测结果，更新每个样本图像被选择的概率。换言之，根据本申请实施例的检测模型的训练方法，可以每次迭代训练完成后即更新一次样本图像被选择的概率，更新的频率较快。

对于每轮迭代次数为多次的情况，可以基于多次迭代训练的训练结果，更新每个样本图像被选择的概率。换言之，根据本申请实施例的检测模型的训练方法，还可以在一轮的多次迭代训练完成之后，才更新一次样本图像被选择的概率，更新的频率相对较慢。这种方案相对单次迭代训练就更新一次概率而言，不仅在一定程度上可以减少计算量，并且可以避免因初期迭代训练时模型对训练样本的推理结果较差而造成的对样本图像被选择的概率过度调整，从而模型训练过程更加稳定以及训练得到的模型效果好。示例性而非限制性地，对于该方案，可以基于每次迭代训练中模型对每个训练样本的预测结果，更新每个样本图像被选择的概率，这样可以充分考虑每次迭代训练的训练结果，更新后的概率也较准确。或者，在另一示例中，还可以仅基于多次迭代训练中模型对特定的训练样本的预测结果，更新每个样本图像被选择的概率。特定的训练样本可以是根据需求设置的，示例性地，可以基于多次迭代训练中最新一次迭代训练的训练样本的预测结果，更新每个样本图像被选择的概率，这样可以一定程度地减少计算量，节省计算空间。

根据本申请实施例，可以采用任何合适的概率更新逻辑更新每个样本图像的概率。如前所述，每个训练样本可以对应一个样本图像，也可以对应多个样本图像。示例性而非限制性地，可以基于单次迭代训练中模型对每个训练样本的预测结果，更新与该训练样本对应的样本图像被选择的概率，得到更新后的概率。例如，对于每个与训练样本对应的样本图像，其更新后的概率与更新前的概率以及当前迭代训练中模型对该训练样本的预测结果三者之间可以具有预设的函数关系。该预设的函数关系可以根据实际需求进行任意设置。具体例如，预测结果与真实值的差值越大，更新后的概率越大等。相应地，也可以采用任何合适的概率更新逻辑，基于单次迭代训练中模型对每个训练样本的预测结果更新此次迭代训练中未被选择的样本图像的概率。示例性而非限制性地，对于此次迭代训练中未被选择的样本图像被选择的概率可以依据更新后的与训练样本对应的样本图像被选择的概率而变更，确定出未被选择的样本图像所要更新的概率。例如，可以基于预设的所有样本图像各自被选择的概率之和与更新后的与训练样本对应的样本图像被选择的概率，更新未被选择的样本图像的概率。具体为，由于概率之和为固定值，因此，若与训练样本对应的样本图像被选择的概率发生变更，则未被选择的样本图像的概率也被动发生变更。

需要特别说明的是，对于本申请实施例中的每个样本图像，其概率的更新并不意味着概率的改变。对于每个样本图像，其更新后的被选择的概率可以与上一轮迭代训练中被选择的概率相同，也可以与上一轮迭代训练中被选择的概率不同。

根据本申请实施例，预设的训练结束条件可以根据实际需求进行任意设置。示例性而非限制性地，预设的训练结束条件可以是完成预设轮数的迭代训练。预设轮数也可以根据实际需求进行设置，例如100轮。若当前的迭代训练为第100轮迭代训练，则可以结束训练；若当前迭代训练并非最后一轮，则可以转至训练步骤S1200，基于更新后的每个样本图像被选择的概率确定出训练样本进行训练。例如，若在前一轮的迭代训练中模型对某类训练样本的推理结果较差，则可能说明该类训练样本的训练难度较大。根据本申请实施例，可以通过增加与该训练样本对应的样本图像被选择的概率(即，权重)的方法积极干预模型的训练，以使在下一轮的迭代训练中对应的样本图像以更大的概率被选中，从而可以确定出更有利于模型训练的训练样本。可以理解，按照这种方案可以提高模型对该类训练样本的预测结果的准确度。由此，经过例如100轮的迭代训练的检测模型，对各类训练样本的检测精度均可以达到较好的效果。预设的训练结束条件也可以是其他合适的条件，例如模型的预测准确度或模型的泛化能力达到预设标准等等。若当前满足预设的训练结束条件，作为可以结束训练；否则，可以转至训练步骤S1200,继续训练并持续根据每轮迭代训练的训练结果，更新每个样本图像被选择的概率，直至满足预设的训练结束条件为止。

根据上述方案，在对检测模型进行迭代训练过程中，根据上一轮迭代训练的训练结果对下一轮迭代训练中的训练样本的确定进行适度地干预，使得之后的迭代训练所采用的训练样本更有利于模型的训练。该方案可以有效保证训练好的检测模型对各类样本的检测准确度均较高，大大提高检测模型的检测精度。同时，还可以显著缩短模型训练时间，提高模型的训练效率和训练效果。

示例性地，样本图像包括前景图像和/或背景图像。前景图像可以是包括检测模型所检测的目标对象所在区域的图像。例如，前景图像可以是收集到的包括裂纹缺陷的缺陷图像。背景图像可以是不包括目标对象所在区域的图像。例如，背景图像可以是收集到的没有裂纹缺陷的正常图像。用于训练检测模型的训练样本可以是由前景图像和背景图像生成的。例如，在缺陷检测领域，自然缺陷图像很难收集到，可以利用图像合成方法合成缺陷图像，以解决训练数据不足的问题。与现有技术中离线合成训练样本的方案不同，本申请的实施例在训练过程中，尤其在每次迭代训练的开始阶段可以实时在线快速地合成训练样本，不仅训练的实时性更好，训练的效率也更高，而且合成的训练样本丰富度高，有利于训练得到效果好的模型。

训练步骤S1200中基于每个样本图像被选择的概率确定出训练样本,包括和步骤S1220。在步骤S1210，基于每个前景图像和/或每个背景图像被选择的概率，选择前景图像和/或背景图像。在步骤S1220，基于被选择的前景图像和/或背景图像生成训练样本。概率调整步骤S1400中更新每个样本图像的概率，包括更新每个前景图像和/或每个背景图像被选择的概率。

可以理解，基于针对不同的检测模型的不同的训练目的，其期望的训练样本可以不同。

可选地，对于一些检测模型而言，其期望针对某种特定的背景下的多种形态的缺陷进行检测，即其更关注模型对不同缺陷前景下的训练样本的检测能力，因此可以选择不同的前景图像，以生成不同的训练样本。在这种示例中，每个训练样本可以对应一个前景图像。可以在步骤S1210基于每个前景图像被选择的概率选择前景图像。在步骤S1220，可以基于被选择的前景图像生成训练样本。可以采用任何合适的方法生成训练样本。例如，可以按照预设的合成方法进行合成，以得到训练样本。预设的合成方法可以是任何合适的图像融合方法，包括但不限于最大值/最小值的图像融合方法、像素加权融合法、金字塔融合法、梯度域融合法、结构变形融合法等。可以理解，在融合后得到的训练样本中，可以包括选择的前景图像中的例如缺陷区域的图像特征。在概率调整步骤S1400，可以更新每个前景图像被选择的概率。

又可选地，基于同样的道理，对于另一些检测模型而言，其期望针对某种多种不同背景下的特定形态的缺陷进行检测，即其更关注模型对不同背景下的训练样本的检测能力，因此可以选择不同的背景图像，以生成不同的训练样本。在这种示例中，每个训练样本可以对应一个背景图像。可以在步骤S1210基于每个背景图像被选择的概率选择背景图像。在步骤S1220，可以基于被选择的背景图像生成训练样本。同样可以采用任何合适的方法生成训练样本。示例性而非限制性地，可以将选择出的背景图像与预设的前景图像的像素进行加权融合，以得到训练样本。可以理解，在融合后得到的训练样本中，可以包括选择的背景图像中的例如背景区域的图像特征。在概率调整步骤S1400，可以更新每个背景图像被选择的概率。

替代地，对于其他的检测模型而言，其不仅关注诸如各种各样的缺陷前景，还关注缺陷所在的各种背景，其期望准确检测出多种背景下的多种缺陷。因此，可以选择不同的前景图像和背景图像，生成不同的训练样本。在这种示例中，每个训练样本可以对应一个前景图像和一个背景图像。任意两个训练样本可以对应相同的前景图像和不同的背景图像，也可以对应相同的背景图像和不同的前景图像，还可以对应不同的前景图像和不同的背景图像。可以在步骤S1210，可以基于每个前景图像被选择的概率选择前景图像，并基于每个背景图像被选择的概率选择背景图像。在步骤S1220，基于被选择的前景图像和背景图像生成训练样本。与前述两个示例类似地，同样可以采用任何合适的方法生成训练样本。示例性而非限制性地，可以将选择出的前景图像与选择出的背景图像的像素进行加权融合，以得到训练样本。可以理解，在融合后得到的训练样本中，可以包括选择的前景图像中的例如缺陷区域的图像特征和选择的背景图像中的例如背景区域的图像特征。在概率调整步骤S1400，可以更新每个前景图像被选择的概率，并更新每个背景图像被选择的概率。

根据上述方案，可以在对检测模型的训练过程中，基于每个前景图像和/或背景图像各自被选择的概率在线选择并生成用于单次迭代训练的训练样本。并且可以根据每轮迭代训练的训练结果，更新每个样本图像被选择的概率。这种在线生成训练样本的方案的计算量更小，还可以显著提高模型的训练效率。同时，还该方案基于本轮训练的训练结果，更新下一轮迭代时训练样本对应的样本图像被选择的概率，从而可以在模型的训练过程中实时生成满足预期的、更丰富的训练样本，实现对检测模型的训练的正向干预。并且，训练好的检测模型的精度也更高，用户体验也更好。

示例性地，对于第一轮迭代训练，可供选择的所有前景图像的概率的初始值相同；和/或，可供选择的所有背景图像的概率的初始值相同。

如前所述，样本图像可以包括前景图像和/或背景图像。可以理解，在训练开始时的第一轮迭代训练中，每个前景图像和/或每个背景图像各自被选择的概率的初始值可以称作初始概率。每一轮迭代训练中的训练次数可以是一次，也可以是多次。对于每轮迭代的训练次数为一次的情况，第一轮迭代训练即为第一次迭代训练，此时，每个样本图像均未被选择。因此，每个样本图像被选择的初始概率可以相同。前景图像库中的所有前景图像被选择的初始概率可以相同，和/或背景图像库中的所有背景图像被选择的初始概率可以相同。对于每轮迭代的训练次数为多次的情况，第一轮迭代训练的每次迭代训练中每个前景图像/背景图像各自被选择的初始概率也可以是相同的。即，对于第一轮迭代训练，每个样本图像的权重可以是相同的。这样可以保证初次迭代中，每个样本图像都具有均等地被选择的机会，可以保证模型训练的合理性和有效性。

每个前景图像或背景图像各自被选择的初始概率可以是根据实际需求设置。在一个示例中，每个前景图像或背景图像各自被选择的初始概率可以为预设的固定值。在另一个示例中，所有前景图像/背景图像被选择的初始概率之和可以等于1。例如，前景图像库中的前景图像的数目为100，则每个前景图像被选择的初始概率可以是1/100。背景图像库中的背景图像的数目例如为200，则每个背景图像被选择的初始概率可以是1/200。在其他示例中，所有前景图像/背景图像各自被选择的初始概率之和也可以不等于1。此时，每个前景图像/背景图像各自被选择的初始概率也可以是其他值。

根据上述方案，在第一轮迭代训练中，每个前景图像或背景图像被选择的初始概率相等。该方案计算简单，执行逻辑也更合理，可以保证模型训练的合理性和有效性。

示例性地，样本图像包括前景图像和背景图像。步骤S1220基于被选择的前景图像和/或背景图像生成训练样本，包括步骤S1221、步骤S1222和步骤S1223。如前所述，样本图像可以包括前景图像和背景图像。训练样本可以是由被选择的前景图像和被选择的背景图像生成的。根据本申请实施例，可以采用像素加权融合的方法融合被选择的前景图像和被选择的背景图像。

在步骤S1221，确定被选择的前景图像中的每个像素的第一权重。其中，距离前景图像中的前景区域越近的像素的第一权重的权重值越大。被选择的前景图像中的前景区域可以是目标对象所在的主要区域，例如可以是前述示例中的裂纹缺陷所在区域。可以采用任何合适的权重设置方法，确定被选择的前景图像中的每个像素的第一权重。

在一个示例中，可以采用任何合适的方法确定前景图像的掩膜图，并可以基于前景图像的掩膜图中每个像素的像素值，确定前景图像中对应像素的第一权重。具体地，该掩膜图中的每个像素的像素值可以与前景图像中对应像素的第一权重存在对应关系。例如，该掩膜图中每个像素的像素值可以与前景图像中对应像素的第一权重存在预设的函数关系。可以基于掩膜图中每个像素的像素值和该预设的函数关系，计算得到前景图像中每个像素的第一权重。优选地，掩膜图中的每个像素的像素值可以等于前景图像中对应像素的第一权重。

在另一示例中，可以采用任何合适的方法将前景图像进行多区域的区域分割，并对分割到的不同区域设置不同的权重设置逻辑。

可选地，可以将前景图像区域分割为前景区域和第一背景区域。例如，可以直接设置前景区域中每个像素的第一权重为一固定值。该固定值可以是前景图像中所有像素的第一权重的最大值，例如为1。对于第一背景区域，则可以基于距离前景区域越近的像素的第一权重的权重值越大的原则，预先设置合适的、第一权重与距离之间的第一函数关系。该第一函数关系可以是线性函数关系，也可以是非线性函数关系。可选的，预设的第一函数关系可以是线性函数关系。例如，位于第一背景区域的每个像素的第一权重p_i与该像素与前景区域的距离d_i呈以下线性函数关系：

p_i＝k*d_i+c

其中，k大于0，c为常数。按照上述预设的线性函数关系，即可确定第一背景区域中每个像素的第一权重，该区域中的每个像素的第一权重可以小于前景区域中每个像素的第一权重。例如，可以确定具有裂纹缺陷的电子器件图像中的裂纹缺陷所在区域的每个像素的第一权重为1。而可以根据诸如上述预设的线性函数关系计算该区域之外的每个像素的第一权重，该区域中每个像素的第一权重可以落在[0，1)区间内。

替代地，还可以将前景图像区域分割为2个以上的区域。示例性而非限制性地，例如可以利用前景图像的掩膜图将前景图像划分为包括前景区域在内的3个区域。例如，步骤S1221可以包括步骤S1221.1、步骤S1221.2和步骤S1221.3。

在步骤S1221.1，获取前景图像的掩膜图。可以采用任何合适的方法获取前景图像的掩膜图。示例性而非限制性地，可以采用任何合适的图像分割方法将前景图像区域分割，得到包括前景对应区和前景对应区之外的第一背景区域的区域分割图像。根据本申请实施例，前景对应区域可以是与前景区域对应的区域。然后，可以将区域分割图像进行二值化处理，可以得到前景图像的掩膜图。例如，在该掩膜图中，前景对应区的像素的像素值可以是1，第一背景区域的像素的像素值可以是0。

在步骤S1221.2，确定掩膜图中的前景对应区附近的边缘区域。可以采用任何合适的方法确定边缘区域。在一个示例中，可以采用膨胀处理的方式确定前景对应区附近的边缘区域。例如，可以对掩膜图中的前景对应区进行膨胀处理，得到膨胀后的掩膜图。在该膨胀处理中，膨胀的参数可以任意设置。例如，可以基于预设尺寸的卷积核对前景对应区进行膨胀处理。预设尺寸例如10px等任何合适的尺寸。可以理解，膨胀后的掩膜图中可以包括前景对应区在内的第一区域，以及包括部分第一背景区域在内的第二背景区域。根据本申请实施例，可以将膨胀后的第一区域中的前景对应区之外的区域确定为边缘区域。该边缘区域可以理解为距离前景对应区较近的边缘区域。在另一示例中，也可以基于预设的羽化参数，对掩膜图中的前景对应区的区域边缘进行羽化处理，得到羽化后的掩膜图。该预设的羽化参数例如羽化半径为10px，以及羽化方向为朝向区域外侧的方向。示例性而非限制性地，羽化后的掩膜图像中可以包括三个不同的区域，分别为未被羽化的前景对应区、被羽化的部分第一背景区域以及未被羽化的其他第一背景区域。可以理解，在该示例中，被羽化的部分第一背景区域即为位于前景对应区附近的边缘区域。当然，也可以采用其他合适的方法确定边缘区域。例如也可以通过对第一背景区域进行腐蚀处理的方法确定边缘区域等。

在步骤S1221.3，根据边缘区域中的每个边缘像素与前景对应区的距离，确定前景图像中与该边缘像素对应的像素的第一权重。其中，距离越大，第一权重越小。在确定掩膜图中的边缘区域之后，可以进一步确定前景图像中、与边缘区域对应的区域中的每个像素的第一权重。可以采用任何合适的方法确定边缘区域中的每个边缘像素与前景对应区的距离。

例如，可以通过确定每个边缘像素与前景对应区的特定像素的距离的方法，确定边缘区域中的每个边缘像素与前景对应区的距离。该特定像素可以任意设置。

可选地，其可以是一个固定位置的像素，例如，位于前景对应区的中心位置的像素。

替代地，该特定像素也可以是不固定的像素。例如对于不同位置的边缘像素，其对应的特定像素可以不同。

示例性地，特定像素可以是距离每个边缘像素最近的像素。步骤S1221.3确定前景图像中与该边缘像素对应的像素的第一权重，包括步骤S1221.31和步骤S1221.32。在步骤S1221.31，计算每个边缘像素与距离其最近的前景像素之间的距离，其中，前景像素为前景对应区中的像素。在步骤S1221.32，根据距离，确定边缘像素的第一权重。可以遍历前景对应区中的每个像素确定与每个边缘像素距离最近的前景像素。优选地，该前景像素可以是位于前景对应区域的区域边缘上的像素。可以首先确定位于前景对应区域的区域边缘的前景像素。然后，可以遍历这些前景像素，确定其中与每个边缘像素距离最近的前景像素，称作特定前景像素。然后，可以计算每个边缘像素与相应的特定前景像素的距离。

在确定边缘区域中的每个边缘像素与前景对应区的距离之后，可以采用任何合适的方法，基于该距离确定前景图像中与该边缘像素对应的像素的第一权重。在一个示例中，可以采用任何现有的或未来研发的距离变换的方法，确定前景图像中与每个边缘像素对应的像素的第一权重。例如，可以采用欧式距离变换的方法确定前景图像中与每个边缘像素对应的像素的第一权重。或者，也可以采用诸如棋盘距离变换、城市街区距离变换、倒角距离变换等非欧式距离变换的方法确定前景图像中与每个边缘像素对应的像素的第一权重。在另一示例中，可以预先设置关于边缘区域中的每个边缘像素与前景对应区的距离和前景图像中与该边缘像素对应的像素的第一权重的线性函数关系。并在确定距离之后，基于预设的线性函数关系，计算相应像素的第一权重。本领域普通技术人员可以理解该方案的多种实现方式，在此不再赘述。

示例性地，第一权重的取值范围可以是[0，1]。例如，可以确定前景区域中的每个像素的第一权重为1，并确定前景图像的背景区域中部分像素的第一权重为0。其中，部分像素为背景区域中排除掉边缘像素对应的像素之外的其他像素。前景图像中的背景区域可以是除前景区域之外的区域。以前景图像为包括裂纹缺陷的电子器件的图像为例。可以将前景图像中的裂纹缺陷所在的区域的每个像素的第一权重设置为0。而可以将背景区域中的其他区域的像素的像素值确定为0。该其他区域可以是背景区域中的边缘对应区之外的区域。该边缘对应区可以是与利用上述步骤S1221.2的方法确定的边缘区域对应的区域。可以理解，背景区域中的其他区域可以是距离前景区域较远的背景区域。对于边缘对应区的每个像素的第一权重可以落在(0，1)之间。并且距离前景区域越近的边缘像素的第一权重可以越接近1，距离前景区域越远的边缘像素的第一权重可以越接近0。可以采用上述步骤S1221.31和步骤S1221.32的方法确定该距离，并确定相应的第一权重。

当然，该步骤还可以通过上述示例之外的其他实现方式实现，只要满足距离前景区域越近的像素的第一权重的权重值越大即可，本申请不对其进行限制。

在步骤S1222，基于第一权重，确定被选择的背景图像中的对应像素的第二权重，其中，第二权重与第一权重负相关。第一权重和第二权重可以是任何合适的负相关关系。示例性而非限制性地，可以利用如下公式计算第二权重：

q_i＝1-p_i

其中，p_i表示前景图像中每个像素的第一权重，q_i表示背景图像中对应像素的第二权重。可以在确定前景图像中的每个像素的第一权重之后，基于上述公式相应确定背景图像中对应像素的第二权重。如前所述，对于被选择的前景图像，其前景区域的每个像素的第一权重可以是1，背景区域中的边缘区域的每个像素的第一权重可以落在区间(0，1)之间，而背景区域中边缘区域之外的其他像素的第一权重可以是0。则基于上述公式，可以确定被选择的背景图像中每个像素的第二权重。其中，在被选择的背景图像中，与前景区域对应区域的每个像素的第二权重可以是0，与边缘区域对应的区域的每个像素的第二权重可以落在区间(0，1)之间，其他区域的其他像素的第二权重可以是1。

在步骤S1223，利用第一权重和第二权重，加权融合被选择的前景图像和被选择的背景图像，以得到训练样本。即，前景图像中每个像素的融合权重可以是第一权重，背景图像中每个像素的融合权重可以是第二权重。由于对于被选择的前景图像，距离前景图像中的前景区域越近的像素的第一权重的权重值越大。因此，距离前景图像中的前景区域越近的像素的融合权重也较大。从而，在融合后得到的训练样本中，与前景区域对应的区域中的每个像素的像素值与被选择的前景图像的对应像素的像素值更接近。例如，训练样本中与前景区域对应的区域的每个像素的像素值可以等于被选择的前景图像中对应像素的像素值。而在其他区域中，随着每个像素逐渐远离前景区域，前景图像中的对应像素的像素值的融合权重逐渐降低，而背景图像中的对应像素的融合权重逐渐增加。例如，训练样本中对应前述示例的前景图像的边缘区域中的每个像素的像素值可以等于前景图像和背景图像中的对应像素的融合像素。训练样本中，对应背景区域中的边缘区域之外的其他区域的每个像素的像素值可以等于背景图像中的相应像素的像素值。前景图像中的前景区域例如是裂纹缺陷区域，按照这种方案融合成的训练样本中既包括选择的前景图像中的真实的裂纹缺陷区域，又包括背景图像中真实的背景区域。并且，在融合成的训练样本中还包括位于对应位于两者之间的边缘区域的区域，该区域的像素为前景图像和背景图像中的对应像素的融合像素，可以实现两个差别较大的区域之间的自然过渡。得到的训练样本的视觉效果更佳。

上述图像合成方法可以快速合成出具有丰富的前景和背景的训练样本。该方案的计算复杂度低，处理速度快。因此，可以高效实现对检测模型的训练样本的实时在线合成，从而可以提高模型训练的效率。

示例性地，概率调整步骤S1400，包括差异确定子步骤S1410、概率计算子步骤S1420和更新子步骤S1430。

在差异确定子步骤S1410，对于每个训练样本，根据模型对该训练样本的预测结果和预设标准结果，确定该训练样本的样本图像对应的差异信息。如前所述，一轮迭代训练的迭代训练次数可以是一次，也可以是多次。一轮迭代训练的训练结果可以包括一次或多次迭代训练的训练结果。每次迭代训练的训练结果可以包括在该迭代训练过程中模型对每个训练样本的预测结果。以检测模型为检测裂纹缺陷的模型为例，模型对每个训练样本的预测结果例如是模型预测该训练样本中包括裂纹缺陷的概率值或置信度等任何合适的预测结果指标值。而预设标准结果例如是该训练样本是否包括裂纹缺陷的真实标签值。可以根据模型对该训练样本的预测结果和预设标准结果之间的差异，确定该训练样本的样本图像对应的差异信息。可以理解，训练样本的样本图像可以是与该训练样本对应的样本图像。样本图像对应的差异信息，可以是模型对该训练样本的预测结果和预设标准结果的差异相关的信息。例如，其可以是模型对该样本图像对应的训练样本的预测结果偏离真实值的偏离程度信息。可以采用任何合适的方法，确定该差异信息，本申请不对其进行限制。

在概率计算子步骤S1420，根据每个样本图像对应的差异信息以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率。并在更新子步骤S1430，根据计算的下一轮迭代训练时该样本图像被选择的概率，更新每个样本图像被选择的概率，并转至训练步骤。

示例性地，可以根据该轮迭代训练中模型对每个训练样本的预测结果偏离真实值的偏离程度信息，以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率，即计算概率更新值。然后，可以更新每个样本图像被选择的概率为该概率更新值。可以采用任何合适的计算逻辑，计算下一轮迭代训练时每个样本图像被选择的概率。例如，对于每个样本图像，可以预先设置其概率更新值、更新前的概率以及模型对该样本图像对应的训练样本的预测结果偏离真实值的偏离程度信息三者之间的函数关系。进而，可以在此步骤，基于该函数关系计算得到下一轮迭代训练时每个样本图像被选择的概率，并进行相应更新。

根据上述方案，可以基于每轮迭代训练过程中模型对每个训练样本的预测结果和预设标准结果之间的差异，更新该训练样本的样本图像被选择的概率。这种方案可以直接根据已完成的训练结果在线确定更有利于模型训练的训练样本，从而可以保证每轮迭代训练的有效性，进而可以提高模型训练的效率，训练效果也更好。

示例性地，每个样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时该样本图像被选择的概率为正相关关系。

如前所述，每个样本图像对应的差异信息所表示的差异大小可以是该轮迭代训练中模型对每个训练样本的预测结果偏离真实值的偏离程度信息。在一个具体的示例中，模型对每个训练样本的预测结果例如是表示该训练样本中包括裂纹缺陷的概率0.8。预设的金标准结果例如是该训练样本中的真实标签值，该真实标签值例如是1或者0，其中1可以表示该训练样本中包括裂纹缺陷，0可以表示该训练样本中不包括裂纹缺陷。每个样本图像对应的差异信息所表示的差异大小例如是预测结果的概率值与真实标签值之间的差值，例如是1与0.8的差值，即0.2。

每个样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时该样本图像被选择的概率可以呈任何合适的正相关关系。即，对于每个样本图像，若该轮迭代训练中模型对与其对应的训练样本的预测结果与预设的金标准结果的差异越大，则下一轮迭代训练中该样本图像被选择的概率也越大。可以理解,例如对于样本图像a，若在当前迭代训练中，模型对由该样本图像生成的训练样本b的预测结果偏离真实标签值较大，则表明模型对训练样本b的推理结果较差。这可能是由于该类样本在之前的迭代训练中被选择的概率较低，或者该类样本的训练难度较大。而采用上述方案，可以在下一轮迭代训练中加大样本图像a被选择的概率，可以加大利用这一类训练样本对检测模型进行训练的频次，以逐渐改善检测模型对该类样本的推理结果。依照此方法，可以保证检测模型对每个样本图像的检测结果均较好。

上述方案可以更主动高效地确定出更有效的、用于每次迭代训练的训练样本，可以有效实现对检测模型的训练的正向干预，从而显著地提高模型训练的效率和训练效果。

示例性地，正相关关系利用如下公式表达：

其中，w_t,i表示第i个样本图像在第t轮迭代训练被选择的概率。如前所述，每轮迭代训练的训练次数可以是一次，也可以是多次。对于每轮迭代训练的训练次数为一次的情况，则w_t,i表示在第t轮迭代训练(即第t次迭代训练)中第i个样本图像被选择的概率。对于每轮迭代训练的训练次数为多次的情况，则w_t,i表示在第t轮迭代训练中所有的单次迭代训练中第i个样本图像被选择的概率。可以理解，每轮迭代训练的不同单次迭代训练中，同一个样本图像被选择的概率相同。w_t+1,i表示第i样本图像在第t+1轮迭代训练被选择的概率。err_t,i表示差异大小，且初始值为0。如前所述，该差异大小例如是在第t轮迭代训练中，模型对该样本图像对应的训练样本的预测结果的概率值与真实标签值之间的差值。err_t,i的初始值可以表示该轮迭代训练中未被选择的样本图像所对应的差异大小，可以是0。n表示可供选择的样本图像的总数量。可以理解，对于样本图像的类型为一种的情况下，n可以是所有可供选择的样本图像的总数量。对于样本图像的类型为多种的情况下，n可以是可供选择的每种类型的样本图像的总数量。例如样本图像包括前景图像和背景图像，则n可以是可供选择的所有前景图像的总数量或者是可供选择的所有背景图像的总数量。

在一个具体的示例中，样本图像的数目例如是5，单次迭代训练中选择的训练样本的数目例如是2，每轮迭代训练的训练次数例如是1。在第t轮的迭代训练中，5个样本图像各自被选择的概率例如均为0.2。在该轮的单次迭代训练中，确定出的训练样本1可以是选择出的样本图像1，或者是由样本图像1生成的；训练样本2可以是选择出的样本图像2，或者是由样本图像2生成的。在该迭代训练中，模型对训练样本1和训练样本2的预测结果例如分别是0.7和0.8。预设的金标准结果例如均为1。而则在第t轮迭代训练完成后，可以利用上述公式分别计算样本图像1和样本图像2在第t+1轮迭代训练中各自被选择的概率。例如，可以将w_t,1＝w_t,2＝w_t,3＝w_t,4＝w_t,5＝0.2、err_t,1＝0.3、err_t,2＝0.2、err_t,3＝err_t,4＝err_t,5＝0代入上述公式中进行计算。可以得到样本图像1和样本图像2在第t+1轮迭代训练中各自被选择的概率分别为0.2和0.32，其余3个样本图像在第t+1轮迭代训练中各自被选择的概率均为0.16。

对于上述示例，样本图像还可以包括两种类型的样本图像，每轮迭代训练中可供选择的每种类型的样本图像的数目例如为5。例如，样本图像可以包括前景图像和背景图像。每轮迭代可供选择的前景图像和背景图像的数量例如均为5。确定出的训练样本1例如是由选择出的前景图像1和选择出的背景图像1合成的，确定出的训练样本2例如是由选择出的前景图像2和选择出的背景图像2合成的。在第t轮的迭代训练中，5个前景图像各自被选择的概率例如均为0.2，5个背景图像各自被选择的概率例如也均为0.2。对于这种情况，前景图像1和背景图像1可以对应相同的差异信息，前景图像2和背景图像2也对应相同的差异信息。在该示例中，采用上述公式，计算得到前景图像1和背景图像1在第t+1轮迭代训练中各自被选择的概率均为0.2，同时也可以得到前景图像2和背景图像2在第t+1轮迭代训练中各自被选择的概率均为0.32。

可以理解，通过上述公式计算得到的每个样本图像被选择的概率可以是经过标准化之后的概率，可以保证所有样本图像在每轮迭代训练中被选择的概率之和等于1。上述公式的计算逻辑更合理，计算方法也较简单。

示例性地，预设次数为至少一次。差异确定子步骤S1410包括步骤S1411。在步骤S1411，若至少两次迭代训练采用具有相同的样本图像的训练样本，则基于最新一次迭代训练中检测模型对该训练样本的预测结果和预设的标准结果，确定该相同的样本图像对应的差异信息。

根据本申请实施例，对于每轮迭代训练的训练次数为多次的情况，若不同单次迭代训练中采用的训练样本中对应相同的样本图像，则可以基于该不同单次迭代训练中的最新一次迭代训练的训练结果确定该相同的样本图像对应的差异信息。例如，预设次数为5次，即每轮迭代训练中包括6次单次迭代训练。若在第5轮迭代训练中，第1次迭代训练的训练样本1、第3次迭代训练的训练样本2和第6次迭代训练的训练样本3均对应前景图像1，例如该3个训练样本均是由前景图像1合成的，则在该轮迭代训练完成后，可以在步骤S1411基于该第6次迭代训练中检测模型对训练样本3的预测结果和预设的标准结果，确定前景图像1对应的差异信息，并可以根据该差异信息更新前景图像1在第6轮迭代训练中被选择的概率。例如，可以计算第6次迭代训练中检测模型对训练样本3的预测结果的概率值和真实的标签值的差值，并代入到上述公式中，计算得到前景图像1在第6轮迭代训练中被选择的概率。本领域普通技术人员可以理解上述方案的实现方式，在此不再赘述。

可以理解，对于每轮迭代训练包括多次迭代训练的情况，其可能存在不同的单次迭代训练中采用同一个训练样本或者同类训练样本(由相同的样本图像生成的训练样本)的情况。并且，在不同的单次迭代训练中，模型对该训练样本或者该类训练样本的预测结果可能不同。通常情况下，随着迭代训练次数的增加，初期模型的预测能力逐渐增强，模型对训练样本的预测结果的准确率也逐渐升高。因此，可以基于模型对该训练样本或该类训练样本的最新的预测结果，更新该训练样本或该类训练样本对应的样本图像被选择的概率。这样既可以节省计算量，又可以保证更新的概率的准确性。

根据上述方案，在每轮迭代训练的多次迭代训练中，可以仅依据模型对每个样本图像对应的训练样本的最新预测结果，更新该样本图像在下一轮迭代训练中被选择的概率。这种方案逻辑清晰合理，计算量较小，更新后的概率也更准确。

示例性地，差异确定子步骤S1410包括步骤S1412。在步骤S1412，若单次迭代训练采用具有相同的样本图像的至少2个训练样本，则根据检测模型对该至少2个训练样本各自的预测结果和预设标准结果，分别计算该相同的样本图像对应的至少2个初始差异信息，并综合该至少2个初始差异信息确定差异信息。

如前所述，每个训练样本可以对应多个样本图像。可以理解，在一些情况下，单次迭代训练中的不同训练样本可能对应相同的样本图像。例如，样本图像可以包括前景图像和背景图像。每个训练样本可以是由选择的前景图像和背景图像合成的。则在单次迭代训练中的多个训练样本可以对应同一个前景图像和/或同一个背景图像。例如,在某一单次迭代训练中的训练样本1是由前景图像a₁和背景图像b₁合成的，训练样本2是由该前景图像a₁和背景图像b₂，因此训练样本1和训练样本2对应同一个前景图像a₁。在该迭代训练中，检测模型对训练样本1和训练样本2的预测结果可以是不同的。在这种情况下，则可以先根据检测模型对于每个训练样本的预测结果，确定前景图像a₁对应的2个初始差异信息，然后再综合这两个初始差异信息，确定该前景图像a₁对应的差异信息。例如，可以计算检测模型对训练样本1的预测概率值和真实标签值的差值以及对训练样本2的预测概率值和真实标签值的差值，然后可以综合这两个差值，确定该前景图像a₁对应的差异信息。示例性而非限制性地，可以将该两个差值的均值作为该前景图像a₁对应的差异信息，并可以基于该差异信息，更新该前景图像a₁在下一轮迭代训练中被选择的概率。

根据上述方案，在检测模型的单次迭代训练中的多个训练样本对应同一个样本图像的情况下，可以综合检测模型对相应的多个训练样本的预测结果，准确更新下一轮迭代训练中该样本图像被选择的概率。该方案逻辑更合理，有利于快速训练出检测精度更高的检测模型。

图2示出根据本申请另一个实施例的检测模型的训练方法的示意性流程图。图2可以视作对检测裂纹缺陷的检测模型的训练方法的流程图。该检测模型的训练过程可以包括多轮迭代训练，每次迭代训练中的训练样本数量可以是1个，也可以是多个(图中仅示出其中一个训练样本)。如图2所示，在每次迭代训练中，可以首先采用概率加权采样的方法从裂纹缺陷的前景图像库中选择一个前景图像，并从多个背景图像库中选择一个背景图像。然后，可以利用选择出的前景图像和背景图像合成为一个训练样本。可以理解，对于每次迭代训练中的训练样本为多个的情况，可以采用同样的方法选择并合成多个训练样本。可以将合成的训练样本送入检测模型中，进行单次迭代训练。例如，可以利用训练样本执行模型推理，获取模型推理的结果。并可以在单次迭代训练完成后，根据预设的训练次数等条件判断当前是否满足训练结束条件。若不满足训练结束条件，则可以进一步判断是否完成当前一轮的迭代训练。若否，则可以继续执行概率加权采样，以选择并合成下一次迭代训练的训练样本，并完成下一次迭代训练。若是，则可以根据当前一轮的迭代训练的训练结果，更新每个前景图像被选择的概率以及每个背景图像被选择的概率。可以将更新后的概率作为下一轮迭代训练中每个前景图像和每个背景图像各自被选择的概率，再次选择前景图像和背景图像，并合成用于下一轮迭代训练时的单次迭代训练的训练样本，以进行该单次迭代训练……可以按照此方法重复执行迭代训练。直至满足训练结束条件，则可以结束训练。上述示例中的检测模型的训练方法创造性地将训练样本的合成过程嵌入到模型训练过程中并引入主动学习策略。在例如上述裂纹缺陷图像的合成过程中，充分考虑检测模型对某一类背景图像或者缺陷前景图像的不确定性，基于每轮迭代训练的训练结果，针对性地提升训练难度较大的训练样本出现的概率，更主动高效地合成相应的训练样本，大大提升了模型训练效率和精度。

根据本申请的第二方面，还提供一种检测模型的训练系统。图3示出了根据本申请实施例的检测模型的训练系统300的示意性框图。如图所示，该系统300包括训练模块310和概率调整模块320。

训练模块310，用于基于每个样本图像被选择的概率确定出训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练。

概率调整模块320，用于基于一轮迭代训练的训练结果，更新每个样本图像被选择的概率。

根据本申请的第三方面，还提供一种电子设备。图4示出了根据本申请实施例的电子设备400的示意性框图。如图所示，该电子设备400包括处理器410和存储器420，其中，存储器420中存储有计算机程序指令，计算机程序指令被处理器410运行时用于执行上述检测模型的训练方法1000。

根据本申请的第四方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述检测模型的训练方法1000。存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

本领域普通技术人员通过阅读上述有关检测模型的训练方法的相关描述，可以理解上述检测模型的训练系统、电子设备和存储介质的具体实现方案，为了简洁，在此不再赘述。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的检测模型的训练系统中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种检测模型的训练方法，其特征在于，包括：

训练步骤：基于每个样本图像被选择的概率确定出训练样本，并利用所述训练样本对所述检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；

概率调整步骤：基于一轮迭代训练的训练结果，更新每个样本图像被选择的概率，并转至所述训练步骤，直至满足预设的训练结束条件。

2.如权利要求1所述的检测模型的训练方法，其特征在于，所述样本图像包括前景图像和/或背景图像，

所述基于每个样本图像被选择的概率确定出训练样本,包括：

基于每个前景图像和/或每个背景图像被选择的概率，选择前景图像和/或背景图像；以及

基于被选择的前景图像和/或背景图像生成所述训练样本；

所述更新每个样本图像被选择的概率，包括：

更新每个前景图像和/或每个背景图像被选择的概率。

3.如权利要求1或2所述的检测模型的训练方法，其特征在于，所述概率调整步骤，包括：

差异确定子步骤，对于每个训练样本，根据所述检测模型对该训练样本的预测结果和预设标准结果，确定该训练样本的样本图像对应的差异信息；

概率计算子步骤，根据每个样本图像对应的差异信息以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率；

更新子步骤，根据计算的下一轮迭代训练时该样本图像被选择的概率，更新每个样本图像被选择的概率，并转至所述训练步骤。

4.如权利要求3所述的检测模型的训练方法，其特征在于，所述预设次数为至少一次；

所述差异确定子步骤，包括：

若至少两次迭代训练采用具有相同的样本图像的训练样本，则基于最新一次迭代训练中所述检测模型对该训练样本的预测结果和预设标准结果，确定该相同的样本图像对应的差异信息。

5.如权利要求3所述的检测模型的训练方法，其特征在于，所述差异确定子步骤，包括：

若单次迭代训练采用具有相同的样本图像的至少2个所述训练样本，则根据所述检测模型对该至少2个训练样本各自的预测结果和预设标准结果，分别计算该相同的样本图像对应的多个初始差异信息，并综合所述多个初始差异信息确定该相同的样本图像对应的差异信息。

6.如权利要求3所述的检测模型的训练方法，其特征在于，每个所述样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时该样本图像被选择的概率为正相关关系。

7.如权利要求6所述的检测模型的训练方法，其特征在于，所述正相关关系利用如下公式表达：

其中，w_t,i表示第i个所述样本图像在第t轮迭代训练被选择的概率；

w_t+1,i表示所述第i所述样本图像在第t+1轮迭代训练被选择的概率；

err_t,i表示所述差异大小，且初始值为0；

n表示可供选择的样本图像的数量。

8.如权利要求2所述的检测模型的训练方法，其特征在于，对于第一轮迭代训练，可供选择的所有前景图像被选择的概率的初始值相同；和/或，可供选择的所有背景图像被选择的概率的初始值相同。

9.如权利要求2所述的检测模型的训练方法，其特征在于，所述样本图像包括前景图像和背景图像，所述基于被选择的前景图像和/或背景图像生成所述训练样本，包括：

确定所述被选择的前景图像中的每个像素的第一权重，其中，距离所述被选择的前景图像中的前景区域越近的像素的第一权重的权重值越大；

基于所述第一权重，确定所述被选择的背景图像中的对应像素的第二权重，其中，所述第二权重与所述第一权重负相关；以及

利用所述第一权重和所述第二权重，加权融合所述被选择的前景图像和所述被选择的背景图像，以得到所述训练样本。

10.一种检测模型的训练系统，其特征在于，包括：

训练模块，用于基于每个样本图像被选择的概率确定出训练样本，并利用所述训练样本对所述检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；以及

概率调整模块，用于基于一轮迭代训练的训练结果，更新每个样本图像被选择的概率。

11.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至9任一项所述的检测模型的训练方法。

12.一种存储介质，在所述存储介质上存储了程序指令，其特征在于，所述程序指令在运行时用于执行如权利要求1至9任一项所述的检测模型的训练方法。

Images