CN115797742A - 图像融合方法和检测模型的训练方法及系统 - Google Patents

Abstract

本申请的实施例提供了一种图像融合方法和模型训练方法及系统。该图像融合方法包括：分别获取待融合的前景图像和背景图像，其中前景图像中包括前景所在的前景区域；确定前景图像中的每个像素的第一权重，其中，距离前景区域越近的像素的第一权重的权重值越大；基于第一权重，确定背景图像中的对应像素的第二权重，其中，第二权重与第一权重负相关；以及利用第一权重和第二权重，加权融合前景图像和背景图像，以得到融合图像。最终可以得到较逼真、视觉效果较好的融合图像。并且该方案计算量低，融合效率高，实时性好。因此，该方案能够适用于模型在线训练方法。

Description

图像融合方法和检测模型的训练方法及系统

技术领域

本申请涉及图像处理技术领域，更具体地涉及一种图像融合方法、一种检测模型的训练方法、一种图像融合系统、一种检测模型的训练系统、一种电子设备及一种存储介质。

背景技术

随着计算机处理能力的提高，计算机视觉技术越来越多地应用到各个场景中。图像融合是计算机视觉技术的一个重要分支。例如，在机器学习领域，为使训练好的模型具有较好的计算精度，通常需要通过大量的样本图像来训练该模型。而在实际的工业场景中，某些特定的样本图像难以收集到。例如对于用于实现裂纹缺陷检测的模型来说，难以收集到大量的裂纹缺陷图像来训练该模型。因此，可以首先利用图像融合技术来融合前景图像和背景图像，以获得融合图像，然后再利用融合图像来训练模型。

现有技术中，多将真实的前景图像的前景区域和正常图像的背景区域直接生硬地叠加在一起。这导致合成后的融合图像不够逼真，视觉效果较差。并且，该合成方法得到的训练样本对模型的训练效果也较差。

发明内容

考虑到上述问题而提出了本申请。根据本申请的一个方面，提供了一种图像融合方法，该方法包括：

分别获取待融合的前景图像和背景图像，其中前景图像中包括前景所在的前景区域；

确定前景图像中的每个像素的第一权重，其中，距离前景区域越近的像素的第一权重的权重值越大；

基于第一权重，确定背景图像中的对应像素的第二权重，其中，第二权重与第一权重负相关；以及

利用第一权重和第二权重，加权融合前景图像和背景图像，以得到融合图像。

示例性地，确定前景图像中的每个像素的第一权重，包括：

获取前景图像的掩膜图；

确定掩膜图中的前景对应区附近的边缘区域；

根据边缘区域中的每个边缘像素与前景对应区的距离，确定前景图像中与该边缘像素对应的像素的第一权重，其中，距离越大，第一权重越小。

示例性地，确定前景图像中与该边缘像素对应的像素的第一权重，包括：

计算每个边缘像素与距离其最近的前景像素之间的距离，其中，前景像素为前景对应区中的像素；以及

根据距离，确定边缘像素的第一权重。

示例性地，第一权重和第二权重的取值范围为[0，1]，

确定前景图像中的每个像素的第一权重，包括：

确定前景区域中的每个像素的第一权重为1，并确定前景图像的背景区域中部分像素的第一权重为0，其中，部分像素为背景区域中排除掉边缘像素对应的像素之外的其他像素；

确定背景图像中的对应像素的第二权重，包括：

背景图像中每个像素的第二权重＝1-前景图像中对应位置的像素的第一权重。

示例性地，确定掩膜图中的前景对应区附近的边缘区域，包括：

采用膨胀处理的方式确定前景对应区附近的边缘区域。

根据本申请的第二方面，提供了一种检测模型的训练方法，该方法包括：

训练步骤：基于每个前景图像和每个背景图像各自被选择的概率，选择前景图像和背景图像，利用上述图像融合方法融合被选择的前景图像和背景图像，以生成训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；以及

概率调整步骤：基于一轮迭代训练时的训练结果，更新每个样本图像被选择的概率，并转至训练步骤，直至满足预设的训练结束条件，其中，样本图像包括前景图像和/或背景图像。

示例性地，概率调整步骤，包括：

差异确定子步骤，对于每个训练样本，根据检测模型对该训练样本的预测结果和预设标准结果，确定该训练样本的样本图像对应的差异信息；

概率计算子步骤，根据每个样本图像对应的差异信息以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率；以及

更新子步骤，根据计算的下一轮迭代训练时该样本图像被选择的概率，更新每个样本图像被选择的概率，并转至所述训练步骤。

示例性地，预设次数为至少一次；

差异确定子步骤，包括：

若至少两次迭代训练采用具有相同的样本图像的训练样本，则基于最新一次迭代训练中检测模型对该训练样本的预测结果和预设标准结果，确定该相同的样本图像对应的差异信息。

示例性地，差异确定子步骤，包括：

若单次迭代训练采用具有相同的样本图像的至少2个训练样本，则根据检测模型对该至少2个训练样本各自的预测结果和预设标准结果，分别计算该相同的样本图像对应的多个初始差异信息，并综合多个初始差异信息确定该相同的样本图像对应的差异信息。

示例性地，每个样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时该样本图像被选择的概率为正相关关系。

示例性地，正相关关系利用如下公式表达：

其中，w_t,i表示第i个样本图像在第t次轮迭代训练被选择的概率；

w_t+1,i表示第i个样本图像在第t+1轮迭代训练被选择的概率；

err_t,i表示差异大小，且初始值为0；

n表示可供选择的样本图像的总数量。

根据本申请的第三方面，还提供一种图像融合系统，包括：

获取模块，用于分别获取待融合的前景图像和背景图像，其中前景图像中包括前景所在的前景区域；

第一确定模块，用于确定前景图像中的每个像素的第一权重，其中，距离前景区域越近的像素的第一权重的权重值越大；

第二确定模块，用于基于第一权重，确定背景图像中的对应像素的第二权重，其中，第二权重与第一权重负相关；以及

融合模块，用于利用第一权重和第二权重，加权融合前景图像和背景图像，以得到融合图像。

根据本申请的第四方面，还提供一种检测模型的训练系统，包括：

训练模块，用于基于每个前景图像和每个背景图像各自被选择的概率，选择前景图像和背景图像，利用上述图像融合方法融合被选择的前景图像和背景图像，以生成训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；以及

概率调整模块，用于基于一轮迭代训练时的训练结果，更新每个样本图像被选择的概率，其中，样本图像包括前景图像和/或背景图像。

根据本申请的第五方面，还提供一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述图像融合方法和/或上述检测模型的训练方法。

根据本申请的第六方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述图像融合方法和/或上述检测模型的训练方法。

根据上述方案，通过确定待融合的前景图像中每个像素的第一权重，其中，距离前景图像中的前景越近的像素的权重值越大，并根据第一权重确定待融合的背景图像的第二权重，最终基于第一权重和第二权重融合该两个图像，最终可以得到较逼真、视觉效果较好的融合图像。并且该方案计算量低，融合效率高，实时性好。因此，该方案能够适用于模型在线训练方法，这相对现有的离线训练方法，不仅能够合成大量丰富的训练样本，有利于提高模型训练效果，而且对硬件要求较低，不需要占用存储空间离线存储合成的训练样本，更不需要在内存中读取训练样本，因此训练速度快。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本申请一个实施例的图像融合方法的示意性流程图；

图2示出了根据本申请一个实施例的检测模型的训练方法的示意性流程图；

图3示出了根据本申请另一个实施例的检测模型的训练方法的示意性流程图；

图4示出了根据本申请一个实施例的图像融合系统的示意性框图；

图5示出了根据本申请一个实施例的检测模型的训练系统的示意性框图；以及

图6示出了根据本申请一个实施例的电子设备的示意性框图。

具体实施方式

为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。

为了至少部分地解决上述问题，根本申请的第一方面，提供一种图像融合方法。图1示出了根据本申请一个实施例的图像融合方法100的示意性流程图。如图1所示，图像融合方法100可以包括以下步骤S110、步骤S130、步骤S150和步骤S170。

步骤S110，分别获取待融合的前景图像和背景图像。其中，前景图像中包括前景所在的前景区域。

根据本申请实施例，待融合的前景图像和背景图像均可以是有关目标对象的图像。目标对象可以是任何合适的目标对象。前景图像可以是包括目标对象所在的主要区域的图像。目标对象所在的主要区域可以是前景所在的前景区域。背景图像可以是相对前景图像而言的。背景图像中可以不包括目标对象所在的主要区域，而可以包括例如目标对象的周边环境区域。又或者，背景图像中也可以包括目标对象所在的区域，但更关注目标对象的周边环境区域。在一个示例中，目标对象或者前景可以是目标人脸。前景图像可以是包括目标人脸区域的图像。背景图像可以是包括目标人脸周围的环境区域的图像。在另一示例中，目标对象例如是电子器件中的某一类型缺陷。前景图像可以是包括该缺陷区域的电子器件图像，例如可以是具有裂纹缺陷的电子器件图像。背景图像则可以是不包括该缺陷区域的电子器件图像，例如背景图像可以是不存在该类型缺陷的正常的电子器件图像。当然，在其他的示例中，前景图像和背景图像也可以包括其他图像信息，只要前景图像和背景图像两者各自有重点关注的区域，且期望将两者中的重要区域进行融合即可，本申请不对其进行限制。但为了简便，后文仅以前景图像为包括目标缺陷的电子器件图像、背景图像为正常的、不存在目标缺陷的电子器件图像为例进行展开阐释。可以理解，在该示例中，前景所在的前景区域可以是目标缺陷所在的缺陷区域。

根据本申请实施例，可以采用任何现有的或未来研发的图像采集方式获取待融合的前景图像和待融合的背景图像。例如，可以采用诸如相机的图像采集装置拍摄目标对象和目标对象周边的环境，以实时获取待融合的前景图像和待融合的背景图像。待融合的前景图像和待融合的背景图像可以是任何合适的图像。示例性地，待融合的前景图像和待融合的背景图像可以是RGB图像或灰度图像。待融合的前景图像和待融合的背景图像可以是静态图像，也可以是动态视频中的任一视频帧。待融合的前景图像和待融合的背景图像可以是任意合适尺寸、合适分辨率的图像。待融合的前景图像和待融合的背景图像两者的尺寸和分辨率可以一致，也可以不一致。优选地，待融合的前景图像和待融合的背景图像可以是尺寸相同、分辨率也相同的图像。此外，待融合的前景图像和待融合的背景图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善待融合的前景图像和待融合的背景图像的视觉效果，提高待融合的前景图像和待融合的背景图像的清晰度，或是突出图像中的某些特征以便于图像融合的所有操作。示例性而非限制性地，预处理操作可以包括对原始图像的数字化、几何变换、归一化、滤波等操作。

步骤S130，确定前景图像中的每个像素的第一权重。其中，距离前景区域越近的像素的第一权重的权重值越大。

在获取了待融合的前景图像之后，可以基于距离前景区域越近的像素的第一权重的权重值越大的原则，确定被选择的前景图像中的每个像素的第一权重。基于该原则，可以进一步采用任何合适的权重设置方法，确定前景图像中的每个像素的第一权重。

在一个示例中，可以采用任何合适的方法确定前景图像的掩膜图，并可以基于前景图像的掩膜图中每个像素的像素值，确定前景图像中对应像素的第一权重。具体地，该掩膜图中的每个像素的像素值可以与前景图像中对应像素的第一权重存在对应关系。例如，该掩膜图中每个像素的像素值可以与前景图像中对应像素的第一权重存在预设的函数关系。可以基于掩膜图中每个像素的像素值和该预设的函数关系，计算得到前景图像中每个像素的第一权重。优选地，掩膜图中的每个像素的像素值可以等于前景图像中对应像素的第一权重。

在另一示例中，还可以采用任何合适的方法将前景图像进行多区域的区域分割，并对分割到的不同区域设置不同的权重设置逻辑。

示例性而非限制性地，可以将前景图像区域分割为前景区域和第一背景区域。例如，可以直接设置前景区域中每个像素的第一权重为一固定值。该固定值可以是前景图像中所有像素的第一权重的最大值，例如为1。对于第一背景区域，则可以基于距离前景区域越近的像素的第一权重的权重值越大的原则，预先设置合适的、第一权重与距离之间的第一函数关系。该第一函数关系可以是线性函数关系，也可以是非线性函数关系。可选的，预设的第一函数关系可以是线性函数关系。例如，位于第一背景区域的每个像素的第一权重p_i与该像素与前景区域的距离d_i呈以下线性函数关系：

p_i＝k*d_i+c

其中，k大于0，c为常数。按照上述预设的线性函数关系，即可确定第一背景区域中每个像素的第一权重，该区域中的每个像素的第一权重可以小于前景区域中每个像素的第一权重。例如，可以确定具有裂纹缺陷的电子器件图像中的裂纹缺陷所在区域的每个像素的第一权重为1。而可以根据诸如上述预设的线性函数关系计算该区域之外的每个像素的第一权重，该区域中每个像素的第一权重可以落在[0，1)区间内。

当然，在其他的示例中，还可以将前景图像区域分割为2个以上的区域。例如，可以将前景图像区域分割为前景区域、位于前景区域边缘的边缘区域以及距离前景区域较远的第二背景区域。然后，对于该三个区域可以采用不同的权重设置逻辑确定每个区域内的每个像素的第一权重。示例性而非限制性地，可以将前景区域中的每个像素的第一权重设置为第一固定值。可以将第二背景区域中的每个像素的第一权重设置为第二固定值。并且，第一固定值大于第二固定值。对于位于前景区域边缘的边缘区域中的每个像素的第一权重，则可以根据预设的该像素与前景区域的距离和该像素的第一权重之间的函数关系，计算该像素的第一权重。

当然，该步骤还可以通过上述示例之外的其他实现方式实现，只要满足距离前景区域越近的像素的第一权重的权重值越大即可，本申请不对其进行限制。

步骤S150，基于第一权重，确定背景图像中的对应像素的第二权重，其中，第二权重与第一权重负相关。

根据本申请实施例，背景图像中每个像素的第二权重与前景图像中对应性像素的第一权重可以呈任何合适的负相关关系。

示例性而非限制性地，可以利用如下公式计算第二权重：

q_i＝1-p_i

其中，p_i表示前景图像中每个像素的第一权重，q_i表示背景图像中对应像素的第二权重。可以在确定前景图像中的每个像素的第一权重之后，基于上述公式相应确定背景图像中对应像素的第二权重。如前所述，对于待融合的前景图像，其前景区域的每个像素的第一权重可以是1，第一背景区域中的边缘区域的每个像素的第一权重可以落在区间[0，1)。则基于上述公式，可以确定待融合的背景图像中每个像素的第二权重。其中，在待融合的背景图像中，与前景区域对应区域的每个像素的第二权重可以是0，与第一背景区域对应的区域中的每个像素的第二权重可以落在区间(0，1]。

步骤S170，利用第一权重和第二权重，加权融合前景图像和背景图像，以得到融合图像。

根据本申请实施例，在确定了前景图像和背景图像中的每个像素的权重之后，可以基于所确定的权重，对该两个图像进行加权融合。待融合的前景图像中每个像素的融合权重可以是第一权重，待融合的背景图像中每个像素的融合权重可以是第二权重。由于对于前景图像，距离前景图像中的前景区域越近的像素的第一权重的权重值越大。因此，距离前景图像中的前景区域越近的像素的融合权重也较大。从而，在得到的融合图像中，与前景区域对应的区域中的每个像素的像素值与前景区域中的对应像素的像素值更接近。例如，融合图像中与前景区域对应的区域中的每个像素的像素值可以等于前景区域中对应像素的像素值。而在其他区域中，随着每个像素逐渐远离前景区域，前景图像中的对应像素的像素值的融合权重逐渐降低，而背景图像中的对应像素的融合权重逐渐增加。例如，融合图像中对应前述示例的前景图像的边缘区域中的每个像素的像素值可以等于前景图像和背景图像中的对应像素的融合像素。融合图像中，对应背景区域中的边缘区域之外的其他区域的每个像素的像素值可以等于背景图像中的相应像素的像素值。前景图像中的前景区域例如是裂纹缺陷区域，按照这种方案融合成的融合图像中既包括选择的前景图像中的真实的裂纹缺陷区域，又包括背景图像中真实的背景区域。并且，在融合成的融合图像中还包括位于对应位于两者之间的边缘区域的区域，该区域的像素为前景图像和背景图像中的对应像素的融合像素，可以实现两个差别较大的区域之间的自然过渡。得到的融合图像的视觉效果更佳。

如前所述，在实际的工业场景中，某些特定的样本图像难以收集到。例如对于用于实现裂纹缺陷检测的模型来说，难以收集到大量的裂纹缺陷图像来训练该模型。根据本申请实施例，还可以以多种场景下的不存在裂纹缺陷的电子器件图像作为背景图像，将收集到的具有裂纹缺陷的电子器件图像作为前景图像，利用上述图像融合方法将不同的前景图像与不同的背景图像进行融合，可以扩展得到较大量的、接近真实样本的训练样本。利用这些训练样本，可以对用于实现裂纹缺陷检测的模型进行训练，并可以得到较好的训练效果。

根据上述方案，通过确定待融合的前景图像中每个像素的第一权重，其中，距离前景图像中的前景越近的像素的权重值越大，并根据第一权重确定待融合的背景图像的第二权重，最终基于第一权重和第二权重融合该两个图像，最终可以得到较逼真、视觉效果较好的融合图像。并且该方案计算量低，融合效率高，实时性好。因此，该方案能够适用于模型在线训练方法，这相对现有的离线训练方法，不仅能够合成大量丰富的训练样本，有利于提高模型训练效果，而且对硬件要求较低，不需要占用存储空间离线存储合成的训练样本，更不需要在内存中读取训练样本，因此训练速度快。

示例性地，步骤S130确定前景图像中的每个像素的第一权重，包括步骤S131、步骤S132和步骤S133。

在步骤S131，获取前景图像的掩膜图。可以采用任何合适的方法获取前景图像的掩膜图。示例性而非限制性地，可以采用任何合适的图像分割方法将前景图像区域分割，得到包括前景对应区和前景对应区之外的第一背景区域的区域分割图像。根据本申请实施例，前景对应区域可以是与前景区域对应的区域。然后，可以将区域分割图像进行二值化处理，可以得到前景图像的掩膜图。例如，在该掩膜图中，前景对应区的像素的像素值可以是1，第一背景区域的像素的像素值可以是0。

在步骤S132，确定掩膜图中的前景对应区附近的边缘区域。可以采用任何合适的方法确定边缘区域。在一个示例中，可以采用膨胀处理的方式确定前景对应区附近的边缘区域。例如，可以对掩膜图中的前景对应区进行膨胀处理，得到膨胀后的掩膜图。在该膨胀处理中，膨胀的参数可以任意设置。例如，可以基于预设尺寸的卷积核对前景对应区进行膨胀处理。预设尺寸例如10px等任何合适的尺寸。可以理解，膨胀后的掩膜图中可以包括前景对应区在内的第一区域，以及包括部分第一背景区域在内的第二背景区域。根据本申请实施例，可以将膨胀后的第一区域中的前景对应区之外的区域确定为边缘区域。在另一示例中，也可以基于预设的羽化参数，对掩膜图中的前景对应区的区域边缘进行羽化处理，得到羽化后的掩膜图。该预设的羽化参数例如羽化半径为10px，以及羽化方向为朝向区域外侧的方向。示例性而非限制性地，羽化后的掩膜图像中可以包括三个不同的区域，分别为未被羽化的前景对应区、被羽化的部分第一背景区域以及未被羽化的其他第一背景区域。可以理解，在该示例中，被羽化的部分第一背景区域即为位于前景对应区附近的边缘区域。当然，也可以采用其他合适的方法确定边缘区域。例如也可以通过对第一背景区域进行腐蚀处理的方法确定边缘区域等。

在步骤S133，根据边缘区域中的每个边缘像素与前景对应区的距离，确定前景图像中与该边缘像素对应的像素的第一权重。其中，距离越大，第一权重越小。在确定掩膜图中的边缘区域之后，可以进一步确定前景图像中、与边缘区域对应的区域中的每个像素的第一权重。可以采用任何合适的方法确定边缘区域中的每个边缘像素与前景对应区的距离。例如，可以通过确定每个边缘像素与前景对应区的特定像素的距离的方法，确定边缘区域中的每个边缘像素与前景对应区的距离。该特定像素可以任意设置。可选地，其可以是一个固定位置的像素，例如，位于前景对应区的中心位置的像素。替代地，该特定像素也可以是不固定的像素，例如对于不同位置的边缘像素，其对应的特定像素可以不同。在确定边缘区域中的每个边缘像素与前景对应区的距离之后，可以采用任何合适的方法，基于该距离确定前景图像中与该边缘像素对应的像素的第一权重。在一个示例中，可以采用任何现有的或未来研发的距离变换的方法，确定前景图像中与每个边缘像素对应的像素的第一权重。例如，可以采用欧式距离变换的方法确定前景图像中与每个边缘像素对应的像素的第一权重。或者，也可以采用诸如棋盘距离变换、城市街区距离变换、倒角距离变换等非欧式距离变换的方法确定前景图像中与每个边缘像素对应的像素的第一权重。在另一示例中，可以预先设置关于边缘区域中的每个边缘像素与前景对应区的距离和前景图像中与该边缘像素对应的像素的第一权重的线性函数关系。并在确定距离之后，基于预设的线性函数关系，计算相应像素的第一权重。本领域普通技术人员可以理解该方案的多种实现方式，在此不再赘述。

上述方案中通过确定前景图像的掩膜图的边缘区域，并根据每个边缘像素与前景对应区的距离，确定前景图像中与每个边缘像素对应的像素的第一权重。这种方案便于实施，计算量也较低，计算准确率也较高。

示例性地，步骤S133确定前景图像中与该边缘像素对应的像素的第一权重，包括步骤S133.1和步骤S133.2。在步骤S133.1，计算每个边缘像素与距离其最近的前景像素之间的距离，其中，前景像素为前景对应区中的像素。在步骤S133.2，根据距离，确定边缘像素的第一权重。

如前所述，可以通过确定每个边缘像素与前景对应区的特定像素的距离的方法，确定边缘区域中的每个边缘像素与前景对应区的距离。根据本申请实施例，该特定像素可以是距离每个边缘像素最近的前景对应区内的前景像素。可以遍历前景对应区中的每个像素确定与每个边缘像素距离最近的前景像素。优选地，该前景像素可以是位于前景对应区域的区域边缘上的像素。可以首先确定位于前景对应区域的区域边缘的前景像素。然后，可以遍历这些前景像素，确定其中与每个边缘像素距离最近的前景像素，称作特定前景像素。然后，可以计算每个边缘像素与相应的特定前景像素的距离。

在确定与每个边缘像素最近的前景像素之后，进一步根据该距离，计算前景图像中与该边缘像素对应的像素的第一权重。如前所述，可以采用任何合适的权重设置逻辑，确定相应像素的第一权重。例如，可以基于各种距离变换方法或者基于预设的距离与第一权重之间的函数关系等方法，确定相应像素的第一权重。

根据上述方案，可以基于每个边缘像素与距离该像素最近的前景对应区内的前景像素之间的距离，确定该边缘像素的第一权重。该方案计算量小，计算准确率也较高。

示例性地，第一权重和第二权重的取值范围为[0，1]。

步骤S130确定前景图像中的每个像素的第一权重，包括：确定前景区域中的每个像素的第一权重为1，并确定前景图像的背景区域中部分像素的第一权重为0。其中，部分像素为背景区域中排除掉边缘像素对应的像素之外的其他像素。

前景图像中的背景区域可以是除前景区域之外的区域。以前景图像为包括裂纹缺陷的电子器件的图像为例。可以将前景图像中的裂纹缺陷所在的区域的每个像素的第一权重设置为0。而可以将背景区域中的其他区域的像素的像素值确定为0。该其他区域可以是背景区域中的边缘对应区之外的区域。该边缘对应区可以是与利用上述步骤S132的方法确定的边缘区域对应的区域。可以理解，背景区域中的其他区域可以是距离前景区域较远的背景区域。对于边缘对应区的每个像素的第一权重可以落在(0，1)之间。并且距离前景区域越近的边缘像素的第一权重可以越接近1，距离前景区域越远的边缘像素的第一权重可以越接近0。可以采用步骤S133.1和步骤S133.2的方法确定该距离，并确定相应的第一权重。

步骤S150确定背景图像中的对应像素的第二权重，包括：背景图像中每个像素的第二权重＝1-前景图像中对应位置的像素的第一权重。在确定前景图像中的每个像素的第一权重之后，即可采用该公式中的方法计算得到背景图像中的对应像素的第二权重。并可以基于确定的第一权重和第二权重，加权融合前景图像和背景图像。可以理解，在最终得到的融合图像中，与前景区域对应的区域的每个像素的像素值等于前景图像中的对应像素的像素值，与背景区域中的其他区域对应的区域的像素的像素值等于背景图像中的对应像素的像素值，而与边缘区域对应的区域中的每个像素则可以是融合了前景图像和背景图像中的对应像素的融合像素。融合图像既保留了真实的前景例如裂纹缺陷、真实的背景、又实现了前景与背景之间的自然融合。

该方案的融合效果更逼真自然。并且，计算量也较小，融合效率也更高。

根据本申请的第二方面，还提供一种检测模型的训练方法。该方法可以用于训练各种类型的检测模型，包括但不限于各种目标检测模型以及各种分割模型等。图2示出了根据本申请一个实施例的检测模型的训练方法2000的示意性流程图。如图1所示，检测模型的训练方法2000可以包括以下训练步骤S2200和概率调整步骤S2400。

训练步骤S2200，基于每个前景图像和每个背景图像各自被选择的概率，选择前景图像和背景图像，利用上述图像融合方法100融合被选择的前景图像和背景图像，以生成训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练。

根据本申请实施例，前景图像和背景图像中的至少一者可以是用来训练检测模型的样本图像。在检测模型的每次迭代训练过程中，可以从样本图像库中选择合适的样本图像合成训练样本。可以理解，该样本图像库可以包括前景图像库和背景图像库中的至少一者。前景图像库中可以包括例如预先收集的多个前景图像。背景图像库中可以包括多个预先收集的多个背景图像。可以理解，对于样本图像包括前景图像和背景图像的情况，每个前景图像和每个背景图像被选择的概率可以均小于1。可以从前景图像库中选择一个前景图像，并从背景图像库中选择一个背景图像。然后，可以融合选择出的前景图像和背景图像，得到一个训练样本。对于样本图像仅包括前景图像的情况，可以从前景图像库中选择一个前景图像，每个前景图像被选择的概率可以小于1。然后，可以融合被选择的前景图像和预设的背景图像，得到每个训练样本。对于这种示例，预设的背景图像被选选择的概率可以视作1。对于样本图像仅包括背景图像的情况，可以从背景图像库中选择一个背景图像，并将被选择的背景图像和预设的前景图像进行融合，得到每个训练样本。

前景图像库中的前景图像的数量和背景图形库中的背景图像的数量均可以是任何大于1的数量。优选地，前景图像库中的前景图像的数量和背景图形库中的背景图像的数量可以均为大于100的数量。此外，对于样本图像包括前景图像和背景图像的情况，前景图像库中的前景图像和背景图像库中的背景图像的数量可以相同，也可以不同。

根据本申请实施例，可以采用任何合适的采样方式选择样本图像。优选地，可以采用概率加权采样的方式选择样本图像。每个样本图像可以被预先赋予一定的权重，该权重越大，其被选择的概率越大。所有样本图像各自被选择的概率之和可以等于1。换言之，所有前景图像被选择的概率之和可以是1，所有背景图像被选择的概率之和也可以是1。对于每轮迭代训练，每个样本图像被选择的概率可以相同，也可以不同。例如，在第一轮迭代训练中，每个样本图像被选择的初始概率可以相同。如前景图像库中包括1000个前景图像，则在第一轮迭代训练中每个前景图像被选择的初始概率可以均为1/1000。

如前所述，每个训练样本可以是由前景图像库中的一个前景图像和背景图像库中的一个背景图像融合而成的合成图像，也可以是由前景图像库中的一个前景图像和预设的背景图像合成的，还可以是由背景图像库中的一个背景图像和预设的前景图像合成的。可以每次迭代训练中加载上述诸如概率加权采样的方法选择前景图像和背景图像。对于前景图像为预设的前景图像或背景图像为预设的背景图像的情况，该预设的前景图像/预设的背景图像的权重可以是1。并可以采用上述图像融合方法将选择出的每个前景图像和每个背景图像实时合成为每个用于每次迭代训练的训练样本，然后利用一个或多个合成的训练样本进行单次迭代训练。

在确定出用于每次迭代训练的训练样本之后，还可以对训练样本进行标注。例如，每个训练样本可以是合成好的裂纹缺陷图像。可以对裂纹缺陷图像中的裂纹区域的位置进行标注，以得到标注好的训练样本。然后，可以将已标注的训练样本送入待训练的检测模型中进行单次迭代训练。可以采用任何现有的或未来研发的训练方法训练该检测模型。具体地，对于每次迭代训练，可以将训练样本送入检测模型执行前向计算得到预测值。并可以计算预测值与真实值之间的损失函数值。执行梯度反向传播，并根据预设的优化算法更新检测模型的模型参数。对于每次迭代训练，可以获取当前迭代的训练结果。该训练结果可以包括模型对每个训练样本的预测结果。并可以根据预测结果更新模型参数。

根据本申请实施例，对检测模型的迭代训练可以包括多轮的迭代训练。其中，每轮的迭代训练的次数可以是一次，也可以是多次。预设次数可以是n次，n为大于或等于0的整数。可选地，对于每轮的迭代训练次数为一次的情况，可以在按照上述步骤完成对检测模型的单次迭代训练之后，转至概率调整步骤S2400。替代地，对于每轮的迭代训练次数为多次的情况，例如为n+1次，可以在按照上述步骤完成对检测模型的单次迭代训练之后,继续重复执行上述步骤n次，直至完成一轮迭代训练。在一个具体的示例中，每轮迭代训练的次数例如为10次，每次迭代训练的训练样本例如为10个。该10个训练样本例如是从前景图像库中选择出的10个前景图像分别和从背景图像库中选择出的10个背景图像采用上述图像融合方法合成的。进而，将合成的10个训练样本输入至检测模型中进行模型推理，可以获取第一次迭代训练中检测模型对每个训练样本的第一预测结果。进而可以依据第一预测结果对模型参数进行第一次更新。同样地，对于第二次迭代训练，可以再次基于每个样本图像被选择的概率分别从前景图像库和背景图像库中各选出10个前景图像和10个背景图像，并合成为10个训练样本，作为第二次迭代训练的训练样本。第二次迭代的训练样本与第一次迭代的训练样本可以完全不同，也可以部分相同。同样可以将第二次迭代的10个训练样本输入至检测模型中进行模型推理，获取第二次迭代训练中模型对每个样本图像的第二预测结果，并依据第二预测结果对模型参数进行第二次更新。如此循环，直至完成第10次迭代训练。并可以得到10次迭代训练中模型对每个训练样本的第十预测结果，并可以根据第十预测结果对模型参数进行第十次更新。

概率调整步骤S2400，基于一轮迭代训练时的训练结果，更新每个样本图像和每个背景图像被选择的概率，并转至训练步骤,直至满足预设的训练结束条件。其中，样本图像包括前景图像和/或背景图像。

可以理解，一轮迭代训练的训练结果可以包括该轮迭代训练中所包含的多次迭代训练的训练结果。如前所述，每次迭代训练的训练结果可以包括在该迭代训练中模型对每个训练样本的预测结果。示例性地，可以基于每次迭代训练中，模型对每个训练样本的预测结果，更新每个样本图像被选择的概率，以作为下一轮迭代训练中该样本图像各自被选择的概率。可以理解，在此步骤中的样本图像可以是从样本图像库中所包含的图像。例如，对于训练样本是由前景图像库中的前景图像和预设的背景图像合成的示例，样本图像为前景图像。对于训练样本是由背景图像库中的背景图像和预设的前景图像合成的示例，样本图像为背景图像。对于训练样本是由前景图像库中的前景图像和背景图像库中的背景图像合成的示例，样本图像为前景图像和背景图像。

如前所述，对检测模型的每轮迭代训练过程中的迭代次数可以是1次，也可以是多次。对于每轮迭代次数为1次的情况，可以直接基于单次迭代训练的训练结果，更新每个样本图像被选择的概率。例如，该单次迭代训练中的训练样本的数量为10。可以基于单次迭代训练中模型对该10个训练样本的预测结果，更新每个样本图像被选择的概率。换言之，根据本申请实施例的检测模型的训练方法，可以每次迭代训练完成后即更新一次每个样本图像被选择的概率，更新的频率较快。

对于每轮迭代次数为多次的情况，可以基于多次迭代训练的训练结果，更新每个样本图像被选择的概率。换言之，根据本申请实施例的检测模型的训练方法，还可以在一轮的多次迭代训练完成之后，才更新一次样本图像被选择的概率，更新的频率相对较慢。这种方案相对单次迭代训练就更新一次概率而言，不仅在一定程度上可以减少计算量，并且可以避免因初期迭代训练时模型对训练样本的推理能力较差而造成的对样本图像被选择的概率的过度调整，从而模型训练过程更加稳定以及训练得到的模型效果好。示例性而非限制性地，对于该方案，可以基于每次迭代训练中模型对每个训练样本的预测结果，更新每个样本图像被选择的概率，这样可以充分考虑每次迭代训练的训练结果，更新后的概率也较准确。或者，在另一示例中，还可以仅基于多次迭代训练中模型对特定的训练样本的预测结果，更新每个样本图像被选择的概率。特定的训练样本可以是根据需求设置的，示例性地，可以基于多次迭代训练中最新一次迭代训练的训练样本的预测结果，更新每个样本图像被选择的概率，这样可以一定程度地减少计算量，节省计算空间。

根据本申请实施例，可以采用任何合适的概率更新逻辑更新每个样本图像的概率。可以理解，每个训练样本是由一个前景图像和一个背景图像合成的，因此每个训练样本可以对应一个前景图像和一个背景图像。示例性而非限制性地，可以基于单次迭代训练中模型对每个训练样本的预测结果，更新与该训练样本对应的样本图像被选择的概率，得到更新后的概率。例如，对于每个与训练样本对应的样本图像，其更新后的概率与更新前的概率以及当前迭代训练中模型对该训练样本的预测结果三者之间可以具有预设的函数关系。该预设的函数关系可以根据实际需求进行任意设置。具体例如，预测结果与真实值的差值越大，更新后的概率越大等。相应地，也可以采用任何合适的概率更新逻辑，基于单次迭代训练中模型对每个训练样本的预测结果更新此次迭代训练中未被选择的样本图像的概率。示例性而非限制性地，对于此次迭代训练中未被选择的样本图像被选择的概率可以依据更新后的与训练样本对应的样本图像被选择的概率而变更，确定出未被选择的样本图像所要更新的概率。例如，可以基于预设的所有样本图像各自被选择的概率之和与更新后的与训练样本对应的样本图像被选择的概率，更新未被选择的样本图像的概率。具体为，由于概率之和为固定值，因此，若与训练样本对应的样本图像被选择的概率发生变更，则未被选择的样本图像的概率也被动发生变更。

需要特别说明的是，对于本申请实施例中的每个样本图像，其概率的更新并不意味着概率的改变。对于每个样本图像，其更新后的被选择的概率可以与上一轮迭代训练中被选择的概率相同，也可以与上一轮迭代训练中被选择的概率不同。

根据本申请实施例，预设的训练结束条件可以根据实际需求进行任意设置。示例性而非限制性地，预设的训练结束条件可以是完成预设轮数的迭代训练。预设轮数也可以根据实际需求进行设置，例如100轮。若当前的迭代训练为第100轮迭代训练，则可以结束训练；若当前迭代训练并非最后一轮，则可以转至训练步骤S2200，基于更新后的每个样本图像被选择的概率选择样本图像并合成训练样本进行训练。例如，若在前一轮的迭代训练中模型对某类训练样本的推理结果较差，则可能说明该类训练样本的训练难度较大。根据本申请实施例，可以通过增大与该训练样本对应的样本图像被选择的概率(即，权重)的方法积极干预模型的训练，以使在下一轮的迭代训练中对应的样本图像以更大的概率被选中，从而可以合成更有利于模型训练的训练样本。可以理解，按照这种方案可以提高模型对该类训练样本的预测结果的准确度。由此，经过例如100轮的迭代训练的检测模型，对各类训练样本的检测精度均可以达到较好的效果。预设的训练结束条件也可以是其他合适的条件，例如模型的预测准确度或模型的泛化能力达到预设标准等等。若当前满足预设的训练结束条件，作为可以结束训练；否则，可以转至训练步骤S2200,继续训练并持续根据每轮迭代训练的训练结果，更新每个样本图像被选择的概率，直至满足预设的训练结束条件为止。

根据上述方案，通过将训练样本的合成融入在检测模型的迭代训练过程中，并实时根据上一轮迭代训练的训练结果对下一轮迭代训练中的训练样本的合成进行适度地干预，使得之后的迭代训练所采用的训练样本更有利于模型的训练。这种结合主动学习策略有选择地合成训练样本的方案首先可以更好地解决某些训练样本收集难，标注成本高的问题。同时在图像合成过程中，通过提升模型难以检测的样本图像被选择的概率，从而可以更有效、更有针对性地合成训练样本，进而可以有效缩短模型训练时间，提升模型的训练效率和训练效果。同时该方案还可以有效保证训练好的检测模型对各类样本的检测准确度均较高，大大提高检测模型的检测精度。

示例性地，概率调整步骤S2400，包括差异确定子步骤S2410、概率计算子步骤S2420和更新子步骤S2430。

在差异确定子步骤S2410，对于每个训练样本，根据该训练样本的训练结果和预设标准结果，确定该训练样本的样本图像对应的差异信息。

如前所述，一轮迭代训练的迭代训练次数可以是一次，也可以是多次。一轮迭代训练的训练结果可以包括一次或多次迭代训练的训练结果。每次迭代训练的训练结果可以包括在该迭代训练过程中模型对每个训练样本的预测结果。以检测模型为检测裂纹缺陷的模型为例，模型对每个训练样本的预测结果例如是模型预测该训练样本中包括裂纹缺陷的概率值或置信度等任何合适的预测结果指标值。而预设标准结果例如是该训练样本是否包括裂纹缺陷的真实标签值。可以根据模型对该训练样本的预测结果和预设标准结果之间的差异，确定该训练样本的样本图像对应的差异信息，即可以确定该训练样本的样本图像对应的差异信息。样本图像对应的差异信息，可以是模型对该训练样本的预测结果和预设标准结果的差异相关的信息。例如，其可以是模型对该样本图像对应的训练样本的预测结果偏离真实值的偏离程度信息。可以采用任何合适的方法，确定该差异信息，本申请不对其进行限制。

在概率计算子步骤S2420，根据每个样本图像对应的差异信息以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率。并在更新子步骤S1430，根据计算的下一轮迭代训练时该样本图像被选择的概率，更新每个样本图像被选择的概率，并转至训练步骤。

示例性地，可以根据该轮迭代训练中模型对每个训练样本的预测结果偏离真实值的偏离程度信息，以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率，即计算概率更新值。然后，可以更新每个样本图像被选择的概率为该概率更新值。可以采用任何合适的计算逻辑，计算下一轮迭代训练时每个样本图像被选择的概率。例如，对于每个样本图像，可以预先设置其概率更新值、更新前的概率以及模型对该样本图像对应的训练样本的预测结果偏离真实值的偏离程度信息三者之间的函数关系。进而，可以在此步骤，基于该函数关系计算得到下一轮迭代训练时每个样本图像被选择的概率，并进行相应更新。

根据上述方案，可以基于每轮迭代训练过程中模型对每个训练样本的预测结果和预设标准结果之间的差异，更新该训练样本的样本图像被选择的概率。这种方案可以直接根据已完成的训练结果在线确定更有利于模型训练的训练样本，从而可以保证每轮迭代训练的有效性，进而可以提高模型训练的效率，训练效果也更好。

示例性地，每个样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时该样本图像被选择的概率为正相关关系。

如前所述，每个样本图像对应的差异信息所表示的差异大小可以是该轮迭代训练中模型对该样本图像对应的训练样本的预测结果偏离真实值的偏离程度信息。在一个具体的示例中，模型对每个训练样本的预测结果例如是表示该训练样本中包括裂纹缺陷的概率0.8。预设的金标准结果例如是该训练样本中的真实标签值，该真实标签值例如是1或者0，其中1可以表示该训练样本中包括裂纹缺陷，0可以表示该训练样本中不包括裂纹缺陷。每个样本图像对应的差异信息所表示的差异大小例如是预测结果的概率值与真实标签值之间的差值，例如是1与0.8的差值，即0.2。

每个样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时该样本图像被选择的概率可以呈任何合适的正相关关系。即，对于每个样本图像，若该轮迭代训练中模型对与其对应的训练样本的预测结果与预设的金标准结果的差异越大，则下一轮迭代训练中该样本图像被选择的概率也越大。可以理解,例如对于前景图像a，若在当前迭代训练中，模型对由该前景图像a生成的训练样本b的预测结果偏离真实标签值较大，则表明模型对训练样本b的推理结果较差。这可能是由于该类样本在之前的迭代训练中被选择的概率较低，或者该类样本的训练难度较大。而采用上述方案，可以在下一轮迭代训练中加大样本图像a被选择的概率，可以加大利用这一类训练样本对检测模型进行训练的频次，以逐渐改善检测模型对该类样本的推理结果。依照此方法，可以保证检测模型对每个样本图像的检测结果均较好。

上述方案可以更主动高效地确定出更有效的、用于每次迭代训练的训练样本，可以有效实现对检测模型的训练的正向干预，从而显著地提高模型训练的效率和训练效果。

示例性地，正相关关系利用如下公式表达：

如前所述，每轮迭代训练的训练次数可以是一次，也可以是多次。对于每轮迭代训练的训练次数为一次的情况，则w_t,i表示在第t轮迭代训练(即第t次迭代训练)中第i个样本图像被选择的概率。对于每轮迭代训练的训练次数为多次的情况，则w_t,i表示在第t轮迭代训练中的所有的单次迭代训练中，第i个样本图像被选择的概率。可以理解，每轮迭代训练的不同单次迭代训练中，同一个样本图像被选择的概率相同。w_t+1,i表示第i样本图像在第t+1轮迭代训练被选择的概率。err_t,i表示差异大小，且初始值为0。如前所述，该差异大小例如是在第t轮迭代训练中，模型对该样本图像对应的训练样本的预测结果的概率值与真实标签值之间的差值。err_t,i的初始值可以表示该轮迭代训练中未被选择的样本图像所对应的差异大小，可以是0。n表示可供选择的样本图像的总数量。例如前景图像库中包括1000个前景图像，则计算每个前景图像的被选择的概率时，n即为1000。

在一个具体的示例中，前景图像和背景图像的数目例如均是5，单次迭代训练中选择的训练样本的数目例如是2，每轮迭代训练的训练次数例如是1。在第t轮的迭代训练中，每个前景图像被选择的概率均为0.2，每个背景图像被选择的概率也均为0.2。而在该轮的单次迭代训练中，合成的训练样本1可以是由前景图像1和背景图像1融合成的，而训练样本2可以是由前景图像2和背景图像2融合成的。在该迭代训练中，模型对训练样本1和训练样本2的预测结果例如分别是0.7和0.8。预设的金标准结果例如均为1。而则在第t轮迭代训练完成后，可以利用上述公式分别计算每个前景图像和每个背景图像在第t+1轮迭代训练中各自被选择的概率。对于这种情况，前景图像1和背景图像1可以对应相同的差异信息，前景图像2和背景图像2也对应相同的差异信息。例如，可以将w_t,1＝w_t,2＝w_t,3＝w_t,4＝w_t,5＝0.2、err_t,1＝0.3、err_t,2＝0.2、err_t,3＝err_t,4＝err_t,5＝0代入上述公式中进行计算。可以得到前景图像1和背景图像1在第t+1轮迭代训练中各自被选择的概率均为0.2，同时也可以得到前景图像2和背景图像2在第t+1轮迭代训练中各自被选择的概率均为0.32。同时，还可以得到其余3个前景图像和其余3个背景图像在第t+1轮迭代训练中各自被选择的概率均为0.16。

可以理解，通过上述公式计算得到的每个样本图像被选择的概率可以是经过标准化之后的概率，可以保证所有样本图像在每轮迭代训练中被选择的概率之和等于1。上述公式的计算逻辑更合理，计算方法也较简单。

示例性地，预设次数为至少一次。差异确定子步骤S2410可以包括步骤S2411。

在步骤S2411，若至少两次迭代训练采用具有相同的样本图像的训练样本，则基于最新一次迭代训练采用该训练样本的训练结果和预设的标准结果，确定该相同的样本图像对应的差异信息。

根据本申请实施例，对于每轮迭代训练的训练次数为多次的情况，若不同单次迭代训练中采用的训练样本中对应相同的样本图像，则可以基于该不同单次迭代训练中的最新一次迭代训练的训练结果确定该相同的样本图像对应的差异信息。例如，预设次数为5次，即每轮迭代训练中包括6次单次迭代训练。若在第5轮迭代训练中，第1次迭代训练的训练样本1、第3次迭代训练的训练样本2和第6次迭代训练的训练样本3均对应前景图像1，即该3个训练样本分别是由前景图像1和背景图像(其可以是同一个背景图像，也可以是不同的背景图像)合成的。则在该轮迭代训练完成后，可以在步骤S1411基于该第6次迭代训练中检测模型对训练样本3的预测结果和预设的标准结果，确定前景图像1对应的差异信息，并可以根据该差异信息更新前景图像1在第6轮迭代训练中被选择的概率。例如，可以计算第6次迭代训练中检测模型对训练样本3的预测结果的概率值和真实的标签值的差值，并代入到上述公式中，计算得到前景图像1在第6轮迭代训练中被选择的概率。本领域普通技术人员可以理解上述方案的实现方式，在此不再赘述。

可以理解，对于每轮迭代训练包括多次迭代训练的情况，其可能存在不同的单次迭代训练中采用同一个训练样本或者同类训练样本(由相同的样本图像生成的训练样本)的情况。并且，在不同的单次迭代训练中，模型对该训练样本或者该类训练样本的预测结果可能不同。通常情况下，随着迭代训练次数的增加，初期模型的预测能力逐渐增强，模型对训练样本的预测结果的准确率也逐渐升高。因此，可以基于模型对该训练样本或该类训练样本的最新的预测结果，更新该训练样本或该类训练样本对应的样本图像被选择的概率。这样既可以节省计算量，又可以保证更新的概率的准确性。

根据上述方案，在每轮迭代训练的多次迭代训练中，可以仅依据模型对每个样本图像对应的训练样本的最新预测结果，更新该样本图像在下一轮迭代训练中被选择的概率。这种方案逻辑清晰合理，计算量较小，更新后的概率也更准确。

示例性地，差异确定子步骤S2410还可以包括步骤S2412。在步骤S2412，若单次迭代训练采用具有相同的样本图像的至少2个训练样本，则根据该至少2个训练样本各自的训练结果和预设标准结果，分别计算该相同的样本图像对应的多个初始差异信息，并综合多个初始差异信息确定该相同的样本图像对应的差异信息。

如前所述，每个训练样本可以对应一个前景图像和一个背景图像。可以理解，在一些情况下，单次迭代训练中的不同训练样本可能对应同一个前景图像或同一个背景图像。例如,在某一单次迭代训练中的训练样本1是由前景图像a₁和背景图像b₁合成的，训练样本2是由该前景图像a₁和背景图像b₂，因此训练样本1和训练样本2对应同一个前景图像a₁。在该迭代训练中，检测模型对训练样本1和训练样本2的预测结果可以是不同的。在这种情况下，则可以先根据检测模型对于每个训练样本的预测结果，确定前景图像a₁对应的2个初始差异信息，然后再综合这两个初始差异信息，确定该前景图像a₁对应的差异信息。例如，可以计算检测模型对训练样本1的预测概率值和真实标签值的差值以及对训练样本2的预测概率值和真实标签值的差值，然后可以综合这两个差值，确定该前景图像a₁对应的差异信息。示例性而非限制性地，可以将该两个差值的均值作为该前景图像a₁对应的差异信息，并可以基于该差异信息，更新该前景图像a₁在下一轮迭代训练中被选择的概率。

根据上述方案，在检测模型的单次迭代训练中的多个训练样本对应同一个样本图像的情况下，可以综合检测模型对相应的多个训练样本的预测结果，准确更新下一轮迭代训练中该样本图像被选择的概率。该方案逻辑更合理，有利于快速训练出检测精度更高的检测模型。

图3示出根据本申请另一个实施例的检测模型的训练方法的示意性流程图。图3可以视作对检测裂纹缺陷的检测模型的训练方法的流程图。该检测模型的训练过程可以包括多轮迭代训练，每次迭代训练中的训练样本数量可以是1个，也可以是多个(图中仅示出其中一个训练样本)。如图3所示，在每次迭代训练中，可以首先采用概率加权采样的方法从裂纹缺陷的前景图像库中选择一个前景图像，并从多个背景图像库中选择一个背景图像。然后，可以利用上述图像融合方法将选择出的每个前景图像和选择出的每个背景图像合成为一个训练样本。例如，每个训练样本中可以包括裂纹缺陷区域、位于裂纹缺陷区域边缘的边缘对应区以及第二背景区。其中，裂纹缺陷区的每个像素的像素值等于对应的前景图像中的对应像素的像素值。边缘对应区的每个像素可以是由对应给他样本图像中的对应像素的融合像素。并且在该区域中，距离裂纹缺陷区越近的像素，其像素值越接近于对应给他前景图像中的对应像素的像素值；距离裂纹缺陷区越远的像素，其像素值越接近于对应的背景图像中的对应像素的像素值。第二背景区可以是训练样本中这两个区域之外的区域，在该区域中的每个像素的像素值均与对应的背景图像中的对应像素的像素值相同。

可以理解，对于每次迭代训练中的训练样本为多个的情况，可以采用同样的方法选择并合成多个训练样本。可以将合成的训练样本送入检测模型中，进行单次迭代训练。例如，可以利用训练样本执行模型推理，获取模型推理的结果。并可以在单次迭代训练完成后，根据预设的训练次数等条件判断当前是否满足训练结束条件。若不满足训练结束条件，则可以进一步判断是否完成当前一轮的迭代训练。若否，则可以继续执行概率加权采样，以选择并合成下一次迭代训练的训练样本，并完成下一次迭代训练。若是，则可以根据当前一轮的迭代训练的训练结果，更新每个前样本图像被选择的概率。可以将更新后的概率作为下一轮迭代训练中每个样本图像各自被选择的概率，再次选择样本图像，并合成用于下一轮迭代训练时的单次迭代训练的训练样本，以进行该单次迭代训练……可以按照此方法重复执行迭代训练。直至满足训练结束条件，则可以结束训练。上述示例中的检测模型的训练方法创造性地将训练样本的合成过程嵌入到模型训练过程中并引入主动学习策略。在例如上述裂纹缺陷图像的合成过程中，充分考虑检测模型对某一类背景图像或者缺陷前景图像的不确定性，基于每轮迭代训练的训练结果，针对性地提升训练难度较大的训练样本出现的概率，更主动高效地合成相应的训练样本，大大提升了模型训练效率和精度。

根据本申请的第三方面，还提供一种图像融合系统。图4示出了根据本申请实施例的图像融合系统400的示意性框图。如图所示，该系统400包括获取模块410、第一检测模块420、第二检测模块430和确定模块440。

获取模块410，用于分别获取待融合的前景图像和背景图像，其中前景图像中包括前景所在的前景区域。

第一确定模块420，用于确定前景图像中的每个像素的第一权重，其中，距离前景区域越近的像素的第一权重的权重值越大。

第二确定模块430，用于基于第一权重，确定背景图像中的对应像素的第二权重，其中，第二权重与第一权重负相关。

融合模块440，用于利用第一权重和第二权重，加权融合前景图像和背景图像，以得到融合图像。

根据本申请的第四方面，还提供一种检测模型的训练系统。图5示出了根据本申请实施例的检测模型的训练系统500的示意性框图。如图所示，该系统500包括训练模块510和概率调整模块520。

训练模块510，用于基于每个前景图像和每个背景图像各自被选择的概率，选择前景图像和背景图像，利用上述图像融合方法100融合被选择的前景图像和背景图像，以生成训练样本，并利用训练样本对检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练。

概率调整模块520，用于基于一轮迭代训练时的每个训练样本的训练结果，更新每个样本图像被选择的概率，其中，样本图像包括前景图像和/或背景图像。

根据本申请的第五方面，还提供一种电子设备。图6示出了根据本申请实施例的电子设备600的示意性框图。如图所示，该电子设备600包括处理器610和存储器620，其中，存储器620中存储有计算机程序指令，计算机程序指令被处理器610运行时用于执行上述图像融合方法100和/或上述检测模型的训练方法2000。

根据本申请的第六方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述图像融合方法100和/或上述检测模型的训练方法2000。存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的图像融合系统和检测模型的训练系统中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种图像融合方法，其特征在于，包括：

分别获取待融合的前景图像和背景图像，其中所述前景图像中包括前景所在的前景区域；

确定所述前景图像中的每个像素的第一权重，其中，距离所述前景区域越近的像素的第一权重的权重值越大；

基于所述第一权重，确定所述背景图像中的对应像素的第二权重，其中，所述第二权重与所述第一权重负相关；以及

利用所述第一权重和所述第二权重，加权融合所述前景图像和所述背景图像，以得到融合图像。

2.如权利要求1所述的图像融合方法，其特征在于，所述确定所述前景图像中的每个像素的第一权重，包括：

获取所述前景图像的掩膜图；

确定所述掩膜图中的前景对应区附近的边缘区域；

根据所述边缘区域中的每个边缘像素与所述前景对应区的距离，确定所述前景图像中与该边缘像素对应的像素的第一权重，其中，所述距离越大，所述第一权重越小。

3.如权利要求2所述的图像融合方法，其特征在于，所述确定所述前景图像中与该边缘像素对应的像素的第一权重，包括：

计算每个所述边缘像素与距离其最近的所述前景像素之间的距离，其中，所述前景像素为所述前景对应区中的像素；以及

根据所述距离，确定所述边缘像素的第一权重。

4.如权利要求3所述的图像融合方法，其特征在于，所述第一权重和所述第二权重的取值范围为[0，1]，

所述确定所述前景图像中的每个像素的第一权重，包括：

确定所述前景区域中的每个像素的第一权重为1，并确定所述前景图像的背景区域中部分像素的第一权重为0，其中，所述部分像素为所述背景区域中排除掉所述边缘像素对应的像素之外的其他像素；

所述确定所述背景图像中的对应像素的第二权重，包括：

所述背景图像中每个像素的第二权重＝1-所述前景图像中对应位置的像素的第一权重。

5.如权利要求2所述的图像融合方法，其特征在于，所述确定所述掩膜图中的前景对应区附近的边缘区域，包括：

采用膨胀处理的方式确定所述前景对应区附近的所述边缘区域。

6.一种检测模型的训练方法，其特征在于，包括：

训练步骤：基于每个前景图像和每个背景图像各自被选择的概率，选择前景图像和背景图像，利用如权利要求1至5任一项所述的图像融合方法融合被选择的前景图像和背景图像，以生成训练样本，并利用所述训练样本对所述检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；以及

概率调整步骤：基于一轮迭代训练时的训练结果，更新每个样本图像被选择的概率，并转至所述训练步骤，直至满足预设的训练结束条件，其中，所述样本图像包括所述前景图像和/或所述背景图像。

7.如权利要求6所述的检测模型的训练方法，其特征在于，

所述概率调整步骤，包括：

差异确定子步骤，对于每个训练样本，根据所述检测模型对该训练样本的预测结果和预设标准结果，确定该训练样本的所述样本图像对应的差异信息；

概率计算子步骤，根据每个样本图像对应的差异信息以及每个样本图像被选择的概率，计算下一轮迭代训练时该样本图像被选择的概率；以及

更新子步骤，根据计算的下一轮迭代训练时该样本图像被选择的概率，更新每个样本图像被选择的概率，并转至所述训练步骤。

8.如权利要求7所述的检测模型的训练方法，其特征在于，所述预设次数为至少一次；

所述差异确定子步骤，包括：

若至少两次迭代训练采用具有相同的样本图像的训练样本，则基于最新一次迭代训练中所述检测模型对该训练样本的预测结果和预设标准结果，确定该相同的样本图像对应的差异信息。

9.如权利要求7或8所述的检测模型的训练方法，其特征在于，所述差异确定子步骤，包括：

若单次迭代训练采用具有相同的样本图像的至少2个所述训练样本，则根据所述检测模型对该至少2个训练样本的各自的预测结果和预设标准结果，分别计算该相同的样本图像对应的多个初始差异信息，并综合所述多个初始差异信息确定该相同的样本图像对应的差异信息。

10.如权利要求7或8所述的检测模型的训练方法，其特征在于，每个样本图像对应的差异信息所表示的差异大小与所计算的下一轮迭代训练时的被选择的概率为正相关关系。

11.如权利要求10所述的检测模型的训练方法，其特征在于，所述正相关关系利用如下公式表达：

其中，w_t,i表示第i个样本图像在第t轮迭代训练被选择的概率；

w_t+1,i表示所述第i个样本图像在第t+1轮迭代训练被选择的概率；

err_t,i表示所述差异大小，且初始值为0；

n表示可供选择的样本图像的总数量。

12.一种图像融合系统，其特征在于，包括：

获取模块，用于分别获取待融合的前景图像和背景图像，其中所述前景图像中包括前景所在的前景区域；

第一确定模块，用于确定所述前景图像中的每个像素的第一权重，其中，距离所述前景区域越近的像素的第一权重的权重值越大；

第二确定模块，用于基于所述第一权重，确定所述背景图像中的对应像素的第二权重，其中，所述第二权重与所述第一权重负相关；以及

融合模块，用于利用所述第一权重和所述第二权重，加权融合所述前景图像和所述背景图像，以得到融合图像。

13.一种检测模型的训练系统，其特征在于，包括：

训练模块，用于基于每个前景图像和每个背景图像各自被选择的概率，选择前景图像和背景图像，利用如权利要求1至5任一项所述的图像融合方法融合被选择的前景图像和背景图像，以生成训练样本，并利用所述训练样本对所述检测模型进行训练，得到单次迭代训练的训练结果，并重复执行预设次数，直至完成一轮迭代训练；以及

概率调整模块，用于基于一轮迭代训练时的训练结果，更新每个样本图像被选择的概率，其中，所述样本图像包括所述前景图像和/或所述背景图像。

14.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至5任一项所述的图像融合方法和/或如权利要求6至11任一项所述的检测模型的训练方法。

15.一种存储介质，在所述存储介质上存储了程序指令，其特征在于，所述程序指令在运行时用于执行如权利要求1至5任一项所述的图像融合方法和/或如权利要求6至11任一项所述的检测模型的训练方法。

Images