CN115965856B - 图像检测模型构建方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种图像检测模型构建方法、装置、计算机设备及存储介质。方法包括：获得待测样本图像对应的第一特征图与标准图像对应的第二特征图；将第一特征图与第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图；分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果；将第二网络输出结果输入第三网络进行处理，得到融合输出结果；对融合输出结果与标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型。采用本方法，能够有效提高模型检测的准确性。

Description

图像检测模型构建方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像检测模型构建方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，开始利用人工智能算法模型对集成电路进行缺陷自动检测，因此，构建有效的缺陷检测模型对于高效完成集成电路产品质检具有重要意义。

传统技术中，通常采用简单单一含有缺陷的集成电路图像作为训练样本来进行缺陷定位，在模型的训练过程中不能充分有效学习图像所包含的语义信息，模型的检测准确度较差。

发明内容

基于此，有必要针对上述技术问题，提供一种图像检测模型构建方法、装置、计算机设备及存储介质，能够有效提高模型检测的准确性。

第一方面，本申请提供了一种图像检测模型构建方法，包括：

获得待测样本图像对应的第一特征图与标准图像对应的第二特征图；

将第一特征图与第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图；相似性特征图用于表征待测样本图像的各个像素区域与对应的标准图像的目标区域之间的相似程度；原始图像检测模型包括第一网络、第二网络和第三网络；

分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果；

将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果；融合输出结果用于表征待测样本图像的各个像素区域的分类结果；

对融合输出结果与标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型；目标图像检测模型用于检测图像的缺陷区域。

第二方面，本申请提供了一种图像检测模型构建装置，包括：

获取模块，用于获得待测样本图像对应的第一特征图与标准图像对应的第二特征图；

第一计算模块，用于将第一特征图与第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图；相似性特征图用于表征待测样本图像的各个像素区域与对应的标准图像的目标区域之间的相似程度；原始图像检测模型包括第一网络、第二网络和第三网络；

第二计算模块，用于分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果；

第三计算模块，用于将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果；融合输出结果用于表征待测样本图像的各个像素区域的分类结果；

训练模块，用于对融合输出结果与标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型；目标图像检测模型用于检测图像的缺陷区域。

第三方面，本申请提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的图像检测模型构建方法中的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的图像检测模型构建方法中的步骤。

第五方面，本申请提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述的图像检测模型构建方法中的步骤。

上述图像检测模型构建方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，通过构建多层级的网络结构，利用多层级网络之间信息的交互，能够充分提取第一特征图与第二特征图的局部细节特征，从而使得所构建的图像检测模型在像素级别上对待测样本图像与标准图像的语义信息进行充分挖掘与学习，进而有效提高模型检测的准确性。

附图说明

图1为本申请实施例提供的一种图像检测模型构建方法的应用环境图；

图2为本申请实施例提供的一种图像检测模型构建方法的流程示意图；

图3为本申请实施例提供的一种特征图生成步骤的流程示意图；

图4为本申请实施例提供的一种第二网络输出结果生成步骤的流程示意图；

图5为本申请实施例提供的一种融合输出结果生成步骤的流程示意图；

图6为本申请实施例提供的一种第一子网络输出结果生成步骤的流程示意图；

图7为本申请实施例提供的一种第二子网络输出结果生成步骤的流程示意图；

图8为本申请实施例提供的一种图像检测方法的流程示意图；

图9为本申请实施例提供的一种图像检测模型构建装置的结构框图；

图10为本申请实施例提供的一种图像检测模型的工作流程示意图；

图11为本申请实施例提供的一种第三网络的子网络工作流程示意图；

图12为本申请实施例提供的一种计算机设备的内部结构图；

图13为本申请实施例提供的一种计算机可读存储介质的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像检测模型构建方法，可以应用于如图1所示的应用环境中。如图1所示，计算机设备102获得待测样本图像对应的第一特征图与标准图像对应的第二特征图；将第一特征图与第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图；分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果；将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果；对融合输出结果与标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型。其中，计算机设备102可以但不限于是各种个人计算机、服务器、笔记本电脑、智能手机、平板电脑、物联网设备以及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。

在一些实施例中，如图2所示，提供了一种图像检测模型构建方法，以该方法应用于图1中的计算机设备102为例进行说明，包括以下步骤：

步骤S202，获得待测样本图像对应的第一特征图与标准图像对应的第二特征图。

其中，待测样本图像对应的第一特征图用于表征待测样本图像的高度、宽度以及待测样本图像中每个像素对应的特征通道数，标准图像对应的第二特征图用于表征标准图像的高度、宽度以及标准图像中每个像素对应的特征通道数。

具体地，计算机设备分别将待测样本图像与标准图像输入至图像特征提取模型进行处理，输出待测样本图像对应的第一特征图与标准图像对应的第二特征图。

步骤S204，将第一特征图与第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图。

其中，相似性特征图用于表征待测样本图像的各个像素区域与对应的标准图像的的目标区域之间的相似程度；原始图像检测模型包括第一网络、第二网络和第三网络。

具体地，计算机设备将第一特征图与第二特征图输入原始图像检测模型中的第一网络，按照如下公式计算得到相似性特征图：

，公式1

，公式2

，公式3

，公式4

其中，

为第一特征图，/>

为第二特征图，/>

为待测样本图像，/>

为标准图像，

表示标准图像对应的遮罩（用于标识目标区域在标准图像中的位置），R为待测样本图像与标准图像之间的全局余弦相似度，h与w分别表示图像的高度与宽度，/>

为第一特征图与第二特征图之间的角度差，/>

为输出的相似性特征图。

步骤S206，分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果。

其中，第二网络包含至少两个子模型。

具体地，计算机设备分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，得到各个子模型对应的输出结果，再由各个子模型对应的输出结果得到第二网络输出结果。

步骤S208，将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果。

其中，第三网络包含至少两个子模型，融合输出结果用于表征待测样本图像的各个像素区域的分类结果。

具体地，计算机设备将前述步骤中第二网络各个子模型对应的输出结果进行加权融合，得到各个融合输入数据，再将各个融合输入数据输入第三网络中的各个子网络进行处理，得到各个子网络对应的输出结果，将各个子网络对应的输出结果的维度进行统一处理，使各个子网络对应的输出结果维度一致，再将维度相同的各个子网络对应的输出结果进行融合处理，得到融合输出结果。

步骤S210，对融合输出结果与标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型。其中，目标图像检测模型用于检测图像的缺陷区域。

具体地，计算机设备根据融合输出结果确定待测样本图像的各个像素区域的分类结果，再将待测样本图像的各个像素区域的分类结果与对应的标准图像的像素区域的分类结果进行比对，得到各个像素区域的分类结果的差异程度，将差异程度作为模型损失。

上述图像检测模型构建方法，通过构建多层级的网络结构，利用多层级网络之间信息的交互，能够充分提取第一特征图与第二特征图的局部细节特征，从而使得所构建的图像检测模型在像素级别上对待测样本图像与标准图像的语义信息进行充分挖掘与学习，进而有效提高模型检测的准确性。

在一些实施例中，如图3所示，获得待测样本图像对应的第一特征图与标准图像对应的第二特征图，包括：

步骤S302，获取待测样本图像与标准图像。

步骤S304，分别将待测样本图像与标准图像输入图像特征提取模型进行处理，输出待测样本图像与标准图像的各个像素点的维度特征信息。

其中，像素点的维度特征信息用于表征对应像素点特征向量的向量维度信息，例如，当待测样本图像与标准图像均为RGB图像时，则像素点的维度特征信息表示对应像素点的特征通道数为3。

步骤S306，基于待测样本图像的各个像素点的维度特征信息，确定待测样本图像对应的第一特征图。

具体地，计算机设备将待测样本图像的各个像素点的维度特征信息、待测样本图像的高度以及宽度进行组合，得到待测样本图像对应的第一特征图。

步骤S308，基于标准图像的各个像素点的维度特征信息，确定标准图像对应的第二特征图。

具体地，计算机设备将标准图像的各个像素点的维度特征信息、标准图像的高度以及宽度进行组合，得到标准图像对应的第二特征图。

本实施例中，基于对图像的像素层级的分类与分析得到第一特征图与第二特征图，相比于对整张图像赋予类别的传统做法而言，包含更多和更细粒度的特征信息，有效提高所生成的第一特征图与第二特征图的质量与可靠性。

在一些实施例中，如图4所示，分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果，包括：

步骤S402，将第一特征图、第二特征图以及相似性特征图输入第二网络中的第一子模型进行处理，输出第一子输出结果。

步骤S404，将第一特征图、第二特征图以及相似性特征图输入第二网络中的第二子模型进行处理，输出第二子输出结果。

步骤S406，将第一特征图、第二特征图以及相似性特征图输入第二网络中的第三子模型进行处理，输出第三子输出结果。

步骤S408，根据第一子输出结果、第二子输出结果以及第三子输出结果，确定第二网络输出结果。

其中，第一子输出结果的维度大于第二子输出结果，第二子输出结果的维度大于第三子输出结果，第一特征图与第二特征图的高度、宽度以及各个像素点的维度特征信息均对应相同，第一特征图与第二特征图的高度、宽度与相似性特征图的高度、宽度相同，第一特征图与第二特征图的各个像素点的维度特征信息大于相似性特征图的各个像素点的维度特征信息。

本实施例中，计算机设备分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型，得到维度不同的各个子模型输出结果，最后再由各个子模型输出结果组合得到整个第二网络输出结果，从而实现可以根据不同分析尺度的子模型分别对第一特征图、第二特征图以及相似性特征图进行处理，得到不同尺度下的输出结果，使得所生成的第二网络输出结果可以充分包含各个不同尺度下的语义信息，提高第二网络输出结果的准确性与可靠性。

在一些实施例中，如图5所示，将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果，包括：

步骤S502，将第一子输出结果输入第三网络中的第一子网络进行处理，输出第一子网络输出结果。

步骤S504，将第一子输出结果与第二子输出结果输入第三网络中的第二子网络进行处理，输出第二子网络输出结果。

步骤S506，将第二子输出结果与第三子输出结果输入第三网络中的第三子网络进行处理，输出第三子网络输出结果。

步骤S508，对第一子网络输出结果、第二子网络输出结果以及第三子网络输出结果进行融合处理，得到融合输出结果。

其中，第三网络包含至少两个子网络，第一子输出结果、第二子输出结果以及第三子输出结果的维度不同，所包含的语义信息数据量不同，第一子输出结果的维度大于第二子输出结果，第二子输出结果的维度大于第三子输出结果，维度越大所包含的图像的局部细节越多。

本实施例中，计算机设备根据前述步骤得到维度不同的第二网络各个子模型的子输出结果后，将第一子输出结果输入至第三网络的第一子网络，将第二子输出结果与第一子输出结果输入至第三网络的第二子网络，再将第二子输出结果以及第三子输出结果输入至第三网络的第三子网络，进而实现将维度不同的第二网络各个子模型的子输出结果跨层级的交互，得到所生成的第三网络的各个子网络的输出结果，从而使第三网络能够充分学习第二网络各个不同分析尺度子模型的分析结果，再将所生成的第三网络的各个子网络的输出结果进行融合处理，生成融合输出结果，有效提高第三网络的学习效率以及融合输出结果的准确性。

在一些实施例中，如图6所示，将第一子输出结果输入第三网络中的第一子网络进行处理，输出第一子网络输出结果，包括：

步骤S602，将第一子输出结果输入目标卷积网络进行处理，输出第一目标输出结果。

具体地，计算机设备将第一子输出结果输入至双层3x3的卷积神经网络，得到第一目标输出结果。

步骤S604，将第一目标输出结果与第一子输出结果进行融合处理，得到第一子网络输出结果。

其中，融合的方法包括加、减、乘、除、平方和、加权求和等方式，不做具体限制。

本实施例中，通过将第一子输出结果输入目标卷积网络，得到第一目标输出结果，再将第一目标输出结果与第一子输出结果进行融合，得到第一子网络输出结果，实现对第一子输出结果的数据细节特征的充分挖掘，有效提高所生成的第一子网络输出结果的准确性。

在一些实施例中，如图7所示，将第一子输出结果与第二子输出结果输入第三网络中的第二子网络进行处理，输出第二子网络输出结果，包括：

步骤S702，对第一子输出结果与第二子输出结果进行融合处理，得到第一融合结果，并将第一融合结果输入卷积神经网络进行处理，输出第一输出结果。

其中，第一融合结果的维度大于第一子输出结果及第二子输出结果的维度，第一输出结果的维度与第一子输出结果的维度相同；卷积神经网络可以是1x1卷积网络、3x3卷积网络以及5x5卷积网络等中的一种，也可以是由多个卷积网络所构成的多层卷积神经网络结构。

具体地，计算机设备将第二子输出结果进行维度扩展，使得低维度的第二子输出结果经过维度扩展之后，其维度与第一子输出结果的维度相同，再将第一子输出结果与维度扩展后的第二子输出结果在像素点特征层面的维度上进行融合处理，得到第一融合结果，再将第一融合结果输入卷积神经网络，得到第一输出结果。

步骤S704，对第一输出结果与第二子输出结果进行融合处理，得到第二融合结果。

其中，第二融合结果的维度与第一输出结果以及第二子输出结果的维度相等，第一输出结果与第二子输出结果融合的方式可以是加、减、乘、除、平方和、加权求和等中的一种或几种计算方式进行融合。

步骤S706，将第二融合结果输入目标卷积网络进行处理，输出第二输出结果，并对第二输出结果与第二融合结果进行融合处理，得到第二子网络输出结果。其中，目标卷积网络包含至少两个3x3卷积神经网络。

其中，融合的方式可以是加、减、乘、除、平方和、加权求和等中的一种或几种计算方式进行融合。

本实施例中，通过将第一子输出结果与第二子输出结果进行融合，得到第一融合结果，并将第一融合结果输入卷积神经网络，得到第一输出结果，将第一输出结果与第二子输出结果进行融合，得到第二融合结果，将第二融合结果输入至目标卷积网络，得到第二输出结果，并将第二输出结果与第二融合结果进行融合，得到第二子网络输出结果，进而实现对第二网络不同子模型输出的维度不同子模型输出结果进行特征分析，从而完成跨层级网络的充分交互，使得第二子网络输出结果能够包含更多语义信息，提高第二子网络输出结果的数据可靠性。

在一些实施例中，如图8所示，提供了一种图像检测方法，包括以下步骤：

步骤S802，获得目标待测图像对应的目标特征图。

其中，目标待测图像对应的目标特征图包含目标待测图像的高度特征、宽度特征以及各个像素点对应的维度特征信息等。

步骤S804，将目标特征图输入目标图像检测模型进行处理，输出目标待测图像的目标缺陷区域。

其中，目标图像检测模型是根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到的；模型损失是对融合输出结果与标准图像对应的像素分类结果进行差异计算得到的；融合输出结果用于表征待测样本图像的各个像素区域的分类结果；融合输出结果是将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理得到的；第二网络输出结果是分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出得到的；相似性特征图是待测样本图像对应的第一特征图与标准图像对应的第二特征图输入原始图像检测模型中的第一网络进行处理，输出得到的；相似性特征图用于表征待测样本图像的各个像素区域与对应的标准图像的目标区域之间的相似程度；原始图像检测模型包括第一网络、第二网络和第三网络。

具体地，计算机设备将目标待测图像对应的目标特征图输入至目标图像检测模型，经过目标图像检测模型对目标特征图进行全局分析得到目标待测图像的各个像素区域的分类结果，再将分类结果输入至分类器，得到各个像素区域对应的检测结果与置信度，从而得到目标待测图像的目标缺陷区域。

本实施例中，通过将目标待测图像对应的目标特征图输入至目标图像检测模型，获得目标图像检测模型输出的目标缺陷区域，从而对目标待测图像进行缺陷检测，有效提高目标待测图像缺陷检测的效率与正确性。

本申请还提供一种应用场景，该应用场景应用上述的图像检测模型构建方法，该方法应用于集成电路图像缺陷检测模型构建的场景，具体地，该图像检测模型构建方法在该应用场景的应用如下：

计算机设备获取目标集成电路板的待测样本图像以及标准图像，并将待测样本图像以及标准图像分别输入编码器，以分别提取待测样本图像对应的第一特征图以及标准图像对应的第二特征图；其中，第一特征图与第二特征图分别包含待测样本图像以及标准图像的宽度特征、高度特征以及像素的维度特征，即第一特征图与第二特征图尺寸均为[h,w,c]；其中，h表示高度特征，w为宽度特征，c为像素的维度特征。

如图10所示，将第一特征图与第二特征图输入第一网络得到相似性特征图，相似性特征图（维度为[h,w,1]）用于高亮第一特征图与第二特征图之间的全局相关性，再将第一特征图、第二特征图以及相似性特征图输入第二网络分别得到第一子输出结果、第二子输出结果以及第三子输出结果；其中，第一子模型、第二子模型、第三子模型分别为三个不同尺度的处理模块，尺度分别为[h,w]、[h/2,w/2]、[h/4,w/4]，用于完整多个尺度之间的第一特征图与第二特征图间的对比。

将第一子输出结果输入至第三网络的第一子网络，将第一子输出结果与第二子输出结果输入至第三网络的第二子网络，将第二子输出结果与第三子输出结果输入至第三网络的第三子网络，进而得到第一子网络输出结果、第二子网络输出结果、第三子网络输出结果，实现不同尺度下多层级的交互学习，以挖掘第三子模型的输出由于缩放所缺失的局部细节特征。

其中，第二子网络的内部工作流程如图11所示，计算机设备将第一子输出结果与第二子输出结果进行维度统一之后再进行融合得到第一融合结果，并将第一融合结果输入卷积神经网络，得到第一输出结果，再将第一输出结果与第二子输出结果进行融合，得到第二融合结果，再将第二融合结果输入至包含有两层3x3卷积网络的目标卷积网络得到第二输出结果，再将第二输出结果与第二融合结果进行融合，得到第二子网络输出结果。

计算机设备再将前述步骤中得到的第一子网络输出结果、第二子网络输出结果、第三子网络输出结果维度统一处理后进行相加操作得到融合输出结果，最后将融合输出结果输入分类器得到待测样本图像各个像素点的分类结果，再将待测样本图像各个像素点的分类结果与对应的标准图像的像素点的类别结果进行差异比对得到模型损失，再根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型。

上述图像检测模型构建方法，通过构建多层级的网络结构，利用多层级网络之间信息的交互，能够充分提取第一特征图与第二特征图的局部细节特征，从而使得所构建的图像检测模型在像素级别上对待测样本图像与标准图像的语义信息进行充分挖掘与学习，进而有效提高模型检测的准确性。

应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图9所示，提供了一种图像检测模型构建装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：

获取模块902，用于获得待测样本图像对应的第一特征图与标准图像对应的第二特征图；

第一计算模块904，用于将第一特征图与第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图；相似性特征图用于表征待测样本图像的各个像素区域与对应的标准图像的目标区域之间的相似程度；原始图像检测模型包括第一网络、第二网络和第三网络；

第二计算模块906，用于分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果；

第三计算模块908，用于将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果；融合输出结果用于表征待测样本图像的各个像素区域的分类结果；

训练模块910，用于对融合输出结果与标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型；目标图像检测模型用于检测图像的缺陷区域。

在一些实施例中，在获得待测样本图像对应的第一特征图与标准图像对应的第二特征图方面，获取模块902具体用于：

获取待测样本图像与标准图像；

分别将待测样本图像与标准图像输入图像特征提取模型进行处理，输出待测样本图像与标准图像的各个像素点的维度特征信息；

基于待测样本图像的各个像素点的维度特征信息，确定待测样本图像对应的第一特征图；

基于标准图像的各个像素点的维度特征信息，确定标准图像对应的第二特征图。

在一些实施例中，在分别将第一特征图、第二特征图以及相似性特征图输入第二网络中的各个子模型进行处理，输出第二网络输出结果方面，第二计算模块906具体用于：

将第一特征图、第二特征图以及相似性特征图输入第二网络中的第一子模型进行处理，输出第一子输出结果；

将第一特征图、第二特征图以及相似性特征图输入第二网络中的第二子模型进行处理，输出第二子输出结果；

将第一特征图、第二特征图以及相似性特征图输入第二网络中的第三子模型进行处理，输出第三子输出结果；

根据第一子输出结果、第二子输出结果以及第三子输出结果，确定第二网络输出结果；

其中，第一子输出结果的维度大于第二子输出结果，第二子输出结果的维度大于第三子输出结果。

在一些实施例中，在将第二网络输出结果输入第三网络进行处理，并对第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果方面，第三计算模块908具体用于：

将第一子输出结果输入第三网络中的第一子网络进行处理，输出第一子网络输出结果；

将第一子输出结果与第二子输出结果输入第三网络中的第二子网络进行处理，输出第二子网络输出结果；

将第二子输出结果与第三子输出结果输入第三网络中的第三子网络进行处理，输出第三子网络输出结果；

对第一子网络输出结果、第二子网络输出结果以及第三子网络输出结果进行融合处理，得到融合输出结果。

在一些实施例中，在将第一子输出结果输入第三网络中的第一子网络进行处理，输出第一子网络输出结果方面，第三计算模块908具体用于：

将第一子输出结果输入目标卷积网络进行处理，输出第一目标输出结果；

将第一目标输出结果与第一子输出结果进行融合处理，得到第一子网络输出结果。

在一些实施例中，在将第一子输出结果与第二子输出结果输入第三网络中的第二子网络进行处理，输出第二子网络输出结果方面，第三计算模块908具体用于：

对第一子输出结果与第二子输出结果进行融合处理，得到第一融合结果，并将第一融合结果输入卷积神经网络进行处理，输出第一输出结果；

对第一输出结果与第二子输出结果进行融合处理，得到第二融合结果；

将第二融合结果输入目标卷积网络进行处理，输出第二输出结果，并对第二输出结果与第二融合结果进行融合处理，得到第二子网络输出结果。

关于图像检测模型构建装置的具体限定可以参见上文中对于图像检测模型构建方法的限定，在此不再赘述。上述图像检测模型构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口（Input/Output，简称I/O）、通信接口、显示单元以及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、输入装置和显示单元通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的图像检测模型构建方法中的步骤。该计算机设备的显示单元可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机可读存储介质1300，其上存储有计算机程序1302，该计算机程序1302被处理器执行时实现上述各方法实施例中的步骤，其内部结构图可以如图13所示。

在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，处理器执行该计算机程序时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像检测模型构建方法，其特征在于，包括：

获得待测样本图像对应的第一特征图与标准图像对应的第二特征图；

将所述第一特征图与所述第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图；所述相似性特征图用于表征所述待测样本图像的各个像素区域与对应的所述标准图像的目标区域之间的相似程度；所述原始图像检测模型包括所述第一网络、第二网络和第三网络；

分别将所述第一特征图、所述第二特征图以及所述相似性特征图输入所述第二网络中的各个子模型进行处理，输出第二网络输出结果；

将所述第二网络输出结果输入所述第三网络进行处理，并对所述第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果；所述融合输出结果用于表征所述待测样本图像的各个像素区域的分类结果；

对所述融合输出结果与所述标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据所述模型损失调整所述原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型；所述目标图像检测模型用于检测图像的缺陷区域。

2.根据权利要求1所述的方法，其特征在于，所述获得待测样本图像对应的第一特征图与标准图像对应的第二特征图，包括：

获取待测样本图像与标准图像；

分别将所述待测样本图像与所述标准图像输入图像特征提取模型进行处理，输出所述待测样本图像与所述标准图像的各个像素点的维度特征信息；

基于所述待测样本图像的各个像素点的维度特征信息，确定所述待测样本图像对应的第一特征图；

基于所述标准图像的各个像素点的维度特征信息，确定所述标准图像对应的第二特征图。

3.根据权利要求1所述的方法，其特征在于，所述分别将所述第一特征图、所述第二特征图以及所述相似性特征图输入所述第二网络中的各个子模型进行处理，输出第二网络输出结果，包括：

将所述第一特征图、所述第二特征图以及所述相似性特征图输入所述第二网络中的第一子模型进行处理，输出第一子输出结果；

将所述第一特征图、所述第二特征图以及所述相似性特征图输入所述第二网络中的第二子模型进行处理，输出第二子输出结果；

将所述第一特征图、所述第二特征图以及所述相似性特征图输入所述第二网络中的第三子模型进行处理，输出第三子输出结果；

根据所述第一子输出结果、所述第二子输出结果以及所述第三子输出结果，确定第二网络输出结果；

其中，所述第一子输出结果的维度大于所述第二子输出结果，所述第二子输出结果的维度大于所述第三子输出结果。

4.根据权利要求3所述的方法，其特征在于，所述将所述第二网络输出结果输入所述第三网络进行处理，并对所述第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果，包括：

将所述第一子输出结果输入所述第三网络中的第一子网络进行处理，输出第一子网络输出结果；

将所述第一子输出结果与所述第二子输出结果输入所述第三网络中的第二子网络进行处理，输出第二子网络输出结果；

将所述第二子输出结果与所述第三子输出结果输入所述第三网络中的第三子网络进行处理，输出第三子网络输出结果；

对所述第一子网络输出结果、所述第二子网络输出结果以及所述第三子网络输出结果进行融合处理，得到融合输出结果。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一子输出结果输入所述第三网络中的第一子网络进行处理，输出第一子网络输出结果，包括：

将所述第一子输出结果输入目标卷积网络进行处理，输出第一目标输出结果；所述目标卷积网络包含两层卷积神经网络；

将所述第一目标输出结果与所述第一子输出结果进行融合处理，得到第一子网络输出结果。

6.根据权利要求4所述的方法，其特征在于，所述将所述第一子输出结果与所述第二子输出结果输入所述第三网络中的第二子网络进行处理，输出第二子网络输出结果，包括：

对所述第一子输出结果与所述第二子输出结果进行融合处理，得到第一融合结果，并将所述第一融合结果输入卷积神经网络进行处理，输出第一输出结果；

对所述第一输出结果与所述第二子输出结果进行融合处理，得到第二融合结果；

将所述第二融合结果输入目标卷积网络进行处理，输出第二输出结果，并对所述第二输出结果与所述第二融合结果进行融合处理，得到第二子网络输出结果。

7.一种图像检测方法，其特征在于，包括：

获得目标待测图像对应的目标特征图；

将所述目标特征图输入目标图像检测模型进行处理，输出所述目标待测图像的目标缺陷区域；

其中，所述目标图像检测模型是根据模型损失调整原始图像检测模型的模型参数直到达到训练结束条件得到的；所述模型损失是对融合输出结果与标准图像对应的像素分类结果进行差异计算得到的；所述融合输出结果用于表征待测样本图像的各个像素区域的分类结果；所述融合输出结果是将第二网络输出结果输入第三网络进行处理，并对所述第三网络中的各个子网络的输出结果进行融合处理得到的；所述第二网络输出结果是分别将第一特征图、第二特征图以及相似性特征图输入所述第二网络中的各个子模型进行处理，输出得到的；所述相似性特征图是所述待测样本图像对应的所述第一特征图与所述标准图像对应的所述第二特征图输入所述原始图像检测模型中的第一网络进行处理，输出得到的；所述相似性特征图用于表征所述待测样本图像的各个像素区域与对应的所述标准图像的目标区域之间的相似程度；所述原始图像检测模型包括所述第一网络、所述第二网络和所述第三网络。

8.一种图像检测模型构建装置，其特征在于，包括：

获取模块，用于获得待测样本图像对应的第一特征图与标准图像对应的第二特征图；

第一计算模块，用于将所述第一特征图与所述第二特征图输入原始图像检测模型中的第一网络进行处理，输出相似性特征图；所述相似性特征图用于表征所述待测样本图像的各个像素区域与对应的所述标准图像的目标区域之间的相似程度；所述原始图像检测模型包括所述第一网络、第二网络和第三网络；

第二计算模块，用于分别将所述第一特征图、所述第二特征图以及所述相似性特征图输入所述第二网络中的各个子模型进行处理，输出第二网络输出结果；

第三计算模块，用于将所述第二网络输出结果输入所述第三网络进行处理，并对所述第三网络中的各个子网络的输出结果进行融合处理，得到融合输出结果；所述融合输出结果用于表征所述待测样本图像的各个像素区域的分类结果；

训练模块，用于对所述融合输出结果与所述标准图像对应的像素分类结果进行差异计算，得到模型损失，并根据所述模型损失调整所述原始图像检测模型的模型参数直到达到训练结束条件得到目标图像检测模型；所述目标图像检测模型用于检测图像的缺陷区域。

9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images