CN114331946A - 一种图像数据处理方法、设备以及介质 - Google Patents

Abstract

本申请实施例提供了一种图像数据处理方法、设备以及介质，该方法涉及人工智能领域，方法包括：获取包含检测对象的配准图像，获取配准图像和与检测对象相关联的模板图像之间的差分图像；生成配准图像、模板图像和差分图像之间的深度融合图像特征；生成差分图像对应的差分坐标矩阵，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征；根据稀疏融合图像特征，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。采用本申请，可以提高缺陷检测的准确性。

Description

一种图像数据处理方法、设备以及介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像数据处理方法、设备以及介质。

背景技术

现有缺陷检测算法直接对原始图像上的每个像素点进行特征提取，进而基于提取到的缺陷特征，确定原始图像中可能具有缺陷的区域，然后再对可能具有缺陷的区域所对应的候选框进行微调，得到精确的缺陷检测框(即异常标注区域)。由于不同场景下获取到的原始图像具有不同的图像质量，将原始图像直接输入至缺陷检测算法，难以确保缺陷检测的准确性。

此外，原始图像中的缺陷形态分布大小不一，通常缺陷区域相比原始图像只占据小部分区域，原始图大部分区域为无缺陷区域，因此现有缺陷检测算法难以确保缺陷特征的高度稀疏化，从而进一步降低缺陷检测的准确性。

发明内容

本申请实施例提供一种图像数据处理方法、设备以及介质，可以提高缺陷检测的准确性。

本申请实施例一方面提供了一种图像数据处理方法，包括：

获取包含检测对象的配准图像，获取配准图像和与检测对象相关联的模板图像之间的差分图像；

生成配准图像、模板图像和差分图像之间的深度融合图像特征；

生成差分图像对应的差分坐标矩阵，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征；

根据稀疏融合图像特征，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

本申请实施例一方面提供了一种图像数据处理装置，包括：

图像获取模块，用于获取包含检测对象的配准图像，获取配准图像和与检测对象相关联的模板图像之间的差分图像；

深度融合模块，用于生成配准图像、模板图像和差分图像之间的深度融合图像特征；

浅度融合模块，用于生成差分图像对应的差分坐标矩阵，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征；

结果确定模块，用于根据稀疏融合图像特征，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

其中，图像获取模块包括：

图像采集单元，用于通过采集组件获取包含检测对象的原始图像，获取采集组件对应的模板图像；

图像配准单元，用于对模板图像和原始图像进行图像配准，得到包含检测对象的配准图像；

差分操作单元，用于对配准图像和模板图像进行差分操作，得到配准图像和模板图像之间的差分图像。

其中，图像配准单元包括：

亮度校正子单元，用于基于模板图像的图像亮度，对原始图像进行亮度校正，得到校正后的原始图像；

图像灰度化子单元，用于对校正后的原始图像进行图像灰度化，得到原始图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵；

图像变换子单元，用于基于原始图像灰度矩阵和模板图像灰度矩阵，将原始图像变换为包含检测对象的配准图像。

其中，图像变换子单元，具体用于对原始图像灰度矩阵进行特征点提取，得到第一图像特征点，对模板图像灰度矩阵进行特征点提取，得到第二图像特征点；

图像变换子单元，还具体用于对第一图像特征点和第二图像特征点进行特征点匹配，得到具有匹配关系的第一匹配特征点和第二匹配特征点；第一匹配特征点属于第一图像特征点，第二匹配特征点属于第二图像特征点；

图像变换子单元，还具体用于确定第一匹配特征点对应的第一坐标位置和第二匹配点特征对应的第二坐标位置，根据第一坐标位置和第二坐标位置，生成与原始图像灰度矩阵和模板图像灰度矩阵相关联的透视变换矩阵；

图像变换子单元，还具体用于基于透视变换矩阵，对原始图像进行透视变换，得到包含检测对象的配准图像。

其中，深度融合模块包括：

第一处理单元，用于对配准图像进行图像灰度化，得到配准图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵，对差分图像进行图像灰度化，得到差分图像灰度矩阵；

第一处理单元，还用于对差分图像灰度矩阵进行均值方差归一化，得到差分图像对应的归一化差分矩阵；

卷积操作单元，用于将配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵输入至目标网络模型；目标网络模型包括深度融合子网络模型；

卷积操作单元，还用于通过深度融合子网络模型分别对配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵进行卷积操作，得到配准图像灰度矩阵对应的深度配准图像特征、模板图像灰度矩阵对应的深度模板图像特征和归一化差分矩阵对应的深度差分图像特征；

深度融合单元，用于对深度配准图像特征、深度模板图像特征和深度差分图像特征进行深度融合，生成配准图像、模板图像和差分图像之间的深度融合图像特征。

其中，目标网络模型还包括浅度融合子网络模型；

浅度融合模块包括：

第二处理单元，用于通过浅度融合子网络模型对差分图像灰度矩阵进行双线性差值处理，得到与深度融合图像特征相匹配的差值图像矩阵；

第二处理单元，还用于对差值图像矩阵进行均值方差归一化，得到差值图像矩阵对应的归一化差值矩阵；

阈值过滤单元，用于获取归一化差值矩阵中的矩阵元素和与矩阵元素相关联的矩阵阈值，根据矩阵阈值对矩阵元素进行阈值过滤，得到差分图像对应的差分坐标矩阵；

浅度融合单元，用于通过浅度融合子网络模型，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征。

其中，卷积操作单元包括：

第一卷积子单元，用于通过深度融合子网络模型对配准图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度配准图像特征；N为正整数；

第二卷积子单元，用于通通过深度融合子网络模型对模板图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度模板图像特征；

第三卷积子单元，用于通通过深度融合子网络模型对归一化差分矩阵进行N次卷积操作，得到N个特征尺寸不同的深度差分图像特征；

则深度融合单元，具体用于将具有相同特征尺寸的深度配准图像特征、深度模板图像特征和深度差分图像特征进行深度融合，得到N个特征尺寸分别对应的深度融合图像特征。

其中，浅度融合模块，具体用于通过浅度融合子网络模型对差分图像灰度矩阵进行N次双线性差值处理，得到N个特征尺寸不同的差值图像矩阵；一个深度融合图像特征的特征尺寸与一个差值图像矩阵的特征尺寸相匹配；

浅度融合模块，还具体用于为N个差值图像矩阵分别生成对应的差分坐标矩阵；

浅度融合模块，还具体用于通过浅度融合子网络模型，对具有相同特征尺寸的差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到N个特征尺寸分别对应的稀疏融合图像特征。

其中，目标网络模型还包括区域预测子网络模型和分类子网络模型；

结果确定模块包括：

区域预测单元，用于通过区域预测子网络模型对稀疏融合图像特征进行识别，得到配准图像中的初始标注区域；

区域预测单元，还用于对初始标注区域进行异常可信度过滤，得到候选标注区域；

区域分类单元，用于在分类子网络模型中，基于深度融合图像特征和候选标注区域，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

其中，分类子网络模型包括M个目标分类网络层；M为正整数；M个目标分类网络层包括目标分类网络层P_j；j为小于或等于M的正整数；

区域分类单元包括：

第一分类子单元，用于通过目标分类网络层P_j确定用于标注检测对象的辅助标注区域，以及目标分类网络层P_j对应的辅助标注区域的辅助分类结果；若目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则目标分类网络层P_j对应的辅助标注区域是基于深度融合图像特征和候选标注区域所生成的；若目标分类网络层P_j不为分类子网络模型中的第一个目标分类网络层，则目标分类网络层P_j对应的辅助标注区域是基于深度融合图像特征和目标分类网络层P_j-1对应的辅助标注区域所生成的；目标分类网络层P_j-1为目标分类网络层P_j的上一个目标分类网络层；

第二分类子单元，用于基于M个目标分类网络层中的每个目标分类网络层分别对应的辅助标注区域，以及每个目标分类网络层分别对应的辅助分类结果，在配准图像中确定用于标注检测对象的异常标注区域，以及异常标注区域的异常分类结果。

其中，第一分类子单元，具体用于若目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则通过目标分类网络层P_j将候选标注区域映射至深度融合图像特征，得到候选标注区域在深度融合图像特征中对应的深度区域图像特征；

第一分类子单元，还具体用于对深度区域图像特征进行特征对齐，得到深度区域图像特征对应的深度区域对齐特征，通过目标分类网络层P_j对深度区域对齐特征进行特征提取，得到深度区域对齐特征对应的区域特征和分类特征；

第一分类子单元，还具体用于对区域特征进行边框回归，得到目标分类网络层P_j对应的用于标注检测对象的辅助标注区域；

第一分类子单元，还具体用于通过目标分类网络层P_j中的分类器对分类特征进行识别，得到目标分类网络层P_j对应的辅助标注区域的辅助分类结果。

本申请实施例一方面提供了一种图像数据处理方法，包括：

获取包含检测对象的样本配准图像、与检测对象相关联的样本模板图像、以及样本配准图像和样本模板图像之间的样本差分图像，获取样本配准图像中的标准异常标注区域和标准异常标注区域的标准异常分类结果；

通过初始网络模型生成样本配准图像、样本模板图像和样本差分图像之间的深度样本图像特征；

通过初始网络模型生成样本差分图像对应的样本差分坐标矩阵，对样本差分坐标矩阵和深度样本图像特征进行稀疏卷积操作，得到样本配准图像对应的稀疏样本图像特征；

根据稀疏样本图像特征，在样本配准图像中确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果；

根据预测异常标注区域和标准异常标注区域，确定初始网络模型的区域损失值，根据预测异常分类结果和标准异常分类结果，确定初始网络模型的分类损失值；

根据区域损失值和分类损失值，确定初始网络模型的总损失值；

根据总损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型。

本申请实施例一方面提供了一种图像数据处理装置，包括：

样本获取模块，用于获取包含检测对象的样本配准图像、与检测对象相关联的样本模板图像、以及样本配准图像和样本模板图像之间的样本差分图像，获取样本配准图像中的标准异常标注区域和标准异常标注区域的标准异常分类结果；

第一融合模块，用于通过初始网络模型生成样本配准图像、样本模板图像和样本差分图像之间的深度样本图像特征；

第二融合模块，用于通过初始网络模型生成样本差分图像对应的样本差分坐标矩阵，对样本差分坐标矩阵和深度样本图像特征进行稀疏卷积操作，得到样本配准图像对应的稀疏样本图像特征；

样本分类模块，用于根据稀疏样本图像特征，在样本配准图像中确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果；

损失确定模块，用于根据预测异常标注区域和标准异常标注区域，确定初始网络模型的区域损失值，根据预测异常分类结果和标准异常分类结果，确定初始网络模型的分类损失值；

损失确定模块，还用于根据区域损失值和分类损失值，确定初始网络模型的总损失值；

模型训练模块，用于根据总损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型。

其中，初始网络模型包括M个初始分类网络层；M为正整数；M个初始分类网络层包括初始分类网络层O_i；i为小于或等于M的正整数；

样本分类模块包括：

特征识别单元，用于对稀疏样本图像特征进行识别，得到样本配准图像中的初始样本标注区域；

第一分类单元，用于通过初始分类网络层O_i确定用于标注检测对象的辅助预测标注区域，以及初始分类网络层O_i对应的辅助预测标注区域的辅助预测分类结果；若初始分类网络层O_i为初始网络模型中的第一个初始分类网络层，则初始分类网络层O_i对应的辅助预测标注区域是基于深度样本图像特征和第一样本标注区域所生成的；第一样本标注区域是指初始样本标注区域和标准异常标注区域之间的第一区域重合度中，满足第一重合度筛选条件的第一区域重合度所对应的初始样本标注区域；若初始分类网络层O_i不为初始网络模型中的第一个初始分类网络层，则初始分类网络层O_i对应的样本预测标注区域是基于深度样本图像特征和第二样本标注区域所生成的；第二样本标注区域是在指初始分类网络层O_i-1对应的辅助预测标注区域和标准异常标注区域之间的第二区域重合度中，满足第二重合度筛选条件的第二区域重合度所对应的辅助预测标注区域；初始分类网络层O_i-1为初始分类网络层O_i的上一个初始分类网络层；

第二分类单元，用于基于M个初始分类网络层中的每个初始分类网络层分别对应的辅助预测标注区域，以及每个初始分类网络层分别对应的辅助预测分类结果，在样本配准图像中确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果。

本申请实施例一方面提供了一种计算机设备，包括：处理器和存储器；

处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本申请实施例提供的方法。

本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例提供的方法。

本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例提供的方法。

在本申请实施例中，具有图像数据处理功能的计算机设备可以获取包含检测对象的配准图像，且获取配准图像和与检测对象相关联的模板图像之间的差分图像。进一步地，计算机设备可以生成配准图像、模板图像和差分图像之间的深度融合图像特征，进而生成差分图像对应的差分坐标矩阵，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征。进一步地，计算机设备可以根据稀疏融合图像特征，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。由此可见，本申请实施例可以获取突出配准图像和模板图像之间的图像差异的差分图像，生成配准图像、模板图像和差分图像之间的深度融合图像特征，可以将突出缺陷的差分图像引入至深度融合图像特征，进而使用稀疏卷积对差分图像所对应的差分特征(即差分坐标矩阵)和深度融合图像特征进行融合，可以确保生成的稀疏融合图像特征的稀疏性，从而在通过稀疏融合图像特征确定异常标注区域和异常分类结果时，可以提高缺陷检测的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构的结构示意图；

图2是本申请实施例提供的一种进行缺陷检测和诊断的场景示意图；

图3是本申请实施例提供的一种图像数据处理方法的流程示意图；

图4是本申请实施例提供的一种进行图像校准的流程示意图；

图5a是本申请实施例提供的一种压伤检测的场景示意图；

图5b是本申请实施例提供的一种粘料检测的场景示意图；

图5c是本申请实施例提供的一种缺料检测的场景示意图；

图5d是本申请实施例提供的一种脏污检测的场景示意图；

图6是本申请实施例提供的一种工业人工智能质检的流程示意图；

图7是本申请实施例提供的一种图像数据处理方法的流程示意图；

图8是本申请实施例提供的一种网络模型的结构示意图；

图9是本申请实施例提供的一种进行差分特征多层次融合的场景示意图；

图10是本申请实施例提供的一种普通卷积和稀疏卷积进行对比的流程示意图；

图11是本申请实施例提供的一种图像数据处理方法的流程示意图；

图12是本申请实施例提供的一种多种匹配策略对比的场景示意图；

图13是本申请实施例提供的一种图像数据处理装置的结构示意图；

图14是本申请实施例提供的一种图像数据处理装置的结构示意图；

图15是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

其中，本申请实施例所提供的方案主要涉及人工智能的计算机视觉(ComputerVision，简称CV)技术和机器学习(Machine Learning，简称ML)技术。

其中，计算机视觉(Computer Vision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

其中，机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。其中，深度学习技术是一种利用深层神经网络系统，进行机器学习的技术。

具体的，请参见图1，图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示，如图1所示，该网络架构可以包括服务器2000和终端设备集群。其中，终端设备集群具体可以包括一个或者多个终端设备，这里将不对终端设备集群中的终端设备的数量进行限定。如图1所示，多个终端设备具体可以包括终端设备3000a、终端设备3000b、终端设备3000c、…、终端设备3000n；终端设备3000a、终端设备3000b、终端设备3000c、…、终端设备3000n可以分别与服务器2000通过有线或无线通信方式进行直接或间接地网络连接，以便于每个终端设备可以通过该网络连接与服务器2000之间进行数据交互。

其中，终端设备集群中的每个终端设备均可以包括：智能手机、平板电脑、笔记本电脑、台式计算机、智能家居、可穿戴设备、车载终端、车间检测终端等具有图像数据处理功能的智能终端。为便于理解，本申请实施例可以在图1所示的多个终端设备中选择一个终端设备作为目标终端设备。例如，本申请实施例可以将图1所示的终端设备3000n作为目标终端设备。

其中，服务器2000可以为终端设备对应的服务器，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，目标终端设备上可以集成安装有用于采集原始图像和模板图像的采集组件，这里的采集组件可以为目标终端设备上用于拍摄照片的摄像头。可以理解的是，原始图像可以包括缺陷图像和非缺陷图像，这里的缺陷图像可以为摄像头所拍摄的部件存在缺陷(该部件即为检测对象)的图像，这里的非缺陷图像可以为摄像头所拍摄的部件不存在缺陷的图像，本申请实施例以原始图像为缺陷图像为例进行说明；模板图像可以为摄像头所拍摄的部件不存在缺陷的图像，这里的模板图像可以为上述非缺陷图像中的任意一个图像。其中，这里的检测对象所对应的缺陷类型可以为多种，本申请实施例不对检测对象所对应的缺陷类型进行限定。

可以理解的是，本申请所提供的图像数据处理方法可以由计算机设备执行，该计算机设备可以为上述目标终端设备，也可以为上述服务器2000，还可以为目标终端设备和服务器2000共同组成。其中，在本申请所提供的图像数据处理方法由目标终端设备执行时，目标终端设备可以基于采集组件获取到的原始图像和模板图像，确定与原始图像和模板图像相关联的配准图像，进而获取配准图像和模板图像之间的差分图像，基于差分图像、配准图像和模板图像，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。可选的，在本申请所提供的图像数据处理方法由服务器2000执行时，目标终端设备可以将基于采集组件获取到的原始图像和模板图像发送至服务器2000，这样，服务器2000在接收到目标终端设备通过采集组件所提供的原始图像和模板图像之后，对原始图像进行预处理，得到与原始图像和模板图像相关联的配准图像，进而在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

应当理解，本申请所提供的图像数据处理方法可以较好的融合传统算法和深度学习算法，可以用于工业场景下的缺陷检测和诊断。在现代工业制造中，通过引进流水线使得生产效率得以提高。但复杂的工艺也不可避免的导致了产品缺陷的产生。而这些缺陷多依赖于环境条件，概率性发生，需要在后期，对于缺陷进行统计分析。因此，对于成品的缺陷检测和诊断，是现代生产工艺中必不可少的一个环节。

在当前的工业AI质检平台中，工业制造元器件，尤其是3C(China CompulsoryCertification，简称CCC，中国强制性产品认证)类元器件，通常较小，构造精密，因此摄像头都是针对缺陷频发位置，设计成多角度拍摄(即多个摄像头可以针对同一3C类元器件进行不同角度的拍摄)，具体到某一个摄像头时，都会有一个固定的“ROI(Region ofInterest，感兴趣区域)区域”拍照清晰，其余区域则相对模糊，留给其他的摄像头来拍照，这里的ROI区域可以为当前摄像头可以拍摄到的清晰区域。其中，这里的3C类元器件可以为数码产品中的元器件，例如，手机终端中的各种元器件。因此，上述原始图像和模板图像可以为同一摄像头所拍摄的照片，不同摄像头可以对应于不同的原始图像，且不同摄像头也可以对应于不同的模板图像。

为便于理解，进一步地，请参见图2，图2是本申请实施例提供的一种进行缺陷检测和诊断的场景示意图。如图2所示的图像20a可以为计算机设备通过采集组件所获取到的原始图像(即原始图)，如图2所示的图像20b可以为计算机设备通过采集组件所获取到的模板图像(即模板图)。其中，原始图像20a中包含检测对象，模板图像20b中不包含检测对象。

如图2所示，计算机设备在获取到包含检测对象的原始图像20a之后，若需要对该原始图像20a进行缺陷检测和诊断，则可以将原始图像20a通过图像配准算法与模板图像20b对齐(即基于模板图像20b对原始图像20a进行图像配准)，得到原始图像20a对应的配准图像20c。其中，配准图像20c中可以包含检测对象，这里的图像配准是指对两幅不同条件下(不同时间，不同成像设备，不同角度、光照等条件)获取的图像(即模板图像20b和原始图像20a)进行匹配的过程。

可以理解的是，模板图像20b和配准图像20c为同一元器件在相同角度下的经过配准的图像，计算机设备可以对图2所示的模板图像20b和配准图像20c进行差分操作，得到模板图像20b和配准图像20c之间的差分图像(即差分图)，其中，该差分操作可以削弱模板图像20b和配准图像20c之间的相似部分，同时突出显示模板图像20b和配准图像20c之间的变化部分。进一步地，计算机设备可以获取用于进行缺陷检测和诊断的目标网络模型，通过目标网络模型生成配准图像20c、模板图像20b和差分图像之间的深度融合图像特征。其中，深度融合图像特征融合了配准图像20c对应的深度配准图像特征、模板图像20b对应的深度模板图像特征和差分图像对应的深度差分图像特征。

如图2所示，计算机设备可以生成差分图像对应的差分坐标矩阵，进而通过目标网络模型对差分坐标矩阵和上述深度融合图像特征进行稀疏卷积操作，得到配准图像20c对应的稀疏融合图像特征。其中，差分坐标矩阵可以理解为差分图像所对应的差分特征。进一步地，计算机设备可以根据稀疏融合图像特征，确定缺陷检测和诊断的结果，即确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。其中，本申请实施例不对这里的异常标注区域的区域数量进行限定，例如，这里的异常标注区域可以为图2所示的异常标注区域20e，该异常标注区域20e对应的异常分类结果可以为异常分类结果G。

其中，可以理解的是，计算机设备在确定得到异常标注区域20e和异常标注区域20e的异常分类结果G之后，可以在配准图像20c中显示该异常标注区域20e和异常分类结果G，得到标注后的配准图像20c，即图2所示的结果图像20d。其中，异常分类结果可以表示异常标注区域所属的缺陷类型和该缺陷类型所对应的缺陷概率，例如，在缺陷类型包括两类时，这两类缺陷类型可以为缺陷类型L₁和缺陷类型L₂，对于异常标注区域20e而言，缺陷类型L₁对应的缺陷概率可以为F₁，缺陷类型L₂对应的缺陷概率可以为F₂，在缺陷概率F₁大于缺陷概率F₂时，计算机设备可以将缺陷类型L₁和缺陷概率F₁作为异常分类结果G，且在结果图像20d中显示缺陷类型L₁和缺陷概率F₁。

进一步地，请参见图3，图3是本申请实施例提供的一种图像数据处理方法的流程示意图。该方法可以由计算机设备执行，该计算机设备可以为服务器，也可以为终端设备，还可以由服务器和终端设备共同组成，该服务器可以为上述图1所对应实施中的服务器2000，该终端设备可以为上述图1所对应实施中的终端设备3000a。其中，该图像数据处理方法可以包括以下步骤S101-步骤S104：

步骤S101，获取包含检测对象的配准图像，获取配准图像和与检测对象相关联的模板图像之间的差分图像；

具体的，计算机设备可以通过采集组件获取包含检测对象的原始图像，获取采集组件对应的模板图像。其中，这里的采集组件可以为同一终端设备中的摄像头针对同一位置所拍摄的图像。进一步地，计算机设备可以对模板图像和原始图像进行图像配准，得到包含检测对象的配准图像。进一步地，计算机设备可以对配准图像和模板图像进行差分操作，得到配准图像和模板图像之间的差分图像。

其中，差分操作可以把配准图像和模板图像分别对应的像素值相减，以削弱配准图像和模板图像之间的相似部分、且突出配准图像和模板图像之间的变化部分。可以理解的是，在对配准图像和模板图像分别对应的像素值相减的过程中，若存在差值小于0的像素值，则将取该差值的绝对值作为差分图像中的像素值。

应当理解，计算机设备对模板图像和原始图像进行图像配准(即图像校准)的具体过程可以描述为：计算机设备可以基于模板图像的图像亮度，对原始图像进行亮度校正，得到校正后的原始图像。进一步地，计算机设备可以对校正后的原始图像进行图像灰度化，得到原始图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵。进一步地，计算机设备可以基于原始图像灰度矩阵和模板图像灰度矩阵，将原始图像变换为包含检测对象的配准图像。

其中，通过原始图像和模板图像所分别包括的颜色通道(例如，RGB(Red、Green、Blue)通道)可以确定原始图像和模板图像所分别对应的图像亮度，通过基于模板图像的图像亮度，对原始图像所包括的颜色通道的颜色值进行修改，可以修改原始图像所对应的图像亮度，以得到校正后的原始图像。

其中，对图像进行图像灰度化(即灰度化处理、图像灰度化处理)，可以得到灰度图像，灰度图像上每个像素的颜色值又称为灰度(即灰度值)，灰度指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0。其中，灰度图像又可以称之为灰度矩阵，本申请实施例不对图像灰度化所使用的具体方法进行限定，例如，这里的图像灰度化方法可以为分量法、最大值法、平均值法、加权平均法。

应当理解，计算机设备将原始图像变换为配准图像的具体过程可以描述为：计算机设备可以对原始图像灰度矩阵进行特征点提取，得到第一图像特征点，对模板图像灰度矩阵进行特征点提取，得到第二图像特征点。进一步地，计算机设备可以对第一图像特征点和第二图像特征点进行特征点匹配，得到具有匹配关系的第一匹配特征点和第二匹配特征点。其中，第一匹配特征点属于第一图像特征点，第二匹配特征点属于第二图像特征点。进一步地，计算机设备可以确定第一匹配特征点对应的第一坐标位置和第二匹配点特征对应的第二坐标位置，根据第一坐标位置和第二坐标位置，生成与原始图像灰度矩阵和模板图像灰度矩阵相关联的透视变换矩阵。进一步地，计算机设备可以基于透视变换矩阵，对原始图像进行透视变换，得到包含检测对象的配准图像。

可以理解的是，计算机设备可以通过特征点提取算法对原始图像灰度矩阵和模板图像灰度矩阵进行特征点提取，第一匹配特征点和第二匹配特征点为第一图像特征点和第二图像特征点中最匹配的特征点对。应当理解，特征点提取算法可以为SURF(Speeded UpRobust Features，加速稳健特征)算法，本申请实施例不对特征点提取算法的类型进行限定。

其中，计算机设备可以获取与第一图像特征点相关联的第一特征向量和与第二图像特征点相关联的第二特征向量，确定第一特征向量和第二特征向量之间的特征相似性，即确定第一特征向量和第二特征向量之间的向量距离，进而将向量距离满足向量阈值的第一特征向量所对应的第一图像特征点确定为第一匹配特征点，将向量距离满足向量阈值的第二特征向量所对应的第二图像特征点确定为第二匹配特征点。应当理解，本申请实施例不对确定特征相似性的具体方式进行限定。

为便于理解，请参见图4，图4是本申请实施例提供的一种进行图像校准的流程示意图。如图4所示，缺陷图即为原始图像，模板图即为模板图像，计算机设备可以对缺陷图和模板图进行亮度校正，可以得到亮度校正后的缺陷图和亮度校正后的模板图(即模板图)，进而对亮度校正后的缺陷图进行图像灰度化，得到灰度化的缺陷图，且对模板图进行图像灰度化，得到灰度化的模板图。其中，灰度化的缺陷图可以表示为原始图像灰度矩阵，灰度化的模板图可以表示为模板图像灰度矩阵。

如图4所示，计算机设备可以对灰度化的缺陷图提取特征点，得到灰度化的缺陷图对应的第一图像特征点，且对灰度化的模板图提取特征点，得到灰度化的模板图对应的第二图像特征点。进一步地，计算机设备对第一图像特征点和第二图像特征点进行特征点的匹配，得到与第一图像特征点和第二图像特征点相关联的变换透视矩阵(即透视变换矩阵)，进而基于该变换透视矩阵对缺陷图进行透视变化，得到透视变换后的缺陷图(即配准图)，这里的配准图即为配准图像。

步骤S102，生成配准图像、模板图像和差分图像之间的深度融合图像特征；

具体的，计算机设备可以对配准图像进行图像灰度化，得到配准图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵，对差分图像进行图像灰度化，得到差分图像灰度矩阵。进一步地，计算机设备可以对差分图像灰度矩阵进行均值方差归一化，得到差分图像对应的归一化差分矩阵。进一步地，计算机设备可以将配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵输入至目标网络模型。其中，目标网络模型中可以包括深度融合子网络模型。进一步地，计算机设备可以通过深度融合子网络模型分别对配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵进行卷积操作，得到配准图像灰度矩阵对应的深度配准图像特征、模板图像灰度矩阵对应的深度模板图像特征和归一化差分矩阵对应的深度差分图像特征。进一步地，计算机设备可以对深度配准图像特征、深度模板图像特征和深度差分图像特征进行深度融合，生成配准图像、模板图像和差分图像之间的深度融合图像特征。其中，这里的深度融合图像特征还可以理解为多层语义特征。

其中，计算机设备对配准图像和差分图像分别进行图像灰度化的具体过程，可以参见上述对模板图像进行图像灰度化的描述，这里将不再进行赘述。

其中，为避免引入噪声，计算机设备可以获取差分图像灰度矩阵中的每个像素的灰度值，确定这些灰度值所对应的平均值和方差，进而将差分图像灰度矩阵中的每个像素的灰度值减平均值、除方差，可以理解的是，该均值方差归一化可以把所有灰度值映射到0-1之间。

其中，目标网络模型中可以包括用于进行特征深度融合的深度融合子网络模型、用于进行稀疏卷积操作(即特征浅度融合)的浅度融合子网络模型、用于进行区域预测的区域预测子网络模型和用于进行区域分类的分类子网络模型。

应当理解，基于图像校准操作可以抑制绝大部分的噪声，从而得到突出缺陷的差分特征图(即差分图像)。为了有效地将差分特征图结合到深度学习算法中，通过对配准图(即配准图像)、模板图(即模板图像)和差分图(即差分图像)分别灰度化之后压缩成三通道输入到深度网络(即深度融合子网络模型)中，在深度网络中，不断堆叠的卷积操作可以较好地实现差分特征的深度融合，以得到语义特征图(即深度融合图像特征)。

步骤S103，生成差分图像对应的差分坐标矩阵，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征；

具体的，计算机设备可以通过浅度融合子网络模型(即目标网络模型中的浅度融合子网络模型)对差分图像灰度矩阵进行双线性差值处理，得到与深度融合图像特征相匹配的差值图像矩阵。进一步地，计算机设备可以对差值图像矩阵进行均值方差归一化，得到差值图像矩阵对应的归一化差值矩阵。进一步地，计算机设备可以获取归一化差值矩阵中的矩阵元素和与矩阵元素相关联的矩阵阈值，根据矩阵阈值对矩阵元素进行阈值过滤，得到差分图像对应的差分坐标矩阵。进一步地，计算机设备可以通过浅度融合子网络模型，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征。

其中，双线性差值可以用于修改差分图像灰度矩阵的尺寸，得到与差分图像灰度矩阵具有不同尺寸的差值图像矩阵。

其中，计算机设备对差值图像矩阵进行均值方差归一化，得到归一化差值矩阵的具体过程，可以参见上述对差分图像灰度矩阵进行均值方差归一化，得到归一化差分矩阵的描述，这里将不再进行赘述。

其中，阈值过滤可以过滤归一化差值矩阵中小于或等于矩阵阈值(例如，0.12)的矩阵元素，即基于归一化差值矩阵中的大于矩阵阈值的矩阵元素，得到差分图像对应的差分坐标矩阵，这里的差分坐标很可以为稀疏矩阵。

应当理解，稀疏卷积操作可以理解为特征浅度融合，特征浅度融合指的是直接对差分特征图(即差分坐标矩阵)和语义特征图(即深度融合图像特征)进行结合，在对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作时，可以将差分坐标矩阵和深度融合图像特征作为稀疏卷积的输入，将差分坐标矩阵和深度融合图像特征的乘积操作所对应的结果作为稀疏融合图像特征。为减小计算量并保持缺陷特征的稀疏性，在本发明中，使用稀疏卷积对差分特征和深度语义特征(即深度融合图像特征)进行融合。

步骤S104，根据稀疏融合图像特征，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

具体的，计算机设备可以通过区域预测子网络模型(即目标网络模型中的区域预测子网络模型)对稀疏融合图像特征进行识别，得到配准图像中的初始标注区域。进一步地，计算机设备可以对初始标注区域进行异常可信度过滤，得到候选标注区域。进一步地，计算机设备可以在分类子网络模型(即目标网络模型中的分类子网络模型)中，基于深度融合图像特征和候选标注区域，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

其中，本申请所提供的目标网络模型采用的是二阶段目标检测方法(即第一阶段找出目标边界框，第二阶段识别边界框中的目标类别)，区域预测子网络模型可以直接预测检测对象所对应的候选框的位置，即初始标注区域的位置。应当理解，区域预测子网络模型可以为RPN网络(Region Proposal Network，候选区域网络)，本申请实施例不对区域预测子网络模型的模型类型进行限定。

其中，异常可信度过滤可以对上述区域预测子网络模型所得到的初始标注区域进行过滤。可以理解的是，计算机设备可以通过目标检测算法对初始标注区域进行目标检测，确定初始标注区域为“目标”或“非目标”。其中，在初始标注区域对应的可信度值大于可信度阈值时，该初始标注区域可以被认为是“目标”，在初始标注区域对应的可信度至不大于可信度阈值时，该初始标注区域可以被认为是“非目标”。进一步地，计算机设备可以在初始标注区域中筛选得到“目标”所对应的初始标注区域，即候选标注区域。

其中，区域预测子网络模型生成的均为粗略的候选框(即候选标注区域)，分类子网络模型可以对候选标注区域进行进一步精修(即微调)，且对该候选标注区域进行分类，得到调整后的候选标注区域(即异常标注区域)和调整后的候选标注区域的分类结果(即异常分类结果)。应当理解，分类子网络模型可以为级联RCNN网络(Region ConvolutionalNeural Networks)，该级联RCNN网络可以为Cascade RCNN模型(Cascade RegionConvolutional Neural Networks)，本申请实施例不对分类子网络模型的模型类型进行限定。

可以理解的是，在本申请实施例所提供的图像数据处理方法应用于工业场景时，元器件可以为手机摄像头支架配件，在以手机摄像头支架配件为对象进行分析时，图5a-图5b展示了正常配件和缺陷配件的对比图。从图5a-图5b所示的有缺陷的图像中可以看出，各类缺陷种类表现不同，且缺陷尺度大小分布差异较大。因此需要鲁棒的算法来针对于多种复杂情况进行研究。

为便于理解，请参见图5a，图5a是本申请实施例提供的一种压伤检测的场景示意图。如图5a所示，图像50a可以为正常配件图片，图像50b可以为缺陷配件图片，该图像50a可以作为模板图像，在该图像50a作为模板图像时，在图像50b中确定的用于标注检测对象的异常标注区域(即缺陷标识)可以为区域50c，区域50c的异常分类结果(即缺陷类型)可以为“压伤”。

为便于理解，请参见图5b，图5b是本申请实施例提供的一种粘料检测的场景示意图。如图5b所示，图像51a可以为正常配件图片，图像51b可以为缺陷配件图片，该图像51a可以作为模板图像，在该图像51a作为模板图像时，在图像51b中确定的用于标注检测对象的异常标注区域(即缺陷标识)可以为区域51c，区域51c的异常分类结果(即缺陷类型)可以为“粘料”。

为便于理解，请参见图5c，图5c是本申请实施例提供的一种缺料检测的场景示意图。如图5c所示，图像52a可以为正常配件图片，图像52b可以为缺陷配件图片，该图像52a可以作为模板图像，在该图像52a作为模板图像时，在图像52b中确定的用于标注检测对象的异常标注区域(即缺陷标识)可以为区域52c，区域52c的异常分类结果(即缺陷类型)可以为“缺料”。

为便于理解，请参见图5d，图5d是本申请实施例提供的一种脏污检测的场景示意图。如图5d所示，图像53a可以为正常配件图片，图像53b可以为缺陷配件图片，该图像53a可以作为模板图像，在该图像53a作为模板图像时，在图像53b中确定的用于标注检测对象的异常标注区域(即缺陷标识)可以为区域53c，区域53c的异常分类结果(即缺陷类型)可以为“脏污”。

为便于理解，请参见图6，图6是本申请实施例提供的一种工业人工智能质检的流程示意图。如图6所示为工业AI质检的流程图，该工业AI质检的流程图可以应用于工业AI质检平台120a，工业AI质检平台120a中可以包括针对同一元器件进行不同角度拍摄的多个摄像头，多个摄像头具体可以包括：摄像头1、摄像头2、…、摄像头T。

如图6所示，摄像头2所拍摄的图片可以为原始图，本发明首先将拍摄图片的ROI区域通过图像配准算法与标准图(即模板图)对齐，得到原始图对应的配准图，进而对标准图的ROI区域和校准后的ROI区域(即配准图的ROI区域)取差分特征，该差分特征用于候选的缺陷检测模块来定位并识别出ROI区域内的缺陷。其中，缺陷检测模块可以理解为目标网络模型，基于该缺陷检测模块(即目标网络模型)可以输出包含缺陷检测框(即异常标注区域)和缺陷类型(即异常分类结果)的结果图。

其中，这里以摄像头1、摄像头2、…、摄像头T中的摄像头2为例进行说明，对其他摄像头所拍摄的图片进行缺陷检测和诊断的具体过程，可以参见上述对摄像头2所拍摄的图片进行缺陷检测和诊断的描述。

可以理解的是，不同的摄像头可以对应于不同的标准图，T个摄像头可以对应与至少T个标准图，T个摄像头所分别提供的T个原始图可以分别对应于T个结果图。其中，T个结果图中的每个结果图上可以包括多个不同尺度的缺陷检测框，本申请实施例不对每个结果图上所包含的缺陷检测框的数量进行限定。

由此可见，本申请实施例可以在获取到原始图像之后，对原始图像进行预处理(即图像配准)，得到原始图像对应的配准图像，进而在获取到配准图像之后，可以获取突出配准图像和模板图像之间的图像差异的差分图像，生成配准图像、模板图像和差分图像之间的深度融合图像特征，可以将突出缺陷的差分图像引入至深度融合图像特征，进而使用稀疏卷积对差分图像所对应的差分特征(即差分坐标矩阵)和深度融合图像特征进行融合，可以确保生成的稀疏融合图像特征的稀疏性，从而在通过稀疏融合图像特征确定异常标注区域和异常分类结果时，可以提高缺陷检测的准确性。

进一步地，请参见图7，图7是本申请实施例提供的一种图像数据处理方法的流程示意图。该方法可以由计算机设备执行，该计算机设备可以为服务器，也可以为终端设备，还可以由服务器和终端设备共同组成，该服务器可以为上述图1所对应实施中的服务器2000，该终端设备可以为上述图1所对应实施中的终端设备3000a。其中，该图像数据处理方法可以包括以下步骤S201-步骤S209：

步骤S201，对配准图像进行图像灰度化，得到配准图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵，对差分图像进行图像灰度化，得到差分图像灰度矩阵；

其中，计算机设备对配准图像、模板图像和差分图像分别进行图像灰度化的具体过程，可以参见上述图3所对应实施例中对步骤S102的描述，这里将不再进行赘述。

步骤S202，对差分图像灰度矩阵进行均值方差归一化，得到差分图像对应的归一化差分矩阵；

其中，计算机设备对差分图像灰度矩阵进行均值方差归一化的具体过程，可以参见上述图3所对应实施例中对步骤S102的描述，这里将不再进行赘述。

步骤S203，将配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵输入至目标网络模型；

其中，目标网络模型中可以包括深度融合子网络模型(即目标深度融合子网络模型)，目标网络模型还可以包括浅度融合子网络模型(即目标浅度融合子网络模型)、区域预测子网络模型(即目标区域预测子网络模型)和分类子网络模型(即目标分类子网络模型)。

为便于理解，请参见图8，图8是本申请实施例提供的一种网络模型的结构示意图。图8所示的流程图中可以包括4个子网络模型，这4个子网络模型具体可以包括图8所示的子网络模型100a、子网络模型100b、子网络模型100c和子网络模型100d。在如图8所示的流程图对应于模型预测的过程时，图8所示的网络模型可以为目标网络模型，该目标网络模型是对初始网络模型进行训练得到的，在图8所示的网络模型为目标网络模型时，子网络模型100a可以称之为深度融合子网络模型，子网络模型100b可以称之为浅度融合子网络模型，子网络模型100c可以称之为区域预测子网络模型，子网络模型100d可以称之为分类子网络模型。

步骤S204，通过深度融合子网络模型分别对配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵进行卷积操作，得到配准图像灰度矩阵对应的深度配准图像特征、模板图像灰度矩阵对应的深度模板图像特征和归一化差分矩阵对应的深度差分图像特征；

具体的，计算机设备可以通过深度融合子网络模型对配准图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度配准图像特征。其中，这里的N可以为正整数。进一步地，计算机设备可以通过深度融合子网络模型对模板图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度模板图像特征。进一步地，计算机设备可以通过深度融合子网络模型对归一化差分矩阵进行N次卷积操作，得到N个特征尺寸不同的深度差分图像特征。

其中，深度融合子网络模型中可以包括N层卷积核，以实现对配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵的N次卷积操作，一层卷积核对应一次卷积操作。应当理解，N层卷积核中的每层卷积核中可以对应多个卷积核，N次卷积操作中的每次卷积操作可以通过该次卷积操作所对应的多个卷积核对配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵分别进行多次实际的卷积操作，即N次卷积操作中的每次卷积操作可以对应多次实际的卷积操作。

步骤S205，对深度配准图像特征、深度模板图像特征和深度差分图像特征进行深度融合，生成配准图像、模板图像和差分图像之间的深度融合图像特征；

具体的，计算机设备可以将具有相同特征尺寸的深度配准图像特征、深度模板图像特征和深度差分图像特征进行深度融合，得到N个特征尺寸分别对应的深度融合图像特征。

可以理解的是，N个深度融合图像特征包括具有特征尺寸e的深度配准图像特征、具有特征尺寸e的深度模板图像特征和具有特征尺寸e的深度差分图像特征，计算机设备可以对具有特征尺寸e的深度配准图像特征、具有特征尺寸e的深度模板图像特征和具有特征尺寸e的深度差分图像特征进行深度融合，得到特征尺寸e对应的深度融合图像特征。其中，这里的特征尺寸e可以属于N个特征尺寸。

请再参见图8，计算机设备可以对配准图像进行图像灰度化，得到配准图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵，对差分图像进行图像灰度化，得到差分图像灰度矩阵。进一步地，计算机设备可以将配准图像灰度矩阵、模板图像灰度矩阵和差分图像灰度矩阵作为三个通道输入至深度融合子网络模型100a，通过深度融合子网络模型100a生成深度融合图像特征。其中，深度融合图像特征的数量可以为N个，N个深度融合图像特征中的一个深度融合图像特征对应一个特征尺寸，这里的N可以为正整数，这里以深度融合图像特征的数量为5个为例进行说明。

其中，应当理解，计算机设备还需要对差分图像灰度矩阵进行均值方差归一化，得到归一化差分矩阵，进而将归一化差分矩阵输入至深度融合子网络模型100a。

步骤S206，通过浅度融合子网络模型对差分图像灰度矩阵进行N次双线性差值处理，得到N个特征尺寸不同的差值图像矩阵；

其中，一个深度融合图像特征的特征尺寸与一个差值图像矩阵的特征尺寸相匹配。

步骤S207，为N个差值图像矩阵分别生成对应的差分坐标矩阵；

可以理解的是，计算机设备可以对N个差值图像矩阵分别进行均值方差归一化，得到N个差值图像矩阵分别对应的归一化差值矩阵。进一步地，计算机设备可以分别获取N个归一化差值矩阵中的矩阵元素和与矩阵元素相关联的矩阵阈值，根据矩阵阈值对矩阵元素进行阈值过滤，得到差分图像对应的N个差分坐标矩阵。其中，一个归一化差值矩阵对应一个差分坐标矩阵。

步骤S208，通过浅度融合子网络模型，对具有相同特征尺寸的差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到N个特征尺寸分别对应的稀疏融合图像特征。

其中，N个深度融合图像特征中包括特征尺寸e对应的深度融合图像特征，相应的，N个差分坐标矩阵中包括特征尺寸e对应的差分坐标矩阵，计算机设备可以通过浅度融合子网络模型，对具有特征尺寸e的深度融合图像特征和具有特征尺寸e的差分坐标矩阵进行稀疏卷积操作，得到具有特征尺寸e的稀疏融合图像特征。

请再参见图8，浅度融合子网络模型100b可以分别对差分图像灰度矩阵进行N次双线性差值处理，得到与N个深度融合图像特征相匹配的N个差值图像矩阵，进而分别对N个差值图像矩阵进行均值方差归一化，得到N个差值图像矩阵分别对应的归一化差值矩阵。进一步地，计算机设备可以基于归一化差值矩阵生成差分图像对应的差分坐标矩阵，这里的差分坐标矩阵的数量可以为N个(例如，5个)，一个差分坐标矩阵对应一个特征尺寸。

如图8所示，计算机设备可以通过浅度融合子网络模型100b对具有相同特征尺度的差分坐标矩阵和深度融合图像特征进行浅度融合，即进行稀疏卷积操作，得到5个特征尺寸分别对应的稀疏融合图像特征。其中，5个深度融合图像特征中可以包括深度融合图像特征101a，5个差分坐标矩阵中可以包括差分坐标矩阵101b，对深度融合图像特征101a和差分坐标矩阵101b进行稀疏卷积操作，可以的得到稀疏融合图像特征101c。

为便于理解，请参见图9，图9是本申请实施例提供的一种进行差分特征多层次融合的场景示意图。如图9所示的特征70a可以为输入至深度融合子网络模型中的配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵所构成的三通道特征，对配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵所构成的三通道特征进行卷积操作，并对生成的特征进行深度融合之后，可以得到N个深度融合图像特征，这里的N可以为正整数，N个深度融合图像特征具体可以包括：深度融合图像特征Y₁、深度融合图像特征Y₂、…、深度融合图像特征Y₃。

如图9所示，与N个深度融合图像特征相匹配的差分坐标矩阵的数量可以为N个，N个差分坐标矩阵具体可以包括：差分坐标矩阵X₁、差分坐标矩阵X₂、…、差分坐标矩阵X_N。其中，与深度融合图像特征Y₁相匹配的差分坐标矩阵可以为差分坐标矩阵X₁，与深度融合图像特征Y₂相匹配的差分坐标矩阵可以为差分坐标矩阵X₂，…，与深度融合图像特征Y_N相匹配的差分坐标矩阵可以为差分坐标矩阵X_N。

如图9所示，计算机设备可以对差分坐标矩阵X₁和深度融合图像特征Y₁进行稀疏卷积操作，得到稀疏融合图像特征Z₁；计算机设备可以对差分坐标矩阵X₂和深度融合图像特征Y₂进行稀疏卷积操作，得到稀疏融合图像特征Z₂；…；计算机设备可以对差分坐标矩阵X_N和深度融合图像特征Y_N进行稀疏卷积操作，得到稀疏融合图像特征Z_N。

为便于理解，请参见图10，图10是本申请实施例提供的一种普通卷积和稀疏卷积进行对比的流程示意图。如图10所示为普通卷积80a和稀疏卷积80b的差异，如图10所示的矩阵81a和矩阵82a可以为同一个矩阵，该矩阵为稀疏二维数据。其中，白点是有值区域，灰点是无值区域。

如图10所示，在普通卷积80a中，矩阵81b是对矩阵81a进行一次卷积的结果，矩阵81c是对矩阵81a进行两次卷积的结果，随着卷积层的增加，原本稀疏的数据会变得越来越稠密，圆环会变得逐渐膨胀。因此，使用普通卷积的网络，很可能从稀疏的数据中学出稠密的特征，这种特征会破坏原始数据的稀疏原貌；在稀疏卷积80b中，矩阵82b是对矩阵82a进行一次卷积的结果，矩阵82c是对矩阵82a进行两次卷积的结果，随着卷积层的增加，依然可以保持数据的稀疏性。

因此，通过如图10所示的普通卷积与稀疏卷积的对比可知，普通卷积容易提取到失真的特征(即从稀疏的数据中提取出稠密的特征)。此外，普通卷积会产生不必要的计算，稀疏卷积相比普通卷积计算量更小。

步骤S209，根据稀疏融合图像特征，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

具体的，计算机设备可以通过区域预测子网络模型对稀疏融合图像特征进行识别，得到配准图像中的初始标注区域。进一步地，计算机设备可以对初始标注区域进行异常可信度过滤，得到候选标注区域。可以理解的是，目标分类子网络模型(即分类子网络模型)可以包括M个目标分类网络层，这里的M可以为正整数，目标分类子网络模型中的M个目标分类网络层可以对应与初始分类子网络模型中的M个初始分类网络层；M个目标分类网络层可以包括目标分类网络层P_j，这里的j可以为小于或等于M的正整数。进一步地，计算机设备可以通过目标分类网络层P_j确定用于标注检测对象的辅助标注区域，以及目标分类网络层P_j对应的辅助标注区域的辅助分类结果。其中，若目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则目标分类网络层P_j对应的辅助标注区域是基于深度融合图像特征和候选标注区域所生成的。可选的，若目标分类网络层P_j不为分类子网络模型中的第一个目标分类网络层，则目标分类网络层P_j对应的辅助标注区域是基于深度融合图像特征和目标分类网络层P_j-1对应的辅助标注区域所生成的。其中，目标分类网络层P_j-1为目标分类网络层P_j的上一个目标分类网络层。进一步地，计算机设备可以基于M个目标分类网络层中的每个目标分类网络层分别对应的辅助标注区域，以及每个目标分类网络层分别对应的辅助分类结果，在配准图像中确定用于标注检测对象的异常标注区域，以及异常标注区域的异常分类结果。

可以理解的是，计算机设备通过目标分类网络层P_j确定用于标注检测对象的辅助标注区域，以及目标分类网络层P_j对应的辅助标注区域的辅助分类结果的具体过程可以描述为：若目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则计算机设备可以通过目标分类网络层P_j将候选标注区域映射至深度融合图像特征，得到候选标注区域在深度融合图像特征中对应的深度区域图像特征。进一步地，计算机设备可以对深度区域图像特征进行特征对齐，得到深度区域图像特征对应的深度区域对齐特征，通过目标分类网络层P_j对深度区域对齐特征进行特征提取，得到深度区域对齐特征对应的区域特征和分类特征。进一步地，计算机设备可以对区域特征进行边框回归，得到目标分类网络层P_j对应的用于标注检测对象的辅助标注区域。进一步地，计算机设备可以通过目标分类网络层P_j中的分类器对分类特征进行识别，得到目标分类网络层P_j对应的辅助标注区域的辅助分类结果。

可选的，若目标分类网络层P_j不为分类子网络模型中的第一个目标分类网络层，则计算机设备通过目标分类网络层P_j确定辅助标注区域和辅助分类结果的具体过程，可以参见上述确定第一个目标分类网络层对应的辅助标注区域和辅助分类结果的描述，这里将不再进行赘述。

请再参见图8，本申请实施例以目标分类网络层的数量为3个为例进行说明，3个目标分类网络层可以包括目标分类网络层102a、目标分类网络层102b和目标分类网络层102c，该目标分类网络层102a、目标分类网络层102b和目标分类网络层102c可以以级联的方式布局在分类子网络模型中，目标分类网络层102a为分类子网络模型中的第一个目标分类网络层，目标分类网络层102b和目标分类网络层102c不为分类子网络模型中的第一个目标分类网络层。其中，目标分类网络层102a中包括子网络W₁和用于进行特征提取的网络H₁，目标分类网络层102b中包括子网络W₂和用于进行特征提取的网络H₂，目标分类网络层102c中包括子网络W₃和用于进行特征提取的网络H₃。此时，子网络W₁、子网络W₂和子网络W₃为训练后的子网络，网络H₁、网络H₂和网络H₃为训练后网络。子网络W₁、子网络W₂和子网络W₃可以将区域调整到固定尺寸，这里的子网络W₁、子网络W₂和子网络W₃可以为ROI Pooling(即ROI池化层)。

其中，可以理解的是，B0可以为候选标注区域，B1可以为目标分类网络层102a对应的辅助标注区域，C1可以为目标分类网络层102a对应的辅助分类结果，B2可以为目标分类网络层102b对应的辅助标注区域，C2可以为目标分类网络层102b对应的辅助分类结果，B3可以为目标分类网络层102c对应的辅助标注区域，C3可以为初始分类网络层102c对应的辅助分类结果。

如图8所示，通过目标分类网络层102a中的子网络W₁可以基于深度融合图像特征和候选标注区域，确定子网络W₁对应的深度区域对齐特征，进而基于目标分类网络层102a中的网络H₁对子网络W₁对应的深度区域对齐特征进行特征提取，得到目标分类网络层102a对应的辅助标注区域(即B1)，以及目标分类网络层102a对应的辅助分类结果(即C1)。

如图8所示，通过目标分类网络层102b中的子网络W₂可以基于深度融合图像特征和目标分类网络层102a对应的辅助标注区域，确定子网络W₂对应的深度区域对齐特征，进而基于目标分类网络层102b中的网络H₂对子网络W₂对应的深度区域对齐特征进行特征提取，得到目标分类网络层102b对应的辅助标注区域(即B2)，以及目标分类网络层102b对应的辅助分类结果(即C2)。以此类推，通过目标分类网络层102c可以确定目标分类网络层102c对应的辅助标注区域(即B3)，以及目标分类网络层102c对应的辅助分类结果(即C3)。

可以理解的是，计算机设备可以基于M个目标分类网络层中的每个目标分类网络层分别对应的辅助标注区域，在配准图像中确定用于标注检测对象的异常标注区域，计算机设备还可以基于每个目标分类网络层分别对应的辅助分类结果，确定异常标注区域的异常分类结果。其中，通过对每个目标分类网络层分别对应的辅助标注区域进行平均，可以确定异常标注区域；通过对每个目标分类网络层分别对应的辅助分类结果进行平均，可以确定异常分类结果。可选的，通过NMS(Non-Maximum Suppression，非极大值抑制)算法可以对每个初始分类网络层分别对应的辅助标注区域和每个初始分类网络层分别对应的辅助分类结果进行处理，得到异常标注区域和异常分类结果。应当理解，本申请实施例不对基于每个初始分类网络层分别对应的辅助标注区域和每个初始分类网络层分别对应的辅助分类结果，确定异常标注区域和异常分类结果的具体实现方式进行限定。

由此可见，本申请所提供的基于校准差分特征多层次融合的缺陷检测方法，可以对原始图像进行预处理，得到原始图像对应的差分图像和配准图像，进而可以基于差分图像、配准图像和模板图像生成多个深度融合图像特征，基于多个深度融合图像特征生成多个稀疏融合图像特征，可以充分结果传统算法和深度学习算法的优势，通过多个稀疏融合图像特征，可以识别配准图像中各种大小缺陷区域，并输出对应缺陷类型。

进一步地，请参见图11，图11是本申请实施例提供的一种图像数据处理方法的流程示意图。该方法可以由计算机设备执行，该计算机设备可以为服务器，也可以为终端设备，还可以由服务器和终端设备共同组成，该计算机设备可以为上述图1所对应实施中的服务器2000，该终端设备可以为上述图1所对应实施中的终端设备3000a。其中，该图像数据处理方法可以包括以下步骤S301-步骤S307：

步骤S301，获取包含检测对象的样本配准图像、与检测对象相关联的样本模板图像、以及样本配准图像和样本模板图像之间的样本差分图像，获取样本配准图像中的标准异常标注区域和标准异常标注区域的标准异常分类结果；

可以理解的是，计算机设备可以通过采集组件获取包含检测对象的样本原始图像，获取该采集组件对应的样本模板图像，进而对样本原始图像和样本模板图像进行图像配准，得到包含检测对象的样本配准图像。进一步地，计算机设备可以对样本配准图像和样本模板图像进行差分操作，得到样本配准图像和样本模板图像之间的样本差分图像。

其中，计算机设备对样本原始图像和样本模板图像进行图像配准的具体过程，可以参见上述图3所对应实施例的步骤S101中对原始图像和模板图像进行图像配准的描述，这里将不再进行赘述。

可以理解的是，计算机设备可以通过初始网络模型对样本配准图像进行缺陷检测和诊断，得到样本配准图像对应的初始异常标注区域和初始异常标注区域的初始异常分类结果。进一步地，计算机设备可以将该初始异常标注区域和初始异常分类结果提供给检测用户，以使检测用户可以对初始异常标注区域和初始异常分类结果进行缺陷审核，得到样本配准图像中的标准异常标注区域和标准异常标注区域的标准异常分类结果。

步骤S302，通过初始网络模型生成样本配准图像、样本模板图像和样本差分图像之间的深度样本图像特征；

其中，初始网络模型中可以包括用于进行特征深度融合的初始深度融合子网络模型、用于进行稀疏卷积操作(即特征浅度融合)的初始浅度融合子网络模型、用于进行区域预测的初始区域预测子网络模型和用于进行区域分类的初始分类子网络模型。

请再参见图8，在如图8所示的流程图对应于模型训练的过程时，图8所示的网络模型可以为初始网络模型，在图8所示的网络模型为初始网络模型时，子网络模型100a可以称之为初始深度融合子网络模型，子网络模型100b可以称之为初始浅度融合子网络模型，子网络模型100c可以称之为初始区域预测子网络模型，子网络模型100d可以称之为初始分类子网络模型。

其中，在模型训练的过程中，如图8所示的配准图可以为样本配准图像，如图8所示的模板图可以为样本模板图像，如图8所示的差分图可以为样本差分图像。其中，样本差分图像是对样本配准图像和样本模板图像进行差分操作后所得到的。

可以理解的是，计算机设备可以通过初始网络模型中的初始深度融合子网络模型生成样本配准图像、样本模板图像和样本差分图像之间的深度样本图像特征。应当理解，计算机设备通过初始深度融合子网络模型生成深度样本图像特征的具体过程，可以参见上述图3所对应实施例的步骤S102中通过深度融合子网络模型生成深度融合图像特征的描述，这里将不再进行赘述。

请再参见图8，计算机设备可以对样本配准图像进行图像灰度化，得到样本配准灰度矩阵，对样本模板图像进行图像灰度化，得到样本模板灰度矩阵，对样本差分图像进行图像灰度化，得到样本差分灰度矩阵。进一步地，计算机设备可以将样本配准灰度矩阵、样本模板灰度矩阵和样本差分灰度矩阵作为三个通道输入至初始深度融合子网络模型100a，通过初始深度融合子网络模型100a生成深度样本图像特征。其中，深度样本图像特征的数量可以为N个，一个深度样本图像特征对应一个特征尺寸，这里的N可以为正整数，这里以深度样本图像特征的数量为5个为例进行说明。

其中，应当理解，计算机设备还需要对样本差分灰度矩阵进行均值方差归一化，得到样本归一化差分矩阵，进而将样本归一化差分矩阵输入至初始深度融合子网络模型100a。

步骤S303，通过初始网络模型生成样本差分图像对应的样本差分坐标矩阵，对样本差分坐标矩阵和深度样本图像特征进行稀疏卷积操作，得到样本配准图像对应的稀疏样本图像特征；

可以理解的是，计算机设备可以通过初始网络模型中的初始浅度融合子网络模型生成样本差分图像对应的样本差分坐标矩阵，且对样本差分坐标矩阵和深度样本图像特征进行稀疏卷积操作，得到样本配准图像对应的稀疏样本图像特征。应当理解，计算机设备通过初始浅度融合子网络模型生成样本差分坐标矩阵和稀疏样本图像特征的具体过程，可以参见上述图3所对应实施例的步骤S103中通过浅度融合子网络模型生成差分坐标矩阵和稀疏融合图像特征的描述，这里将不再进行赘述。

请再参见图8，初始浅度融合子网络模型100b可以分别对样本差分灰度矩阵进行N次双线性差值处理，得到与N个深度样本图像特征相匹配的N个样本差值图像矩阵，进而分别对N个样本差值图像矩阵进行均值方差归一化，得到N个样本差值图像矩阵分别对应的样本归一化差值矩阵。进一步地，计算机设备可以基于样本归一化差值矩阵生成样本差分图像对应的样本差分坐标矩阵，这里的样本差分坐标矩阵的数量可以为N个(例如，5个)，一个样本差分坐标矩阵对应一个特征尺寸。

如图8所示，计算机设备可以通过初始浅度融合子网络模型100b对具有相同特征尺度的样本差分坐标矩阵和深度样本图像特征进行浅度融合，即进行稀疏卷积操作，得到5个特征尺寸分别对应的稀疏样本图像特征。其中，5个深度样本图像特征中可以包括深度样本图像特征101a，5个样本差分坐标矩阵中可以包括样本差分坐标矩阵101b，对深度样本图像特征101a和样本差分坐标矩阵101b进行稀疏卷积操作，可以的得到稀疏样本图像特征101c。

步骤S304，根据稀疏样本图像特征，在样本配准图像中确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果；

具体的，计算机设备可以对稀疏样本图像特征进行识别，得到样本配准图像中的初始样本标注区域。其中，初始网络模型包括M个初始分类网络层，这里的M可以为正整数；M个初始分类网络层包括初始分类网络层O_i，这里的i可以为小于或等于M的正整数。进一步地，计算机设备可以通过初始分类网络层O_i确定用于标注检测对象的辅助预测标注区域，以及初始分类网络层O_i对应的辅助预测标注区域的辅助预测分类结果。其中，若初始分类网络层O_i为初始网络模型中的第一个初始分类网络层，则初始分类网络层O_i对应的辅助预测标注区域是基于深度样本图像特征和第一样本标注区域所生成的；这里的第一样本标注区域是指初始样本标注区域和标准异常标注区域之间的第一区域重合度中，满足第一重合度筛选条件的第一区域重合度所对应的初始样本标注区域。可选的，若初始分类网络层O_i不为初始网络模型中的第一个初始分类网络层，则初始分类网络层O_i对应的样本预测标注区域是基于深度样本图像特征和第二样本标注区域所生成的；这里的第二样本标注区域是在指初始分类网络层O_i-1对应的辅助预测标注区域和标准异常标注区域之间的第二区域重合度中，满足第二重合度筛选条件的第二区域重合度所对应的辅助预测标注区域。其中，初始分类网络层O_i-1为初始分类网络层O_i的上一个初始分类网络层。进一步地，计算机设备可以基于M个初始分类网络层中的每个初始分类网络层分别对应的辅助预测标注区域，以及每个初始分类网络层分别对应的辅助预测分类结果，在样本配准图像中确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果。

可以理解的是，计算机设备可以通过初始网络模型中的初始区域预测子网络模型对稀疏样本图像特征进行识别，得到样本配准图像中的初始样本标注区域。应当理解，计算机设备通过初始区域预测子网络模型生成初始样本标注区域的具体过程，可以参见上述图3所对应实施例的步骤S104中通过区域预测子网络模型识别得到初始标注区域的描述，这里将不再进行赘述。

可以理解的是，初始网络模型中的初始分类子网络模型中可以包括M个初始分类网络层，计算机设备可以基于M个初始分类网络层共同确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果。

可以理解的是，计算机设备通过初始分类网络层O_i确定用于标注检测对象的辅助预测标注区域，以及初始分类网络层O_i对应的辅助预测标注区域的辅助预测分类结果的具体过程可以描述为：若初始分类网络层O_i为初始分类子网络模型中的第一个初始分类网络层，则计算机设备可以通过初始分类网络层O_i将初始样本标注区域映射至深度样本图像特征，得到初始样本标注区域在深度样本图像特征中对应的样本深度区域图像特征。进一步地，计算机设备可以对样本深度区域图像特征进行特征对齐，得到样本深度区域图像特征对应的样本深度区域对齐特征，通过初始分类网络层O_i对样本深度区域对齐特征进行特征提取，得到样本深度区域对齐特征对应的样本区域特征和样本分类特征。进一步地，对样本区域特征进行边框回归，得到初始分类网络层O_i对应的用于标注检测对象的辅助预测标注区域。进一步地，通过初始分类网络层O_i中的分类器对样本分类特征进行识别，得到初始分类网络层O_i对应的辅助预测标注区域的辅助预测分类结果。

可选的，若初始分类网络层O_i不为初始分类子网络模型中的第一个初始分类网络层，则计算机设备通过初始分类网络层O_i确定辅助预测标注区域和辅助预测分类结果的具体过程，可以参见上述确定第一个初始分类网络层对应的辅助预测标注区域和辅助预测分类结果的描述，这里将不再进行赘述。

请再参见图8，在图8所示的子网络模型100d为初始分类子网络模型时，3个初始分类网络层可以包括初始分类网络层102a、初始分类网络层102b和初始分类网络层102c。其中，初始分类网络层102a中包括子网络W₁和用于进行特征提取的网络H₁，初始分类网络层102b中包括子网络W₂和用于进行特征提取的网络H₂，初始分类网络层102c中包括子网络W₃和用于进行特征提取的网络H₃。此时，子网络W₁、子网络W₂和子网络W₃为训练前的子网络，网络H₁、网络H₂和网络H₃为训练前网络。

其中，可以理解的是，B0可以为初始样本标注区域，B1可以为初始分类网络层102a对应的辅助预测标注区域，C1可以为初始分类网络层102a对应的辅助预测分类结果，B2可以为初始分类网络层102b对应的辅助预测标注区域，C2可以为初始分类网络层102b对应的辅助预测分类结果，B3可以为初始分类网络层102c对应的辅助预测标注区域，C3可以为初始分类网络层102c对应的辅助预测分类结果。

如图8所示，通过初始分类网络层102a可以确定初始样本标注区域和标准异常标注区域之间的第一区域重合度，进而可以在第一区域重合度中获取满足第一重合度筛选条件的第一区域重合度，将获取到的第一区域重合度所对应的初始样本标注区域作为第一样本标注区域。进一步地，通过初始分类网络层102a中的子网络W₁可以基于深度样本图像特征和第一样本标注区域，确定子网络W₁对应的样本深度区域对齐特征，进而基于初始分类网络层102a中的网络H₁对子网络W₁对应的样本深度区域对齐特征进行特征提取，得到初始分类网络层102a对应的辅助预测标注区域(即B1)，以及初始分类网络层102a对应的辅助预测分类结果(即C1)。

如图8所示，通过初始分类网络层102b可以确定初始分类网络层102a对应的辅助预测标注区域和标准异常标注区域之间的第二区域重合度，进而可以在第二区域重合度中获取满足第二重合度筛选条件的第二区域重合度，将获取到的第二区域重合度所对应的辅助预测标注区域作为第二样本标注区域。进一步地，通过初始分类网络层102b中的子网络W₂可以基于深度样本图像特征和第二样本标注区域，确定子网络W₂对应的样本深度区域对齐特征，进而基于初始分类网络层102b中的网络H₂对子网络W₂对应的样本深度区域对齐特征进行特征提取，得到初始分类网络层102b对应的辅助预测标注区域(即B2)，以及初始分类网络层102b对应的辅助预测分类结果(即C2)。以此类推，通过初始分类网络层102c可以确定初始分类网络层102c对应的辅助预测标注区域(即B3)，以及初始分类网络层102c对应的辅助预测分类结果(即C3)。

可以理解的是，通过交并比(Intersection-over-Union，简称IoU)可以确定初始样本标注区域和标准异常标注区域之间的第一区域重合度，还可以确定初始分类网络层O_i-1对应的辅助预测标注区域和标准异常标注区域之间的第二区域重合度，通过该交并比可以对标注的效果量化。IoU是目标检测中使用的一个概念，是产生的候选框与原标记框的交叠率，即它们的交集与并集的比值。其中，候选框可以表示初始样本标注区域或者初始分类网络层O_i-1对应的辅助预测标注区域，原标记框可以表示标准异常标注区域。

可以理解的是，第一重合度筛选条件可以用于获取与初始分类子网络模型中的第一个初始分类网络层相关联的正样本，这里的正样本可以称之为第一样本标注区域。同理，可以理解的是，第二重合度筛选条件可以用于获取与初始分类子网络模型中的非第一个初始分类网络层相关联的正样本，这里的正样本可以称之为第二样本标注区域。

其中，应当理解，正样本的定义对于缺陷检测问题的优化至关重要，在初始区域预测子网络模型的训练阶段需要通过一定的匹配策略选择合适的anchor(即图像上预设好的不同大小、不同长宽比的参照框)正负样本。通过滑窗的方式可以生成大量anchor样本，然后计算所有anchor和目标的IoU，进而可以基于IoU选取正负样本。

其中，可以理解的是，在工业缺陷检测的场景中，缺陷目标尺度分布差异大，为解决不同尺度间所对应的正样本不平衡问题，即大尺度目标由于面积大，分配的正样本更多，小尺度目标由于面积小，分配的正样本更少。正样本不平衡问题会导致检测器(即图8所示的网络H1、网络H2和网络H3，这里的网络H1、网络H2和网络H3可以为不同网络)关注大目标的训练，而忽略小目标检测的优化，均匀匹配策略(即均衡匹配策略)可以达到各尺度间正样本的平衡，每个标准异常标注区域不论尺寸大小，都有相同数目的正样本，平衡的正样本可以保证所有标准异常标注区域平等地参与训练。相应的，该均匀匹配策略也可以通过设置阈值来过滤大IoU的负样本和小IoU的正样本。

为便于理解，请参见图12，图12是本申请实施例提供的一种多种匹配策略对比的场景示意图。如图12所示的对比结果110a可以指示不同匹配策略所对应的正样本数，其中，方法V₁可以为均衡匹配(Uniform Matching)策略，方法V₂可以为Top1策略，方法V₃可以为ATSS策略(Adaptive Training Sample Selection，自适应训练样本选择策略)，方法V₄可以为Max-IoU(最大交并比)策略。此外，对比结果110a中的“小”可以表示小尺寸的标准异常标注区域所对应的正样本数，“中”可以表示中尺寸的标准异常标注区域所对应的正样本数，“大”可以表示大尺寸的标准异常标注区域所对应的正样本数。

如图12所示，均衡匹配策略可以对每个标准异常标注区域，采用最接近的K个(例如，4个)anchor作为正样本，其余作为负样本。在如图12所示的均值分类结果110c中，在确定所有anchor(即三角形和正方形)与目标(即圆形)的IoU之后，可以基于IoU大小进行排序，进而使用K近邻算法，在所有anchor中选择与目标最接近的K个anchor作为正样本。比如，在K等于3时，均衡匹配策略可以获取3个正样本和8个负样本；在K等于5时，均衡匹配策略可以获取5个正样本和6个负样本。

如图12所示的Max-IoU策略可以指示如果一个anchor和标准异常标注区域之间的最大IoU大于一个给定的阈值，这个anchor就是一个正样本，若该最大IoU小于或等于一个给定的阈值，这个anchor就是一个负样本。可以理解的是，与Max-IoU策略、ATSS策略和Top1策略相比，本申请所使用的均匀匹配策略可以选取更多不同尺度的正样本，且不同尺寸的正样本数更加平衡。

可以理解的是，在基于均衡匹配策略确定第一重合度筛选条件和第二重合度筛选条件时，不同的初始分类网络层可以对应不同的K值，例如，第一重合度筛选条件对应的K值可以为K₁，第二重合度筛选条件对应的K值可以为K₂，这里的K₁可以为正整数，这里的K₂可以为小于K₁的正整数。

应当理解，每个初始分类网络层中的检测器都不会过拟合，都有足够满足匹配策略的样本，而更深层的检测器可以优化更小K值的候选框，且初始分类子网络模型中的多个初始分类网络层(即多个stage)的结构，可以适应更多尺寸的缺陷目标。

可以理解的是，计算机设备可以基于M个初始分类网络层中的每个初始分类网络层分别对应的辅助预测标注区域，在样本配准图像中确定用于标注检测对象的预测异常标注区域，计算机设备还可以基于每个初始分类网络层分别对应的辅助预测分类结果，确定预测异常标注区域的预测异常分类结果。其中，通过对每个初始分类网络层分别对应的辅助预测标注区域进行平均，可以确定预测异常标注区域；通过对每个初始分类网络层分别对应的辅助预测分类结果进行平均，可以确定预测异常分类结果。应当理解，本申请实施例不对基于每个初始分类网络层分别对应的辅助预测标注区域和每个初始分类网络层分别对应的辅助预测分类结果，确定预测异常标注区域和预测异常分类结果的具体实现方式进行限定。

步骤S305，根据预测异常标注区域和标准异常标注区域，确定初始网络模型的区域损失值，根据预测异常分类结果和标准异常分类结果，确定初始网络模型的分类损失值；

步骤S306，根据区域损失值和分类损失值，确定初始网络模型的总损失值；

步骤S307，根据总损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型；

可以理解的是，当初始网络模型的总损失值不满足模型收敛条件时，计算机设备可以基于不满足模型收敛条件的总损失值对初始网络模型中的模型参数进行调整。进一步地，计算机设备可以将调整模型参数后的初始网络模型确定为过渡网络模型，对过渡网络模型进行迭代训练，直到迭代训练后的过渡网络模型的总损失值满足模型收敛条件时，将满足模型收敛条件的过渡网络模型作为目标网络模型。

其中，初始网络模型和目标网络模型可以统称为泛化网络模型，初始网络模型和目标网络模型属于泛化网络模型在不同时刻的名称，在训练阶段，泛化网络模型可以称之为初始网络模型，在预测阶段，泛化网络模型可以称之为目标网络模型。

本申请所提供的图像数据处理方法在7545张图片的自建训练集上训练模型，使用3458张图片进行测试，结果如表1所示：

表1

方法	图片大小	参数量	指标(mAp)	指标(Acc)	指标(Score)
						Faster RCNN	4096x3000	41.53M	65.56	82.08	68.86
本方法	4096x3000	25.16M	71.18	84.84	73.91

如表1所示，在同样的输入条件下，本申请所提供的图像数据处理方法参数量更小，且多项指标均优于Faster RCNN(Faster Region Convolutional Neural Networks)，由此可以证明本申请有效性。其中，参数量可以表示模型含有多少参数；mAp(Mean AveragePrecision)可以表示平均Ap值；Acc(Accuracy)可以表示准确率；Score(F1-score)可以表示F值。

可以理解的是，基于深度学习算法的目标检测方法，需要大量的缺陷图片进行训练，计算复杂度较高，且重新训练模型成本高；基于传统算法的目标检测方法，在可控环境下，仅需少量缺陷样本即可以调试算法，算法计算复杂度低，但依赖于算法基础和行业经验，无法大规模普及。本申请所提供的目标网络模型可以较好地融合传统算法和深度学习算法。

由此可见，本申请实施例可以充分结合传统算法和深度学习算法的优势，提高缺陷检测的准确性；使用稀疏卷积操作，在减少了计算量的同时，可以保证了高层语义特征(即稀疏融合图像特征)的稀疏性；使用均匀匹配策略解决了划分得到不同尺度候选框的正负样本；采用级联RCNN结构，可以识别多种尺寸的缺陷特征，使得缺陷检测更准确。

进一步地，请参见图13，图13是本申请实施例提供的一种图像数据处理装置的结构示意图，该图像数据处理装置1可以包括：图像获取模块11，深度融合模块12，浅度融合模块13，结果确定模块14；

图像获取模块11，用于获取包含检测对象的配准图像，获取配准图像和与检测对象相关联的模板图像之间的差分图像；

其中，图像获取模块11包括：图像采集单元111，图像配准单元112，差分操作单元113；

图像采集单元111，用于通过采集组件获取包含检测对象的原始图像，获取采集组件对应的模板图像；

图像配准单元112，用于对模板图像和原始图像进行图像配准，得到包含检测对象的配准图像；

其中，图像配准单元112包括：亮度校正子单元1121，图像灰度化子单元1122，图像变换子单元1123；

亮度校正子单元1121，用于基于模板图像的图像亮度，对原始图像进行亮度校正，得到校正后的原始图像；

图像灰度化子单元1122，用于对校正后的原始图像进行图像灰度化，得到原始图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵；

图像变换子单元1123，用于基于原始图像灰度矩阵和模板图像灰度矩阵，将原始图像变换为包含检测对象的配准图像。

其中，图像变换子单元1123，具体用于对原始图像灰度矩阵进行特征点提取，得到第一图像特征点，对模板图像灰度矩阵进行特征点提取，得到第二图像特征点；

图像变换子单元1123，还具体用于对第一图像特征点和第二图像特征点进行特征点匹配，得到具有匹配关系的第一匹配特征点和第二匹配特征点；第一匹配特征点属于第一图像特征点，第二匹配特征点属于第二图像特征点；

图像变换子单元1123，还具体用于确定第一匹配特征点对应的第一坐标位置和第二匹配点特征对应的第二坐标位置，根据第一坐标位置和第二坐标位置，生成与原始图像灰度矩阵和模板图像灰度矩阵相关联的透视变换矩阵；

图像变换子单元1123，还具体用于基于透视变换矩阵，对原始图像进行透视变换，得到包含检测对象的配准图像。

其中，亮度校正子单元1121，图像灰度化子单元1122和图像变换子单元1123的具体实现方式，可以参见上述图3所对应实施例中对步骤S101的描述，这里将不再进行赘述。

差分操作单元113，用于对配准图像和模板图像进行差分操作，得到配准图像和模板图像之间的差分图像。

其中，图像采集单元111，图像配准单元112和差分操作单元113的具体实现方式，可以参见上述图3所对应实施例中对步骤S101的描述，这里将不再进行赘述。

深度融合模块12，用于生成配准图像、模板图像和差分图像之间的深度融合图像特征；

其中，深度融合模块12包括：第一处理单元121，卷积操作单元122，深度融合单元123；

第一处理单元121，用于对配准图像进行图像灰度化，得到配准图像灰度矩阵，对模板图像进行图像灰度化，得到模板图像灰度矩阵，对差分图像进行图像灰度化，得到差分图像灰度矩阵；

第一处理单元121，还用于对差分图像灰度矩阵进行均值方差归一化，得到差分图像对应的归一化差分矩阵；

卷积操作单元122，用于将配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵输入至目标网络模型；目标网络模型包括深度融合子网络模型；

卷积操作单元122，还用于通过深度融合子网络模型分别对配准图像灰度矩阵、模板图像灰度矩阵和归一化差分矩阵进行卷积操作，得到配准图像灰度矩阵对应的深度配准图像特征、模板图像灰度矩阵对应的深度模板图像特征和归一化差分矩阵对应的深度差分图像特征；

深度融合单元123，用于对深度配准图像特征、深度模板图像特征和深度差分图像特征进行深度融合，生成配准图像、模板图像和差分图像之间的深度融合图像特征。

其中，卷积操作单元122包括：第一卷积子单元1221，第二卷积子单元1222，第三卷积子单元1223；

第一卷积子单元1221，用于通过深度融合子网络模型对配准图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度配准图像特征；N为正整数；

第二卷积子单元1222，用于通通过深度融合子网络模型对模板图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度模板图像特征；

第三卷积子单元1223，用于通通过深度融合子网络模型对归一化差分矩阵进行N次卷积操作，得到N个特征尺寸不同的深度差分图像特征；

则深度融合单元123，具体用于将具有相同特征尺寸的深度配准图像特征、深度模板图像特征和深度差分图像特征进行深度融合，得到N个特征尺寸分别对应的深度融合图像特征。

其中，第一处理单元121，卷积操作单元122，深度融合单元123，第一卷积子单元1221，第二卷积子单元1222和第三卷积子单元1223的具体实现方式，可以参见上述图3所对应实施例中对步骤S102以及图7所对应实施例中对步骤S204的描述，这里将不再进行赘述。

浅度融合模块13，用于生成差分图像对应的差分坐标矩阵，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征；

其中，目标网络模型还包括浅度融合子网络模型；

浅度融合模块13包括：第二处理单元131，阈值过滤单元132，浅度融合单元133；

第二处理单元131，用于通过浅度融合子网络模型对差分图像灰度矩阵进行双线性差值处理，得到与深度融合图像特征相匹配的差值图像矩阵；

第二处理单元131，还用于对差值图像矩阵进行均值方差归一化，得到差值图像矩阵对应的归一化差值矩阵；

阈值过滤单元132，用于获取归一化差值矩阵中的矩阵元素和与矩阵元素相关联的矩阵阈值，根据矩阵阈值对矩阵元素进行阈值过滤，得到差分图像对应的差分坐标矩阵；

浅度融合单元133，用于通过浅度融合子网络模型，对差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到配准图像对应的稀疏融合图像特征。

其中，浅度融合模块13，具体用于通过浅度融合子网络模型对差分图像灰度矩阵进行N次双线性差值处理，得到N个特征尺寸不同的差值图像矩阵；一个深度融合图像特征的特征尺寸与一个差值图像矩阵的特征尺寸相匹配；

浅度融合模块13，还具体用于为N个差值图像矩阵分别生成对应的差分坐标矩阵；

浅度融合模块13，还具体用于通过浅度融合子网络模型，对具有相同特征尺寸的差分坐标矩阵和深度融合图像特征进行稀疏卷积操作，得到N个特征尺寸分别对应的稀疏融合图像特征。

其中，第二处理单元131，阈值过滤单元132和浅度融合单元133的具体实现方式，可以参见上述图3所对应实施例中对步骤S103以及图7所对应实施例中对步骤S208的描述，这里将不再进行赘述。

结果确定模块14，用于根据稀疏融合图像特征，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

其中，目标网络模型还包括区域预测子网络模型和分类子网络模型；

结果确定模块14包括：区域预测单元141，区域分类单元142；

区域预测单元141，用于通过区域预测子网络模型对稀疏融合图像特征进行识别，得到配准图像中的初始标注区域；

区域预测单元141，还用于对初始标注区域进行异常可信度过滤，得到候选标注区域；

区域分类单元142，用于在分类子网络模型中，基于深度融合图像特征和候选标注区域，在配准图像中确定用于标注检测对象的异常标注区域和异常标注区域的异常分类结果。

其中，分类子网络模型包括M个目标分类网络层；M为正整数；M个目标分类网络层包括目标分类网络层P_j；j为小于或等于M的正整数；

区域分类单元142包括：第一分类子单元1421，第二分类子单元1422；

第一分类子单元1421，用于通过目标分类网络层P_j确定用于标注检测对象的辅助标注区域，以及目标分类网络层P_j对应的辅助标注区域的辅助分类结果；若目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则目标分类网络层P_j对应的辅助标注区域是基于深度融合图像特征和候选标注区域所生成的；若目标分类网络层P_j不为分类子网络模型中的第一个目标分类网络层，则目标分类网络层P_j对应的辅助标注区域是基于深度融合图像特征和目标分类网络层P_j-1对应的辅助标注区域所生成的；目标分类网络层P_j-1为目标分类网络层P_j的上一个目标分类网络层；

其中，第一分类子单元1421，具体用于若目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则通过目标分类网络层P_j将候选标注区域映射至深度融合图像特征，得到候选标注区域在深度融合图像特征中对应的深度区域图像特征；

第一分类子单元1421，还具体用于对深度区域图像特征进行特征对齐，得到深度区域图像特征对应的深度区域对齐特征，通过目标分类网络层P_j对深度区域对齐特征进行特征提取，得到深度区域对齐特征对应的区域特征和分类特征；

第一分类子单元1421，还具体用于对区域特征进行边框回归，得到目标分类网络层P_j对应的用于标注检测对象的辅助标注区域；

第一分类子单元1421，还具体用于通过目标分类网络层P_j中的分类器对分类特征进行识别，得到目标分类网络层P_j对应的辅助标注区域的辅助分类结果。

第二分类子单元1422，用于基于M个目标分类网络层中的每个目标分类网络层分别对应的辅助标注区域，以及每个目标分类网络层分别对应的辅助分类结果，在配准图像中确定用于标注检测对象的异常标注区域，以及异常标注区域的异常分类结果。

其中，第一分类子单元1421和第二分类子单元1422的具体实现方式，可以参见上述图3所对应实施例中对步骤S104和图7所对应实施例中对步骤S209的描述，这里将不再进行赘述。

其中，区域预测单元141和区域分类单元142的具体实现方式，可以参见上述图3所对应实施例中对步骤S104和图7所对应实施例中对步骤S209的描述，这里将不再进行赘述。

其中，图像获取模块11，深度融合模块12，浅度融合模块13和结果确定模块14的具体实现方式，可以参见上述图3所对应实施例中对步骤S101-步骤S104和图7所对应实施例中对步骤S201-步骤S209的描述，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

进一步地，请参见图14，图14是本申请实施例提供的一种图像数据处理装置的结构示意图，该图像数据处理装置2可以包括：样本获取模块21，第一融合模块22，第二融合模块23，样本分类模块24，损失确定模块25，模型训练模块26；

样本获取模块21，用于获取包含检测对象的样本配准图像、与检测对象相关联的样本模板图像、以及样本配准图像和样本模板图像之间的样本差分图像，获取样本配准图像中的标准异常标注区域和标准异常标注区域的标准异常分类结果；

第一融合模块22，用于通过初始网络模型生成样本配准图像、样本模板图像和样本差分图像之间的深度样本图像特征；

第二融合模块23，用于通过初始网络模型生成样本差分图像对应的样本差分坐标矩阵，对样本差分坐标矩阵和深度样本图像特征进行稀疏卷积操作，得到样本配准图像对应的稀疏样本图像特征；

样本分类模块24，用于根据稀疏样本图像特征，在样本配准图像中确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果；

其中，初始网络模型包括M个初始分类网络层；M为正整数；M个初始分类网络层包括初始分类网络层O_i；i为小于或等于M的正整数；

样本分类模块24包括：特征识别单元241，第一分类单元242，第二分类单元243；

特征识别单元241，用于对稀疏样本图像特征进行识别，得到样本配准图像中的初始样本标注区域；

第一分类单元242，用于通过初始分类网络层O_i确定用于标注检测对象的辅助预测标注区域，以及初始分类网络层O_i对应的辅助预测标注区域的辅助预测分类结果；若初始分类网络层O_i为初始网络模型中的第一个初始分类网络层，则初始分类网络层O_i对应的辅助预测标注区域是基于深度样本图像特征和第一样本标注区域所生成的；第一样本标注区域是指初始样本标注区域和标准异常标注区域之间的第一区域重合度中，满足第一重合度筛选条件的第一区域重合度所对应的初始样本标注区域；若初始分类网络层O_i不为初始网络模型中的第一个初始分类网络层，则初始分类网络层O_i对应的样本预测标注区域是基于深度样本图像特征和第二样本标注区域所生成的；第二样本标注区域是在指初始分类网络层O_i-1对应的辅助预测标注区域和标准异常标注区域之间的第二区域重合度中，满足第二重合度筛选条件的第二区域重合度所对应的辅助预测标注区域；初始分类网络层O_i-1为初始分类网络层O_i的上一个初始分类网络层；

第二分类单元243，用于基于M个初始分类网络层中的每个初始分类网络层分别对应的辅助预测标注区域，以及每个初始分类网络层分别对应的辅助预测分类结果，在样本配准图像中确定用于标注检测对象的预测异常标注区域和预测异常标注区域的预测异常分类结果。

其中，特征识别单元241，第一分类单元242和第二分类单元243的具体实现方式，可以参见上述图11所对应实施例中对步骤S304的描述，这里将不再进行赘述。

损失确定模块25，用于根据预测异常标注区域和标准异常标注区域，确定初始网络模型的区域损失值，根据预测异常分类结果和标准异常分类结果，确定初始网络模型的分类损失值；

损失确定模块25，还用于根据区域损失值和分类损失值，确定初始网络模型的总损失值；

模型训练模块26，用于根据总损失值对初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型。

其中，样本获取模块21，第一融合模块22，第二融合模块23，样本分类模块24，损失确定模块25和模型训练模块26的具体实现方式，可以参见上述图11所对应实施例中对步骤S301-步骤S307的描述，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

进一步地，请参见图15，图15是本申请实施例提供的一种计算机设备的结构示意图。如图15所示，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。可选的，网络接口1004可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器1005还可以是至少一个位于远离前述处理器1001的存储装置。如图15所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在如图15所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序。

应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3、图7或图11所对应实施例中对图像数据处理方法的描述，也可执行前文图13所对应实施例中对图像数据处理装置1或图14所对应实施例中对图像数据处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的图像数据处理装置1或图像数据处理装置2所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图3、图7或图11所对应实施例中对图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

此外，需要说明的是：本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图3、图7或图11所对应实施例中对图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (15)

1.一种图像数据处理方法，其特征在于，包括：

获取包含检测对象的配准图像，获取所述配准图像和与所述检测对象相关联的模板图像之间的差分图像；

生成所述配准图像、所述模板图像和所述差分图像之间的深度融合图像特征；

生成所述差分图像对应的差分坐标矩阵，对所述差分坐标矩阵和所述深度融合图像特征进行稀疏卷积操作，得到所述配准图像对应的稀疏融合图像特征；

根据所述稀疏融合图像特征，在所述配准图像中确定用于标注所述检测对象的异常标注区域和所述异常标注区域的异常分类结果。

2.根据权利要求1所述的方法，其特征在于，所述获取包含检测对象的配准图像，获取所述配准图像和与所述检测对象相关联的模板图像之间的差分图像，包括：

通过采集组件获取包含检测对象的原始图像，获取所述采集组件对应的模板图像；

对所述模板图像和所述原始图像进行图像配准，得到包含所述检测对象的配准图像；

对所述配准图像和所述模板图像进行差分操作，得到所述配准图像和所述模板图像之间的差分图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述模板图像和所述原始图像进行图像配准，得到包含所述检测对象的配准图像，包括：

基于所述模板图像的图像亮度，对所述原始图像进行亮度校正，得到校正后的原始图像；

对所述校正后的原始图像进行图像灰度化，得到原始图像灰度矩阵，对所述模板图像进行图像灰度化，得到模板图像灰度矩阵；

基于所述原始图像灰度矩阵和所述模板图像灰度矩阵，将所述原始图像变换为包含所述检测对象的配准图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述原始图像灰度矩阵和所述模板图像灰度矩阵，将所述原始图像变换为包含所述检测对象的配准图像，包括：

对所述原始图像灰度矩阵进行特征点提取，得到第一图像特征点，对所述模板图像灰度矩阵进行特征点提取，得到第二图像特征点；

对所述第一图像特征点和所述第二图像特征点进行特征点匹配，得到具有匹配关系的第一匹配特征点和第二匹配特征点；所述第一匹配特征点属于所述第一图像特征点，所述第二匹配特征点属于所述第二图像特征点；

确定所述第一匹配特征点对应的第一坐标位置和所述第二匹配点特征对应的第二坐标位置，根据所述第一坐标位置和所述第二坐标位置，生成与所述原始图像灰度矩阵和所述模板图像灰度矩阵相关联的透视变换矩阵；

基于所述透视变换矩阵，对所述原始图像进行透视变换，得到包含所述检测对象的配准图像。

5.根据权利要求1所述的方法，其特征在于，所述生成所述配准图像、所述模板图像和所述差分图像之间的深度融合图像特征，包括：

对所述配准图像进行图像灰度化，得到配准图像灰度矩阵，对所述模板图像进行图像灰度化，得到模板图像灰度矩阵，对所述差分图像进行图像灰度化，得到差分图像灰度矩阵；

对所述差分图像灰度矩阵进行均值方差归一化，得到所述差分图像对应的归一化差分矩阵；

将所述配准图像灰度矩阵、所述模板图像灰度矩阵和所述归一化差分矩阵输入至目标网络模型；所述目标网络模型包括深度融合子网络模型；

通过所述深度融合子网络模型分别对所述配准图像灰度矩阵、所述模板图像灰度矩阵和所述归一化差分矩阵进行卷积操作，得到所述配准图像灰度矩阵对应的深度配准图像特征、所述模板图像灰度矩阵对应的深度模板图像特征和所述归一化差分矩阵对应的深度差分图像特征；

对所述深度配准图像特征、所述深度模板图像特征和所述深度差分图像特征进行深度融合，生成所述配准图像、所述模板图像和所述差分图像之间的深度融合图像特征。

6.根据权利要求5所述的方法，其特征在于，所述目标网络模型还包括浅度融合子网络模型；

所述生成所述差分图像对应的差分坐标矩阵，对所述差分坐标矩阵和所述深度融合图像特征进行稀疏卷积操作，得到所述配准图像对应的稀疏融合图像特征，包括：

通过所述浅度融合子网络模型对所述差分图像灰度矩阵进行双线性差值处理，得到与所述深度融合图像特征相匹配的差值图像矩阵；

对所述差值图像矩阵进行均值方差归一化，得到所述差值图像矩阵对应的归一化差值矩阵；

获取所述归一化差值矩阵中的矩阵元素和与所述矩阵元素相关联的矩阵阈值，根据所述矩阵阈值对所述矩阵元素进行阈值过滤，得到所述差分图像对应的差分坐标矩阵；

通过所述浅度融合子网络模型，对所述差分坐标矩阵和所述深度融合图像特征进行稀疏卷积操作，得到所述配准图像对应的稀疏融合图像特征。

7.根据权利要求5所述的方法，其特征在于，所述通过所述深度融合子网络模型分别对所述配准图像灰度矩阵、所述模板图像灰度矩阵和所述归一化差分矩阵进行卷积操作，得到所述配准图像灰度矩阵对应的深度配准图像特征、所述模板图像灰度矩阵对应的深度模板图像特征和所述归一化差分矩阵对应的深度差分图像特征，包括：

通过所述深度融合子网络模型对所述配准图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度配准图像特征；所述N为正整数；

通过所述深度融合子网络模型对所述模板图像灰度矩阵进行N次卷积操作，得到N个特征尺寸不同的深度模板图像特征；

通过所述深度融合子网络模型对所述归一化差分矩阵进行N次卷积操作，得到N个特征尺寸不同的深度差分图像特征；

则所述对所述深度配准图像特征、所述深度模板图像特征和所述深度差分图像特征进行深度融合，生成所述配准图像、所述模板图像和所述差分图像之间的深度融合图像特征，包括：

将具有相同特征尺寸的所述深度配准图像特征、所述深度模板图像特征和所述深度差分图像特征进行深度融合，得到N个特征尺寸分别对应的深度融合图像特征。

8.根据权利要求7所述的方法，其特征在于，所述生成所述差分图像对应的差分坐标矩阵，对所述差分坐标矩阵和所述深度融合图像特征进行稀疏卷积操作，得到所述配准图像对应的稀疏融合图像特征，包括：

通过所述浅度融合子网络模型对所述差分图像灰度矩阵进行N次双线性差值处理，得到N个特征尺寸不同的差值图像矩阵；一个深度融合图像特征的特征尺寸与一个差值图像矩阵的特征尺寸相匹配；

为N个差值图像矩阵分别生成对应的差分坐标矩阵；

通过所述浅度融合子网络模型，对具有相同特征尺寸的所述差分坐标矩阵和所述深度融合图像特征进行稀疏卷积操作，得到N个特征尺寸分别对应的稀疏融合图像特征。

9.根据权利要求5所述的方法，其特征在于，所述目标网络模型还包括区域预测子网络模型和分类子网络模型；

所述根据所述稀疏融合图像特征，在所述配准图像中确定用于标注所述检测对象的异常标注区域和所述异常标注区域的异常分类结果，包括：

通过所述区域预测子网络模型对所述稀疏融合图像特征进行识别，得到所述配准图像中的初始标注区域；

对所述初始标注区域进行异常可信度过滤，得到候选标注区域；

在所述分类子网络模型中，基于所述深度融合图像特征和所述候选标注区域，在所述配准图像中确定用于标注所述检测对象的异常标注区域和所述异常标注区域的异常分类结果。

10.根据权利要求9所述的方法，其特征在于，所述分类子网络模型包括M个目标分类网络层；所述M为正整数；所述M个目标分类网络层包括目标分类网络层P_j；所述j为小于或等于所述M的正整数；

所述在所述分类子网络模型中，基于所述深度融合图像特征和所述候选标注区域，在所述配准图像中确定用于标注所述检测对象的异常标注区域和所述异常标注区域的异常分类结果，包括：

通过所述目标分类网络层P_j确定用于标注所述检测对象的辅助标注区域，以及所述目标分类网络层P_j对应的辅助标注区域的辅助分类结果；若所述目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则所述目标分类网络层P_j对应的辅助标注区域是基于所述深度融合图像特征和所述候选标注区域所生成的；若所述目标分类网络层P_j不为分类子网络模型中的第一个目标分类网络层，则所述目标分类网络层P_j对应的辅助标注区域是基于所述深度融合图像特征和目标分类网络层P_j-1对应的辅助标注区域所生成的；所述目标分类网络层P_j-1为所述目标分类网络层P_j的上一个目标分类网络层；

基于所述M个目标分类网络层中的每个目标分类网络层分别对应的辅助标注区域，以及所述每个目标分类网络层分别对应的辅助分类结果，在所述配准图像中确定用于标注所述检测对象的异常标注区域，以及所述异常标注区域的异常分类结果。

11.根据权利要求10所述的方法，其特征在于，所述通过所述目标分类网络层P_j确定用于标注所述检测对象的辅助标注区域，以及所述目标分类网络层P_j对应的辅助标注区域的辅助分类结果，包括：

若所述目标分类网络层P_j为分类子网络模型中的第一个目标分类网络层，则通过所述目标分类网络层P_j将所述候选标注区域映射至所述深度融合图像特征，得到所述候选标注区域在所述深度融合图像特征中对应的深度区域图像特征；

对所述深度区域图像特征进行特征对齐，得到所述深度区域图像特征对应的深度区域对齐特征，通过所述目标分类网络层P_j对所述深度区域对齐特征进行特征提取，得到所述深度区域对齐特征对应的区域特征和分类特征；

对所述区域特征进行边框回归，得到所述目标分类网络层P_j对应的用于标注所述检测对象的辅助标注区域；

通过所述目标分类网络层P_j中的分类器对所述分类特征进行识别，得到所述目标分类网络层P_j对应的辅助标注区域的辅助分类结果。

12.一种图像数据处理方法，其特征在于，所述方法还包括：

获取包含检测对象的样本配准图像、与所述检测对象相关联的样本模板图像、以及所述样本配准图像和样本模板图像之间的样本差分图像，获取所述样本配准图像中的标准异常标注区域和所述标准异常标注区域的标准异常分类结果；

通过初始网络模型生成所述样本配准图像、所述样本模板图像和所述样本差分图像之间的深度样本图像特征；

通过所述初始网络模型生成所述样本差分图像对应的样本差分坐标矩阵，对所述样本差分坐标矩阵和所述深度样本图像特征进行稀疏卷积操作，得到所述样本配准图像对应的稀疏样本图像特征；

根据所述稀疏样本图像特征，在所述样本配准图像中确定用于标注所述检测对象的预测异常标注区域和所述预测异常标注区域的预测异常分类结果；

根据所述预测异常标注区域和所述标准异常标注区域，确定所述初始网络模型的区域损失值，根据所述预测异常分类结果和所述标准异常分类结果，确定所述初始网络模型的分类损失值；

根据所述区域损失值和所述分类损失值，确定所述初始网络模型的总损失值；

根据所述总损失值对所述初始网络模型中的模型参数进行调整，当调整后的初始网络模型满足模型收敛条件时，将调整后的初始网络模型确定为目标网络模型。

13.根据权利要求12所述的方法，其特征在于，所述初始网络模型包括M个初始分类网络层；所述M为正整数；所述M个初始分类网络层包括初始分类网络层O_i；所述i为小于或等于所述M的正整数；

所述根据所述稀疏样本图像特征，在所述样本配准图像中确定用于标注所述检测对象的预测异常标注区域和所述预测异常标注区域的预测异常分类结果，包括：

对所述稀疏样本图像特征进行识别，得到所述样本配准图像中的初始样本标注区域；

通过所述初始分类网络层O_i确定用于标注所述检测对象的辅助预测标注区域，以及所述初始分类网络层O_i对应的辅助预测标注区域的辅助预测分类结果；若所述初始分类网络层O_i为所述初始网络模型中的第一个初始分类网络层，则所述初始分类网络层O_i对应的辅助预测标注区域是基于所述深度样本图像特征和第一样本标注区域所生成的；所述第一样本标注区域是指所述初始样本标注区域和所述标准异常标注区域之间的第一区域重合度中，满足第一重合度筛选条件的第一区域重合度所对应的初始样本标注区域；若所述初始分类网络层O_i不为所述初始网络模型中的第一个初始分类网络层，则所述初始分类网络层O_i对应的样本预测标注区域是基于所述深度样本图像特征和第二样本标注区域所生成的；所述第二样本标注区域是在指初始分类网络层O_i-1对应的辅助预测标注区域和所述标准异常标注区域之间的第二区域重合度中，满足第二重合度筛选条件的第二区域重合度所对应的辅助预测标注区域；所述初始分类网络层O_i-1为所述初始分类网络层O_i的上一个初始分类网络层；

基于所述M个初始分类网络层中的每个初始分类网络层分别对应的辅助预测标注区域，以及所述每个初始分类网络层分别对应的辅助预测分类结果，在所述样本配准图像中确定用于标注所述检测对象的预测异常标注区域和所述预测异常标注区域的预测异常分类结果。

14.一种计算机设备，其特征在于，包括：处理器和存储器；

所述处理器与存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-13任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-13任一项所述的方法。

Images