CN115345806A - 对象检测方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种对象检测方法、装置、电子设备及可读存储介质，该方法包括：将待检测图像输入至对象检测模型，得到待检测图像的第一图像特征和第二图像特征；第二图像特征为对第一图像特征进行去噪处理得到的；待检测图像中包括待检测对象；对第一图像特征和第二图像特征的差值进行融合处理，得到融合图像特征；根据融合图像特征，检测待检测对象的对象信息，对象信息包括：待检测对象的类型，和/或，待检测对象中的缺陷区域在待检测图像中的位置信息。根据本申请的实施例，能够准确地检测待检测对象的对象信息。

Description

对象检测方法、装置、电子设备及可读存储介质

技术领域

本申请属于信息处理技术领域，尤其涉及一种对象检测方法、装置、电子设备及可读存储介质。

背景技术

目前，随着人工智能的不断发展，神经网络模型也广泛应用于产品检测，比如对生产线上产出的产品进行检测，从中检测出有缺陷的产品，以减小人工投入。目前的检测方案，通常对待检测对象进行拍摄得到待检测图像，通过识别待检测图像来判断待检测对象是否有缺陷。但是，这种方式受拍摄时的环境因素的影响较大，比如背景噪声、光照变化和拍摄角度等，这些环境因素会导致误检测。

因此，目前对于待检测图像中的对象检测的准确度不高。

发明内容

本申请实施例提供一种对象检测方法、装置、电子设备及可读存储介质，能够解决对象检测的准确度不高的问题。

第一方面，本申请实施例提供一种对象检测方法，该方法包括：

将待检测图像输入至对象检测模型，得到待检测图像的第一图像特征和第二图像特征；第二图像特征为对第一图像特征进行去噪处理得到的；待检测图像中包括待检测对象；

对第一图像特征和第二图像特征的差值进行融合处理，得到融合图像特征；

根据融合图像特征，检测待检测对象的对象信息，对象信息包括：待检测对象的类型，和/或，待检测对象中的缺陷区域在待检测图像中的位置信息。

第二方面，本申请实施例提供一种对象检测装置，该装置包括：

输入模块，用于将待检测图像输入至对象检测模型，得到待检测图像的第一图像特征和第二图像特征；第二图像特征为对第一图像特征进行去噪处理得到的；待检测图像中包括待检测对象；

融合模块，用于对第一图像特征和第二图像特征的差值进行融合处理，得到融合图像特征；

检测模块，用于根据融合图像特征，检测待检测对象的对象信息，对象信息包括：待检测对象的类型，和/或，待检测对象中的缺陷区域在待检测图像中的位置信息。

第三方面，本申请实施例提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时，实现如第一方面或者第一方面的任一可能实现方式中的方法。

第四方面，本申请实施例提供了一种可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面或者第一方面的任一可能实现方式中的方法。

本申请实施例中，通过将待检测图像输入至预先训练的对象检测模型，提取待检测图像的第一图像特征和第二图像特征，第二图像特征为对第一图像特征进行去噪处理得到的，这里，第一图像特征是待检测图像本身的特征，如果待检测对象是异常的，第一图像特征中就会包括正常特征和缺陷特征。第二图像特征为对从待检测图像提取得到的第一图像特征进行去噪处理得到的，也就是减弱了甚至消除了待检测图像中的缺陷特征得到的。所以，如果待检测对象是异常的，第一图像特征中包括正常特征和缺陷特征，第二图像特征中包括正常特征和被减弱的缺陷特征。对第一图像特征和第二图像特征的差值进行融合后得到的融合图像特征中，对于正常区域来说，第一图像特征中的正常特征和第二图像特征中的正常特征相减后得到的特征被减弱；对于缺陷区域来说，融合图像特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。最后，通过对包括强显著性的缺陷特征的融合图像特征进行检测，能够提升缺陷检测的速度和准确性，由此，能够提升检测效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种对象检测模型的训练过程和应用过程的示意图；

图2是本申请实施例提供的一种对象检测模型的训练方法的流程图；

图3是本申请实施例提供的一种模型结构示意图；

图4是本申请实施例提供的一种对象检测方法的流程图；

图5是本申请实施例提供的一种对象检测装置的结构示意图；

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

首先，对于本申请实施例涉及的技术术语进行介绍。

卷积神经网络(Convolutional Neural Networks，CNN)，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法。

特征提取网络，是指卷积神经网络的特定卷积层，将图像送入神经网络后，计算在指定卷积层上的输出向量。

注意力机制(Attention Mechanism)，对输入特征向量X的不同部分赋予不同的权重，进而实现软区分不同特征的目的。

多维度特征(Multiple features)：基于多个特征提取网络层提取得到的特征向量。

自编码器(AutoEncoder，AE)框架包含两大模块：编码过程和解码过程。通过encoder(g)将输入样本x映射到特征空间z，即编码过程；然后再通过decoder(f)将抽象特征z映射回原始空间得到重构样本x'，即解码过程。优化目标则是通过最小化重构误差来同时优化encoder和decoder，从而学习得到针对样本输入x的抽象特征表示z。

降噪自动编码器(DenoisingAutoEncoder，DAE)，是在自动编码器的基础之上，为了防止过拟合问题而对输入层的输入数据加入噪音，使学习得到的编码器具有更好的鲁棒性。

堆栈去噪自编码器(StackeedDenoisingAutoEncoder，SDAE)，多个DAE堆叠形成具有一定深度的SDAE。堆叠式去噪自动编码器(SDAE)彼此堆叠多个去噪自动编码器,以获得输入的更高级别表示。

SDAE本质是特征提取器，并不具有分类功能。为了使SDAE具有分类功能，需在其顶层添加分类器，并使用带标签的数据对SDAE进行有监督训练，最后使用利用BP算法对整个网络参数进行微调，便得到具有分类功能的SDAE。具体可以通过下述步骤实现：

初始化SDAE网络参数；训练第一层DAE，将其隐含层作为第2个DAE的输入，并进行同样的训练，直到第n层DAE训练完成；将训练好的n层DAE进行堆叠形成SDAE，向SDAE网络顶层添加输出层；利用样本数据和标签对整个网络进行有监督的微调。

局部二值模式(local binary pattern，LBP)是一种用来描述图像局部纹理特征的算子。它反映内容是每个像素与周围像素的关系。

区域选取网络(Region Proposal Network，RPN)，是用来提取候选框的网络。

特征区域(region of interests，ROIs)，ROIs池化层是池化层的一种，特点是输入特征图尺寸不固定，但是输出特征层尺寸固定。

本申请实施例提供的对象检测方法至少可以应用于下述应用场景中，下面进行说明。

随着人工智能的不断发展，神经网络模型也广泛应用于工业领域，比如对生产线上产出的产品进行检测，从中检测出有缺陷的产品，可以减小人工投入，提升检测效率。

目前，一方面，可以通过传统的图像处理，通过灰度统计、边缘滤波、特征匹配等处理方式，增强缺陷特征，通过预设的阈值，来判断是否存在缺陷及确定缺陷位置。但是，对细微缺陷检测效果一般。同时对图像的背景噪声、光照变化等的抗干扰性较差，误检测较多。

另一方面，可以通过收集大量缺陷数据集，标注缺陷位置及类别，训练CNN深度神经网络模型，进而通过模型检出缺陷。但是，此方案对数据集有较强的依赖，需要收集大量缺陷数据集，而工厂产线缺陷数据样本不足。

基于上述应用场景，下面对本申请实施例提供的对象检测方法进行详细说明。

下面首先对本申请实施例提供的检测模型进行整体性说明。

图1为本申请实施例提供的一种对象检测模型的训练过程和应用过程的示意图，如图1所示，分为训练过程110和应用过程120。

在训练过程110中，首先，获取多个样本数据以及获取多个训练数据，每个训练数据包括样本图像111和样本图像对应的样本对象信息114，样本图像中包括目标对象。然后，将样本图像111输入至预设网络结构112，从样本图像111中提取融合样本特征113。其中，融合样本特征113是对第一样本特征和第二样本特征的差值进行融合处理得到的，第二样本特征为对从样本图像111提取得到的第一样本特征进行去噪处理得到的。最后，根据融合样本特征113和样本对象信息114，训练预设网络结构112，直至预设网络结构112满足预设训练条件，得到对象检测模型122。

这里，第一样本特征是样本图像本身的特征，第二样本特征为对从样本图像111提取得到的第一样本特征进行去噪处理得到的，也就是减弱了甚至消除了样本图像中的缺陷特征得到的，所以第一样本特征中包括正常特征和缺陷特征，第二样本图像中包括正常特征，对第一样本特征和第二样本特征的差值进行融合后得到的融合样本特征113中，第一样本特征中的正常特征和第二样本特征正常特征相减后得到的特征被减弱，融合样本特征113中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。

在应用过程120中，首先，将待检测图像121输入至预先训练的对象检测模型122，提取待检测图像的融合图像特征123，其中，融合图像特征123是对第一图像特征和第二图像特征的差值进行融合处理后得到的；第二图像特征为对第一图像特征进行去噪处理得到的；由于经过训练的对象检测模型122输出的融合图像特征123能够强调待检测图像的缺陷特征，所以，根据融合图像特征，能够快速准确地检测待检测对象的对象信息124，即对待检测对象的类型，和/或，待检测对象中的缺陷区域在待检测图像中的位置信息进行准确地检测。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的对象检测模型的训练方法以及对象确定方法分别进行详细地说明。

下面先对对象检测模型的训练方法进行说明。

图2为本申请实施例提供的一种对象检测模型的训练方法的流程图。

如图2所示，该对象检测模型的训练方法可以包括步骤210-步骤240，具体如下所示：

步骤210，获取多个训练数据，每个训练数据包括样本图像和样本图像对应的样本对象信息，样本图像中包括目标对象。

步骤220，将样本图像输入至预设网络结构，从样本图像中提取第一样本特征和第二样本特征；第二样本特征为对第一样本特征进行去噪处理得到的。

步骤230，对第一样本特征和第二样本特征的差值进行融合处理，确定融合样本特征。

步骤240，根据融合样本特征和样本对象信息，训练预设网络结构，直至预设网络结构满足预设训练条件，得到对象检测模型。

本申请提供的对象检测模型的训练方法中，通过获取多个训练数据，每个训练数据包括样本图像和样本图像对应的样本对象信息，将样本图像输入至预设网络结构，从样本图像中提取第一样本特征，和对第一样本特征进行去噪处理得到的第二样本特征。这里，第一样本特征是样本图像本身的特征，第二样本特征为对从样本图像提取得到的第一样本特征进行去噪处理得到的，也就是减弱了甚至消除了样本图像中的缺陷特征得到的，所以第一样本特征中包括正常特征和缺陷特征，第二样本图像中包括正常特征和被减弱的缺陷特征，对第一样本特征和第二样本特征的差值进行融合后得到的融合样本特征中，第一样本特征中的正常特征和第二样本特征正常特征相减后得到的特征被减弱，融合样本特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。最后，根据融合样本特征和样本对象信息，训练预设网络结构，直至预设网络结构满足预设训练条件，得到的对象检测模型，能够增强缺陷区域的显著性，通过训练得到的对象检测模型能够提升对目标对象的缺陷检测的速度和准确性，由此，能够提升检测效率。

下面，对步骤210-步骤240的内容分别进行描述：

涉及步骤210。

获取多个训练数据，每个训练数据包括样本图像和样本图像对应的样本对象信息，样本图像中包括目标对象。

其中，目标对象可以为工业产品。样本图像为对目标对象拍摄得到的图像，样本对象信息可以预先标记的为目标对象的缺陷类型和缺陷位置。

涉及步骤220。

将样本图像输入至预设网络结构，从样本图像中提取第一样本特征和第二样本特征；第二样本特征为对第一样本特征进行去噪处理得到的。

在一种可能的实施例中，在步骤220之前，还可以包括以下步骤：

对样本图像进行预处理，消除样本图像中的各区域的光照变化影响。

具体可以采用LBP对样本图像进行预处理，消除样本图像中的各区域的光照变化影响。LBP是一种用来描述图像局部纹理特征的算子，它的作用是进行特征提取，而且，提取的特征是图像的纹理特征，并且，是局部的纹理特征。

LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3领域内的8个点可产生8bit的无符号数，即得到该窗口的LBP值，并用这个值来反映该区域的纹理信息。

这里，通过LBP算子，对样本图像进行预处理，可以消除图片各区域光照变换的影响，从而增加了缺陷区域的显著性，增强了对微小缺陷的检出识别率，提升检测效率。

在一种可能的实施例中，步骤220中，具体可以包括以下步骤：

对样本图像进行特征提取，得到第一样本特征；

对第一样本特征进行去噪处理，得到第二样本特征。

具体可以通过CNN多个特征层对样本图像进行特征提取，得到第一样本特征，第一样本特征可以是多维度特征矩阵，然后将CNN多个特征层提取到的多维度特征矩阵分别送入SDAE网络，对第一样本特征进行去噪处理，得到第二样本特征，其中，第二样本特征是对第一样本特征进行去噪处理后的特征矩阵。

其中，预设网络结构包括层级结构互相对应的特征提取网络结构和去噪网络结构，待检测图像的第一样本特征和第二样本特征包括：特征提取网络结构的每个层级输出的第一样本特征，以及去噪网络结构的每个层级输出的第二样本特征。

其中，样本图像中的目标对象为无缺陷的对象，步骤220中，具体可以包括以下步骤：

将样本图像输入至预设网络结构，从样本图像中提取第一样本特征；

向第一样本特征中引入噪声值，得到引入噪声值后的第一样本特征；

去除引入噪声值后的第一样本特征中的缺陷特征，得到第二样本特征。

为了提升去噪处理的准确性，在训练过程中，可以向第一样本特征中引入噪声值，得到引入噪声值后的第一样本特征，然后，再去除引入噪声值后的第一样本特征中的缺陷特征，得到第二样本特征。以此提升SDAE的去噪能力。

其中，缺陷特征可以是样本图像中的目标对象存在的缺陷特征，比如，当目标对象是橡胶圈时，缺陷特征可以是有缺陷的橡胶圈相对于无缺陷的橡胶圈的差异部分的图像特征。

具体可以采用SDA执行上述步骤，SDAE是将多个DAE堆叠在一起形成一个深度的AE网络。DAE是一种通过引入噪声来增加编码鲁棒性的自编码器。

这里，训练时只需要少量有缺陷的样本图片，有效解决了有缺陷的样本图片不足的问题。

涉及步骤230。

对第一样本特征和第二样本特征的差值进行融合处理，确定融合样本特征。

第一样本特征是样本图像本身的特征，第二样本特征为对从样本图像提取得到的第一样本特征进行去噪处理得到的，也就是减弱了甚至消除了样本图像中的缺陷特征得到的，所以第一样本特征中包括正常特征和缺陷特征，第二样本图像中包括正常特征，对第一样本特征和第二样本特征的差值进行融合后得到的融合样本特征中，第一样本特征中的正常特征和第二样本特征正常特征相减后得到的特征被减弱，融合样本特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。

具体可以通过空间注意力模块将CNN提取的第一样本特征和SDAE输出的第二样本特征，基于空间维度做加权差值融合，得到融合样本特征。由于SDAE输出的特征向量消除了缺陷特征，通过差值融合后，特征向量中的正常区域的特征被减弱，缺陷特征从而被相应增强，从而达到增强缺陷特征目的。

这里，通过注意力机制，对第一样本特征和第二样本特征的差值进行融合处理，确定融合样本特征，增强了缺陷区域的显著性，提升了对微小缺陷的检出识别率。

涉及步骤240。

根据融合样本特征和样本对象信息，训练预设网络结构，直至预设网络结构满足预设训练条件，得到对象检测模型。

具体地，对样本图像经过LBP处理后，送入CNN网络进行训练，待CNN训练完成后，提取样本图像的各预设特征层的特征向量，送入各自预设特征层SDAE进行训练，完成对各层SDAE网络的训练，最后，联合训练CNN及各层SDAE网络，同时调整空间注意力权重网络，直至预设网络结构满足预设训练条件，得到对象检测模型。

其中，预设网络结构包括层级结构互相对应的特征提取网络结构(如CNN)和去噪网络结构(如SDAE)，即第一层特征提取网络结构的输出是第一层去噪网络结构的输入，即第N层特征提取网络结构的输出是第N层去噪网络结构的输入。

在一种可能的实施例中，步骤240，具体可以包括以下步骤：

根据融合样本特征，检测目标对象的检测对象信息，检测对象信息包括：目标对象的类型，和/或，目标对象中的缺陷区域在样本图像中的位置信息；

根据检测对象信息和样本对象信息，训练预设网络结构，直至预设网络结构满足预设训练条件，得到对象检测模型。

其中，上述涉及到的根据融合样本特征，检测目标对象的检测对象信息的步骤中，具体可以包括以下步骤：

通过检测网络结构，对融合样本特征进行检测，得到目标对象的检测对象信息。

其中，检测网络结构可以包括RPN和ROIs池化层，RPN是用来提取候选框的网络。ROIs池化层是池化层的一种。

目标对象的类型可以包括：有缺陷，和无缺陷；

目标对象的类型也可以包括：凸起缺陷和凹陷缺陷等；

目标对象中的缺陷区域在样本图像中的位置信息，具体可以为缺陷区域在样本图像中的坐标信息。

本申请提供的对象检测模型的训练方法中，通过获取多个训练数据，每个训练数据包括样本图像和样本图像对应的样本对象信息，将样本图像输入至预设网络结构，从样本图像中提取第一样本特征，和对第一样本特征进行去噪处理得到的第二样本特征。这里，第一样本特征是样本图像本身的特征，第二样本特征为对从样本图像提取得到的第一样本特征进行去噪处理得到的，也就是减弱了甚至消除了样本图像中的缺陷特征得到的，所以第一样本特征中包括正常特征和缺陷特征，第二样本图像中包括正常特征和被减弱的缺陷特征，对第一样本特征和第二样本特征的差值进行融合后得到的融合样本特征中，第一样本特征中的正常特征和第二样本特征正常特征相减后得到的特征被减弱，融合样本特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。最后，根据融合样本特征和样本对象信息，训练预设网络结构，直至预设网络结构满足预设训练条件，得到的对象检测模型，能够增强缺陷区域的显著性，通过训练得到的对象检测模型能够提升对目标对象的缺陷检测的速度和准确性，由此，能够提升检测效率。

样本图像对应的样本对象信息基于图2所示的对象检测模型的训练方法，本申请还提供一种模型构建方法，如图3所示，具体可以包括：

构建包括多个层级的预设网络结构，预设网络结构包括特征提取网络结构310、去噪网络结构320、注意力网络结构330和区域检测网络结构340。

其中，预设网络结构的每个层级包括用于特征提取的神经网络层；去噪网络结构用于对特征提取网络的输出进行去噪处理；注意力网络结构用于基于注意力机制对特征提取网络结构的输出和去噪网络结构的输出进行融合处理；区域检测网络结构用于根据注意力网络结构的输出计算检测对象信息，以及根据检测对象信息和样本对象信息计算损失值；

根据损失值训练预设网络结构，以在多个层级中的每个层级处确定经训练的多个神经网络层的参数；

将经训练的预设网络结构确定为检测模型。

图4为本申请实施例提供的一种对象检测方法的流程图。

如图4所示，该对象检测方法可以包括步骤410-步骤430，该方法应用于对象检测装置，具体如下所示：

步骤410，将待检测图像输入至对象检测模型，得到待检测图像的第一图像特征和第二图像特征；第二图像特征为对第一图像特征进行去噪处理得到的；待检测图像中包括待检测对象。

步骤420，对第一图像特征和第二图像特征的差值进行融合处理，得到融合图像特征。

步骤430，根据融合图像特征，检测待检测对象的对象信息，对象信息包括：待检测对象的类型，和/或，待检测对象中的缺陷区域在待检测图像中的位置信息。

本申请实施例中，通过将待检测图像输入至预先训练的对象检测模型，提取待检测图像的第一图像特征和第二图像特征，第二图像特征为对第一图像特征进行去噪处理得到的，这里，第一图像特征是待检测图像本身的特征，第二图像特征为对从待检测图像提取得到的第一图像特征进行去噪处理得到的，也就是减弱了甚至消除了待检测图像中的缺陷特征得到的，所以第一图像特征中包括正常特征和缺陷特征，第二图像特征中包括正常特征和被减弱的缺陷特征。对第一图像特征和第二图像特征的差值进行融合后得到的融合图像特征中，对于正常区域来说，第一图像特征中的正常特征和第二图像特征中的正常特征相减后得到的特征被减弱；对于缺陷区域来说，融合图像特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。最后，通过对包括强显著性的缺陷特征的融合图像特征进行检测，能够提升缺陷检测的速度和准确性，由此，能够提升检测效率。

下面，对步骤410-步骤430的内容分别进行描述：

涉及步骤410。

将待检测图像输入至预先训练的对象检测模型，提取待检测图像的第一图像特征和第二图像特征；第二图像特征为对第一图像特征进行去噪处理得到的；待检测图像中包括待检测对象。

在一种可能的实施例中，在步骤410之前，还可以包括以下步骤：

对样本图像进行预处理，消除样本图像中的各区域的光照变化影响。

具体可以采用LBP对样本图像进行预处理，消除样本图像中的各区域的光照变化影响。这里，通过LBP算子，对样本图像进行预处理，可以消除图片各区域光照变换的影响，从而增加了缺陷区域的显著性，增强了对微小缺陷的检出识别率，提升检测效率。

在一种可能的实施例中，对象检测模型包括层级结构互相对应的特征提取网络结构和去噪网络结构，步骤410，具体可以包括以下步骤：

将待检测图像输入至特征提取结构，得到特征提取网络结构的每个层级输出的第一图像特征；

将第一图像特征输入至去噪网络结构，得到去噪网络结构的每个层级输出的第二图像特征。

其中，特征提取结构可以为CNN；去噪网络结构可以为SDAE网络。

具体可以通过CNN多个特征层对样本图像进行特征提取，得到第一图像特征，第一图像特征可以是多维度特征矩阵，然后将CNN多个特征层提取到的多维度特征矩阵分别送入SDAE网络，对第一图像特征进行去噪处理，得到第二图像特征，其中，第二图像特征是对第一图像特征进行去噪处理后的特征矩阵。

相应地，待检测图像的第一图像特征和第二图像特征包括：特征提取网络结构的每个层级输出的第一图像特征，以及去噪网络结构的每个层级输出的第二图像特征。

涉及步骤420。

对第一图像特征和第二图像特征的差值进行融合处理，确定融合图像特征。

在一种可能的实施例中，步骤420中，具体可以包括以下步骤：

计算每个层级对应的第一图像特征，和每个层级对应的第二图像特征的差值；

对对象检测模型包括的全部层级中的每个层级对应的差值，进行加权融合处理，得到融合图像特征。

如图3所示，对象检测模型是包括多个层级的网络结构，对象检测模型包括层级结构互相对应的特征提取网络结构和去噪网络结构，即第一层特征提取网络结构的输出是第一层去噪网络结构的输入，即第N层特征提取网络结构的输出是第N层去噪网络结构的输入。

对每个层级对应的差值，即对第一层，计算每个层级对应的第一图像特征，和每个层级对应的第二图像特征的差值；对第N层，计算每个层级对应的第一图像特征，和每个层级对应的第二图像特征的差值，对第一层至第N层进行加权融合处理，得到融合图像特征。

涉及步骤430。

根据融合图像特征，检测待检测对象的对象信息，对象信息包括：待检测对象的类型，和/或，待检测对象中的缺陷区域在待检测图像中的位置信息。

由于融合图像特征是对第一图像特征和第二图像特征的差值进行融合处理确定的，第一图像特征是待检测图像本身的特征，第二图像特征为对从待检测图像提取得到的第一图像特征进行去噪处理得到的，也就是减弱了甚至消除了待检测图像中的缺陷特征得到的，所以第一图像特征中包括正常特征和缺陷特征，第二图像特征中包括正常特征和被减弱的缺陷特征，对第一图像特征和第二图像特征的差值进行融合后得到的融合图像特征中，第一图像特征中的正常特征和第二图像特征正常特征相减后得到的特征被减弱，融合图像特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。最后，通过对包括强显著性的缺陷特征的融合图像特征进行检测，能够提升缺陷检测的速度和准确性，由此，能够提升检测效率。

其中，待检测对象的类型，可以包括：凸起、凹陷和残缺等。

待检测对象中的缺陷区域在待检测图像中的位置信息，可以为待检测对象在待检测图像中的坐标信息。

本申请实施例中，通过将待检测图像输入至预先训练的对象检测模型，提取待检测图像的第一图像特征和第二图像特征，第二图像特征为对第一图像特征进行去噪处理得到的，这里，第一图像特征是待检测图像本身的特征，第二图像特征为对从待检测图像提取得到的第一图像特征进行去噪处理得到的，也就是减弱了甚至消除了待检测图像中的缺陷特征得到的，所以第一图像特征中包括正常特征和缺陷特征，第二图像特征中包括正常特征和被减弱的缺陷特征。对第一图像特征和第二图像特征的差值进行融合后得到的融合图像特征中，对于正常区域来说，第一图像特征中的正常特征和第二图像特征中的正常特征相减后得到的特征被减弱；对于缺陷区域来说，融合图像特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。最后，通过对包括强显著性的缺陷特征的融合图像特征进行检测，能够提升缺陷检测的速度和准确性，由此，能够提升检测效率。

基于上述图4所示的对象检测方法，本申请实施例还提供一种对象检测装置，如图5所示，该装置500可以包括：

输入模块510，用于将待检测图像输入至对象检测模型，得到待检测图像的第一图像特征和第二图像特征；第二图像特征为对第一图像特征进行去噪处理得到的；待检测图像中包括待检测对象。

融合模块520，用于对第一图像特征和第二图像特征的差值进行融合处理，得到融合图像特征。

检测模块530，用于根据融合图像特征，检测待检测对象的对象信息，对象信息包括：待检测对象的类型，和/或，待检测对象中的缺陷区域在待检测图像中的位置信息。

在一种可能的实施例中，对象检测模型包括层级结构互相对应的特征提取网络结构和去噪网络结构，输入模块510，具体用于：

将待检测图像输入至特征提取结构，得到特征提取网络结构的每个层级输出的第一图像特征；

将第一图像特征输入至去噪网络结构，得到去噪网络结构的每个层级输出的第二图像特征。

在一种可能的实施例中，融合模块520，具体用于：

计算每个层级对应的第一图像特征，和每个层级对应的第二图像特征的差值。

对每个层级对应的差值，进行加权融合处理，得到融合图像特征。

在一种可能的实施例中，该装置500还可以包括：

获取模块，用于获取多个训练数据，每个训练数据包括样本图像和样本图像对应的样本对象信息，样本图像中包括目标对象。

第一输入模块，用于将样本图像输入至预设网络结构，从样本图像中提取第一样本特征和第二样本特征；第二样本特征为对第一样本特征进行去噪处理得到的。

第一融合模块，用于对第一样本特征和第二样本特征的差值进行融合处理，确定融合样本特征。

训练模块，用于根据融合样本特征和样本对象信息，训练预设网络结构，直至预设网络结构满足预设训练条件，得到对象检测模型。

在一种可能的实施例中，训练模块，还包括第一检测模块；

第一检测模块，用于根据融合样本特征，检测目标对象的检测对象信息，检测对象信息包括：目标对象的类型，和/或，目标对象中的缺陷区域在样本图像中的位置信息。

训练模块，具体用于：根据检测对象信息和样本对象信息，训练预设网络结构，直至预设网络结构满足预设训练条件，得到对象检测模型。

在一种可能的实施例中，第一检测模块，具体用于通过检测网络结构，对融合样本特征进行检测，得到目标对象的检测对象信息。

在一种可能的实施例中，样本图像中的目标对象为无缺陷的对象，第一输入模块，具体用于：

将样本图像输入至预设网络结构，从样本图像中提取第一样本特征；

向第一样本特征中引入噪声值；

去除引入噪声值后的第一样本特征中的缺陷特征，得到第二样本特征。本申请实施例中，通过将待检测图像输入至预先训练的对象检测模型，提取待检测图像的第一图像特征和第二图像特征，第二图像特征为对第一图像特征进行去噪处理得到的，这里，第一图像特征是待检测图像本身的特征，第二图像特征为对从待检测图像提取得到的第一图像特征进行去噪处理得到的，也就是减弱了甚至消除了待检测图像中的缺陷特征得到的，所以第一图像特征中包括正常特征和缺陷特征，第二图像特征中包括正常特征和被减弱的缺陷特征。对第一图像特征和第二图像特征的差值进行融合后得到的融合图像特征中，对于正常区域来说，第一图像特征中的正常特征和第二图像特征中的正常特征相减后得到的特征被减弱；对于缺陷区域来说，融合图像特征中的缺陷特征从而被相应增强，从而达到增强缺陷特征目的。最后，通过对包括强显著性的缺陷特征的融合图像特征进行检测，能够提升缺陷检测的速度和准确性，由此，能够提升检测效率。

图6示出了本申请实施例提供的一种电子设备的结构示意图。

在电子设备可以包括处理器601以及存储有计算机程序指令的存储器602。

具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在综合网关容灾设备的内部或外部。在特定实施例中，存储器602是非易失性固态存储器。在特定实施例中，存储器602包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现图所示实施例中的任意一种对象检测方法。

在一个示例中，电子设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。

通信接口603，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线610包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备可以执行本申请实施例中的对象检测方法，从而实现结合图1至图4描述的方法。

另外，结合上述实施例中的方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现图1至图4中的对象检测方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种对象检测方法，其特征在于，所述方法包括：

将待检测图像输入至对象检测模型，得到所述待检测图像的第一图像特征和第二图像特征；所述第二图像特征为对所述第一图像特征进行去噪处理得到的；所述待检测图像中包括待检测对象；

对所述第一图像特征和所述第二图像特征的差值进行融合处理，得到融合图像特征；

根据所述融合图像特征，检测所述待检测对象的对象信息，所述对象信息包括：所述待检测对象的类型，和/或，所述待检测对象中的缺陷区域在所述待检测图像中的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述对象检测模型包括层级结构互相对应的特征提取网络结构和去噪网络结构，所述将待检测图像输入至对象检测模型，得到所述待检测图像的第一图像特征和第二图像特征，包括：

将所述待检测图像输入至所述特征提取结构，得到所述特征提取网络结构的每个层级输出的所述第一图像特征；

将所述第一图像特征输入至所述去噪网络结构，得到所述去噪网络结构的每个层级输出的所述第二图像特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像特征和所述第二图像特征的差值进行融合处理，得到融合图像特征，包括：

计算每个层级对应的所述第一图像特征，和所述每个层级对应的第二图像特征的差值；

对所述对象检测模型包括的全部层级中的所述每个层级对应的差值，进行加权融合处理，得到所述融合图像特征。

4.根据权利要求1-3任一项所述的方法，其特征在于，其特征在于，在所述将待检测图像输入至对象检测模型，提取所述待检测图像的第一图像特征和第二图像特征之前，所述方法包括：

获取多个训练数据，每个所述训练数据包括样本图像和所述样本图像对应的样本对象信息，所述样本图像中包括目标对象；

将所述样本图像输入至预设网络结构，从所述样本图像中提取第一样本特征和第二样本特征；所述第二样本特征为对所述第一样本特征进行去噪处理得到的；

对所述第一样本特征和所述第二样本特征的差值进行融合处理，确定融合样本特征；

根据所述融合样本特征和所述样本对象信息，训练所述预设网络结构，直至所述预设网络结构满足预设训练条件，得到所述对象检测模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述融合样本特征，训练所述预设网络结构，直至所述预设网络结构满足预设训练条件，得到对象检测模型，包括：

根据所述融合样本特征，检测所述目标对象的检测对象信息，所述检测对象信息包括：所述目标对象的类型，和/或，所述目标对象中的缺陷区域在所述样本图像中的位置信息；

根据所述检测对象信息和所述样本对象信息，训练所述预设网络结构，直至所述预设网络结构满足预设训练条件，得到所述对象检测模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述融合样本特征，检测所述目标对象的检测对象信息，包括：

通过检测网络结构，对所述融合样本特征进行检测，得到所述目标对象的检测对象信息。

7.根据权利要求4所述的方法，其特征在于，所述样本图像中的目标对象为无缺陷的对象，所述将所述样本图像输入至预设网络结构，从所述样本图像中提取第一样本特征和第二样本特征，包括：

将所述样本图像输入至预设网络结构，从所述样本图像中提取所述第一样本特征；

向所述第一样本特征中引入噪声值，得到引入噪声值后的第一样本特征；

去除所述引入噪声值后的第一样本特征中的缺陷特征，得到所述第二样本特征。

8.一种对象检测装置，其特征在于，所述装置包括：

输入模块，用于将待检测图像输入至对象检测模型，得到所述待检测图像的第一图像特征和第二图像特征；所述第二图像特征为对所述第一图像特征进行去噪处理得到的；所述待检测图像中包括待检测对象；

融合模块，用于对所述第一图像特征和所述第二图像特征的差值进行融合处理，得到融合图像特征；

检测模块，用于根据所述融合图像特征，检测所述待检测对象的对象信息，所述对象信息包括：所述待检测对象的类型，和/或，所述待检测对象中的缺陷区域在所述待检测图像中的位置信息。

9.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的对象检测方法。

10.一种可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的对象检测方法。

Images