CN116245846B - 带钢的缺陷检测方法及装置、存储介质、计算设备 - Google Patents

Abstract

一种带钢的缺陷检测方法及装置、存储介质、计算设备，所述方法包括：获取带钢的产品图像，所述产品图像由摄像头对所述带钢进行拍摄得到；采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果，所述第一缺陷分类结果包含至少一种可能的缺陷类别；获取所述带钢对应的缺陷先验知识，所述缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束；根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。通过本申请提供的方案，有利于提高带钢缺陷检测的准确度。

Description

带钢的缺陷检测方法及装置、存储介质、计算设备

技术领域

本申请涉及缺陷检测技术领域，尤其涉及一种带钢的缺陷检测方法及装置、存储介质、计算设备。

背景技术

在带钢的生产过程中，由于各种因素的影响，带钢表面容易出现缺陷，带钢表面的缺陷检测是带钢生产环节中的重要环节。近年来，随着机器视觉技术的发展，越来越多的带钢生产线上基于机器视觉技术对带钢缺陷进行检测。然而，目前缺陷检测的准确率通常只能达到70％左右，缺陷检测的准确率仍然有待提高。

发明内容

本申请解决的技术问题是如何提高带钢表面缺陷检测的准确度。

为解决上述技术问题，本申请实施例提供一种带钢的缺陷检测方法，包括：获取带钢的产品图像，所述产品图像由摄像头对所述带钢进行拍摄得到；采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果，所述第一缺陷分类结果包含至少一种可能的缺陷类别；获取所述带钢对应的缺陷先验知识，所述缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束；根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。

可选的，根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别包括：从所述至少一种可能的缺陷类别中排除错误的缺陷类别，得到所述带钢的缺陷类别，其中，所述错误的缺陷类别包括所述出现条件约束与所述产品图像的属性信息不匹配的缺陷类别。

可选的，所述属性信息包括空间属性信息，所述出现条件约束包括位置约束条件，其中，所述位置约束条件是指属于缺陷在所述带钢上可能的出现位置。

可选的，所述属性信息包括时间属性信息，所述出现条件约束包括时间约束条件，其中，所述时间约束条件是指属于缺陷出现的时间规律。

可选的，所述带钢对应的缺陷先验知识有多种，获取所述带钢对应的缺陷先验知识包括：识别所述带钢的材料成分信息和/或工艺信息；根据识别结果从多种缺陷先验知识中选择用于确定所述带钢的缺陷类别的缺陷先验知识。

可选的，所述第一缺陷分类结果包括：第一类别信息和第二类别信息，所述第一分类模型包括：全局检测子模型和局部检测子模型；其中，所述第一类别信息由所述全局检测子模型对所述产品图像进行检测得到，所述第二类别信息由所述局部检测子模型对所述产品图像进行检测得到，所述第二类别信息包括所述产品图像中至少一处缺陷区域的位置和各处缺陷区域的缺陷类别。

可选的，所述第一分类模型还包括：局部修正子模型，采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果包括：如果所述产品图像中任意一处缺陷区域的缺陷类别属于易混淆类别组合，则将属于所述易混淆类别的缺陷区域输入至所述局部修正子模型进行检测，得到第三类别信息；采用所述第三类别信息更新所述第二类别信息。

可选的，采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果之前，所述方法还包括：对所述产品图像进行预处理。

可选的，所述方法还包括：对所述产品图像呈现的缺陷进行特征提取，得到缺陷特征信息；将所述缺陷特征信息输入至预先训练得到的第二分类模型，得到所述第二分类模型输出的预测值，所述预测值用于指示所述带钢上缺陷的严重程度。

可选的，所述方法还包括：接收优化指令；响应于所述优化指令，获取测试样本图像，所述测试样本图像具有预先标注的参考类别；采用所述测试样本图像对所述第一分类模型进行验证测试，并根据所述验证测试的结果调整所述第一分类模型的阈值。

本申请实施例还提供一种带钢的缺陷检测装置，包括：第一获取模块，用于获取带钢的产品图像，所述产品图像由摄像头对所述带钢进行拍摄得到；第一分类模块，用于采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果，所述第一缺陷分类结果包含至少一种可能的缺陷类别；第二获取模块，用于获取所述带钢对应的缺陷先验知识，所述缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束；确定模块，用于根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述方法的步骤。

本申请实施例还提供一种计算设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。

与现有技术相比，本申请实施例的技术方案具有以下有益效果：

本申请实施例提供一种带钢的缺陷检测方法，在本申请实施例的方案中，获取带钢的产品图像，采用预先构建的第一分类模型对产品图像进行处理，得到第一缺陷分类结果，第一缺陷分类结果包含至少一种可能的缺陷类别；然后获取带钢对应的缺陷先验知识，因此根据缺陷先验知识和产品图像的属性信息，从至少一种可能的缺陷类别中确定带钢的缺陷类别。由于缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束，因此结合缺陷先验知识对基于计算机视觉技术得到的缺陷类别进行验证，能够有利于提高缺陷分类的准确度。换言之，本申请实施例提供的方案中，将基于专家经验得到的缺陷先验知识和机器视觉模型相结合来实现缺陷分类，有利于提高带钢表面缺陷分类的准确度。

进一步地，本申请实施例的方案中，根据带钢的材料成分信息和/或工艺信息，从多种缺陷先验知识中选择用于确定带钢的缺陷类别的缺陷先验知识。换言之，缺陷先验知识与带钢的材料成分信息和/或工艺信息相关联。采用上述方案，有利于避免对特征相似的缺陷产生的误判，从而提高缺陷分类的准确度。

进一步地，本申请实施例的方案中，预先设置有局部修正子模型，如果产品图像中任意一处缺陷区域的缺陷类别属于易混淆类别组合，则将属于易混淆类别的缺陷区域输入至局部修正子模型进行检测，得到第三类别信息；采用所述第三类别信息更新所述第二类别信息。采用上述方案有利于进一步提高缺陷分类的准确性。

进一步地，本申请实施例的方案中，对产品图像呈现的缺陷进行特征提取，得到特征缺陷信息，然后将缺陷特征信息输入至预先训练得到的第二分类模型，能够得到第二分类模型输出的用于指示缺陷严重程度的预测值。采用上述方案，能够实现缺陷严重程度的自动判定，有利于及时、准确地识别出缺陷严重的情况，实现质量闭环。

附图说明

图1是本申请实施例中一种带钢的缺陷检测方法的流程示意图；

图2是本申请实施例中一种第一分类模型的结构示意图；

图3是本申请实施例中另一种第一分类模型的结构示意图；

图4是本申请实施例中一种带钢对应的第一参考缺陷类别的示意图；

图5是本申请实施例中另一种带钢对应的第一参考缺陷类别的示意图；

图6是本申请实施例中一种带钢的缺陷检测装置的结构示意图。

具体实施方式

如背景技术所述，带钢缺陷检测的准确率仍然有待提高。

基于机器视觉技术进行缺陷识别主要有以下两种方案，其中一种方案是基于传统的机器学习技术建立缺陷分类模型，该方法通过提取带钢图片中各种缺陷的颜色、形状和纹理信息等特征信息，并基于这些特征信息训练分类模型(例如支持向量机(SupportVector Machine,简称SVM)或者决策树等)，然后将最终训练好的模型用于缺陷分类。这种方案的准确度受限于人工设定的特征，因此在针对多个缺陷类别的检测时，分类精度很难提升，并且其泛化能力和鲁棒性也相对较低。

另一种方案是基于深度神经网络的机器视觉技术，该技术摆脱了人为设定特征的局限性，采用数据驱动，由神经网络通过对大量样本图像进行分析，自动提取图像特征，一定程度提高了分类的准确率，但模型的准确率会受到训练样本的数量和质量的影响。

有鉴于此，本申请实施例提供一种带钢的缺陷检测方法，在本申请实施例的方案中，获取带钢的产品图像，采用预先构建的第一分类模型对产品图像进行处理，得到第一缺陷分类结果，第一缺陷分类结果包含至少一种可能的缺陷类别；然后获取带钢对应的缺陷先验知识，因此根据缺陷先验知识和产品图像的属性信息，从至少一种可能的缺陷类别中确定带钢的缺陷类别。由于缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束，因此结合缺陷先验知识对基于计算机视觉技术得到的缺陷类别进行验证，能够有利于提高缺陷分类的准确度。换言之，本申请实施例提供的方案中，将基于专家经验得到的缺陷先验知识和机器视觉模型相结合来实现缺陷分类，有利于提高带钢表面缺陷分类的准确度，缺陷分类准确率可以提高至95％。

为使本申请的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。

参照图1，图1是本申请实施例中一种带钢的缺陷检测方法的流程示意图。图1示出的方法可以由具有数据获取和处理功能的计算设备执行，例如，可以是服务器、计算机、物联网设备等。本申请实施例提供的方法可以应用于带钢冷轧生产线，或者，也可以应用于带钢热轧生产线，本申请对此并不限制。图1示出的带钢的缺陷检测方法可以包括如下步骤：

步骤S11：获取带钢的产品图像，所述产品图像由摄像头对所述带钢进行拍摄得到；

步骤S12：采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果，所述第一缺陷分类结果包含至少一种可能的缺陷类别；

步骤S13：获取所述带钢对应的缺陷先验知识，所述缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束；

步骤S14：根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。

可以理解的是，在具体实施中，上述方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中；或者，该方法可以采用硬件或者软硬结合的方式来实现，例如用专用的芯片或芯片模组来实现，或者，用专用的芯片或芯片模组结合软件程序来实现。

在步骤S11中，获取带钢的产品图像，其中，所述产品图像可以是由摄像头按照预先设定的帧率对带钢进行拍摄得到的，所述摄像头可以设置于带钢的生产线上，本实施例的方案中，摄像头的数量可以为多个，多个摄像头可以从不同角度对带钢进行拍摄对于摄像头的数量和设置的位置并不进行限制。

在具体实施中，所述摄像头可以是工业相机的镜头，也即，带钢的产品图像可以是由工业相机拍摄得到。

进一步地，带钢的产品图像可以预先存储在边缘服务器上，步骤S11中可以从边缘服务器获取带钢的产品图像。

在本申请的方案中，每张产品图像具有属性信息，所述属性信息可以包括：空间属性信息和时间属性信息。其中，所述时间属性信息可以指示产品图像的拍摄时刻，所述空间属性信息可以指示拍摄产品图像的摄像头所设置的位置。例如，带钢的生产线上所设置的摄像头包括第一摄像头和第二摄像头，其中，第一摄像头可以用于对带钢的上表面进行拍摄，第二摄像头可以用于对带钢的下表面进行拍摄。由第一摄像头拍摄到的产品图像的空间属性信息可以包括第一编号，由第二摄像头拍摄到的产品图像的空间属性信息可以包括第二编号。

在步骤S12的具体实施中，采用预先构建的第一分类模型对产品图像进行处理，得到第一缺陷分类结果。具体而言，可以将产品图像输入至第一分类模型，得到第一分类模型输出的第一缺陷分类结果。由此，可以得到每帧产品图像对应的第一缺陷分类结果，其中，第一缺陷分类结果包含至少一种可能的缺陷类别。也即，第一缺陷分类结果是基于计算机视觉技术得到的。

在具体实施中，在将产品图像输入至第一分类模型之前，可以先对产品图像进行预处理。所述预处理可以包括常见的图像预处理方式，如灰度处理和翻转处理等。

参照图2，图2是本申请实施例中一种第一分类模型的结构示意图。下面结合图2对步骤S12进行非限制性的说明。

如图2所示，第一分类模型20可以包括：全局检测子模型21、局部检测子模型22和局部修正子模型23。

其中，全局检测子模型21可以用于检测产品图像中的全局缺陷，局部检测子模型22可以用于检测产品图像中的局部缺陷。在实际应用中，全局缺陷可以是指面积较大的缺陷，局部缺陷可以是指面积较小的缺陷。

更具体地，所述全局检测子模型21可以是分类模型，全局检测子模型21可以用于对产品图像进行整图分类。在具体实施中，产品图像输入至全局检测子模型21，全局检测子模型21可以输出第一类别信息。也即，第一类别信息由全局检测子模型21对产品图像进行检测得到，第一类别信息可以是指产品图像对应的缺陷类别，产品图像对应的缺陷类别可以是可能的全局缺陷的类别。

进一步地，局部检测子模型22可以是目标检测模型，例如，局部检测子模型22可以是多目标检测模型，局部检测子模型22可以用于对产品图像中局部缺陷进行检测分类。

在具体实施中，产品图像输入至局部检测子模型22，局部检测子模型22可以输出第二类别信息，也即，第二类别信息可以是由局部检测子模型22对产品图像进行检测得到，其中，第二类别信息可以包括至少一个缺陷区域和每个缺陷区域对应的缺陷类别。更具体地，缺陷区域可以是局部缺陷的区域，缺陷区域对应的缺陷类别可以是可能的局部缺陷的类别。

进一步地，第一分类模型20还可以包括局部修正子模型23，所述局部修正子模型23可以用于判断局部检测子模型22输出的第二分类信息是否准确。在具体实施中，局部修正子模型23可以是二分类模型或三分类模型。

作为一个具体的示例，可以预先设置有多个易混淆类别组合，并为每个易混淆类别组合设置分类单元，也即，局部修正子模型23可以包括多个分类单元(图未示)，分类单元可以和易混淆类别组合具有对应关系，易混淆类别组合可以包括容易互相混淆的多个缺陷类别，例如，某个易混淆类别组合可以包括：划伤和黑线(小夹杂)。

进一步地，分类单元可以是由易混淆类别组合的缺陷类别相关的样本产品图像训练得到。例如，分类单元可以是二分类模型，该分类单元对应的易混淆类别可以是类别1和类别2，该分类单元的训练数据中的正样本可以是包含类别1的缺陷的样本产品图像，负样本可以是包含类别2的缺陷的样本产品图像。

进一步地，采用局部检测子模型22对产品图像进行检测，得到第二类别信息之后，如果第二类别信息中任意一个缺陷区域的缺陷类别属于任意一个易混淆类别组合中的缺陷类别，则可以将该缺陷区域输入至该易混淆类别组合对应的分类单元中，得到该分类单元输出的分类结果，由此可以得到第三类别信息，也即，第三类别信息可以包括产品图像中属于易混淆类别组合的缺陷区域的缺陷类别。

进一步地，可以采用第三类别信息对第二类别信息进行更新，以得到更新后的第二类别信息。具体地，对于第三类别信息中的每个缺陷区域，如果第三类别信息中的缺陷类别和第二类别信息中的缺陷类别不一致，则可以采用第三类别信息中的缺陷类别更新第二类别信息中的缺陷类别，如果第三类别信息中的缺陷类别和第二类别信息中的缺陷类别一致，则说明第二类别信息中的缺陷类别是准确的，无需更新。

由此，可以得到第一缺陷分类结果，第一缺陷分类结果可以包括第一分类信息和第二分类信息。其中，第二分类信息可以是采用第三类别信息进行更新之后的第二分类信息。

参照图3，图3是本申请实施例中另一种第一分类模型的结构示意图。下面结合图3对步骤S12进行非限制性的说明。

图3示出的第一分类模型30可以包括全局检测子模型31、局部检测子模型32、局部修正子模型33和加权模块34。

如上文所述，全局检测子模型31可以用于对产品图像进行整图分类，得到第一类别信息；局部检测子模型32可以用于对检测产品图像中进行局部缺陷检测，得到第二类别信息；局部修正子模型33可以用于对缺陷区域的缺陷类别进行检测，得到第三类别信息。

进一步地，第一类别信息、第二类别信息和第三类别信息均包括一种或多种缺陷类别的出现概率，为此，可以将第一类别信息、第二类别信息和第三类别信息输入至加权模块34，所述加权模块34可以对第一类别信息、第二类别信息和第三类别信息中每种缺陷类别的出现概率进行加权计算，得到该种缺陷类别的分值，从而得到第一缺陷分类结果。

上文主要就图3示出的第一分类模型30与图2示出的第一分类模型20的不同之处进行描述，关于第一分类模型30的更多内容可以参见上文关于第一分类模型20的相关描述，在此不再赘述。

需要说明的是，关于第一分类模型的训练方法可以是基于历史缺陷图片进行训练得到的，训练方法可以是现有的各种适当的训练方法，本申请实施例对此并不限制。

在具体实施中，对于每卷带钢，可以创建该卷带钢对应的数据表，并将产品图像的属性信息以及产品图像对应的第一缺陷分类结果记录在带钢对应的数据表中。

进一步地，还可以将第一缺陷分类结果中各种可能的缺陷类别在带钢上的特征信息也记录于数据表中，所述特征信息缺陷类别和面积也可以是基于第一分类模型得到的。其中，特征信息可以包括以下至少一项：位置、长度、宽度、面积和纹理等。

在本申请的一实施例中，所述预处理可以包括图像增强。

具体而言，由于带钢的产品形态，拍摄到的产品图像中带钢的影像区域通常呈长方形(或者称之为长条状)，且该长方形的长和宽之间的差异较大，而目前计算机视觉模型通常限制输入的图像为正方形，例如，输入图像的尺寸为780×780。如果直接将拍摄得到的产品图像输入至第一分类模型，则产品图像中非带钢影像区域的面积占比较大，不利于第一分类模型准确地识别缺陷类别。

有鉴于此，本申请的一实施例中，对于任意一张拍摄得到的产品图像，可以对其进行图像增强，得到增强后的图像，所述增强后的图像可以为正方形，且尺寸满足所述第一分类模型对输入图像的尺寸要求，然后将增强后的图像输入至第一分类模型，以得到第一分类模型输出的第一缺陷分类结果。

下面以第一产品图像为例对本申请实施例中图像增强的相关内容进行描述，所述第一产品图像为任意一张对带钢拍摄得到的产品图像。

在具体实施中，在空白图像中粘贴N张第一产品图像，得到第一产品图像对应的增强后的图像，在增强后的图像中，各张第一产品图像互不重叠，且相邻两张第一产品图像之间具有间隔，增强后的图像的尺寸和所述第一分类模型所要求的输入图像尺寸一致。其中，N为预设的大于1的整数值，空白图像的尺寸为第一分类模型要求的输入图像的尺寸，N取决于所述第一产品图像的尺寸和所述第一分类模型的输入图像的尺寸。例如，第一产品图像尺寸为780×114，所述第一分类模型的输入图像的尺寸为780×780，则N可以为5。

更具体地，增强后的图像中的N张第一产品图像中至少一张第一产品图像可以是由第一产品图像经过图像变换得到的，所述图像变换可以包括：旋转、色彩变换、灰度变换等。

需要说明的是，在第一分类模型的训练之前也可以先对样本产品图像进行上述的图像增强，有利于增强样本产品图像的数量和多样性。

进一步地，可以将增强后的产品图像输入至第一分类模型。

具体地，将增强后的产品图像输入至全局检测子模型，由于增强后的产品图像包括N张第一产品图像，极大地提高了图像中有效特征的占比，使得全局检测子模型输出的第一类别信息更加准确。

此外，将增强后的产品图像输入至局部检测子模型，能够得到N张第一产品图像各自对应的第二类别信息，也即，得到N个第二类别信息。由于增强后的产品图像中相邻两张第一产品图像之间具有间隔，能够有利于避免误检，避免将重叠的区域识别为缺陷。

进一步地，可以对N个第二类别信息中每种缺陷类别的出现概率进行加权计算，并将加权计算得到的结果作为该种缺陷类别在第二类别信息中的出现概率。采用上述方案，有利于使得局部检测子模型输出的第二类别信息更加准确。

继续参照图1，在步骤S13中，获取带钢对应的缺陷先验知识，其中，所述缺陷先验知识可以包括多种参考缺陷类别。进一步地，还可以包括每种参考缺陷类别对应的出现概率。

在具体实施中，可以识别每卷带钢的材料成分信息和/或工艺信息；然后根据识别结果从多种缺陷先验知识中选择用于确定该卷带钢的缺陷类别的缺陷先验知识。在具体实施中，缺陷先验知识可以是基于冶金学、力学、工艺以及工人积累经验得到的。

更具体地，每卷带钢具有标识信息，可以根据标识信息，确定带钢的材料成分信息和/或工艺信息，然后可以从多种缺陷先验知识中确定材料成分信息对应的多种第一参考缺陷类别，和/或，从多种缺陷先验知识中确定工艺信息对应的多种第二参考缺陷类别。

参照图4和图5，图4是一种带钢对应的多种第一参考缺陷类别，图5是另一种带钢对应的多种第一参考缺陷类别。也即，图4和图5示出了材料成分所确定的多种参考缺陷类别。

其中，材料成分信息可以是指带钢的化学成分(例如，碳，锰，硫，硅，磷等)，工艺信息可以包括工艺手段、工艺过程参数(例如，轧制速度)等。

进一步地，缺陷先验知识还可以包括每种参考缺陷类别的参考特征信息，参考特征信息可以包括以下一项或多项：缺陷的长度、缺陷的宽度、缺陷的面积、缺陷的纹理等。

带钢对应的缺陷先验知识还可以包括：至少一种参考缺陷类别的出现条件约束。其中，所述出现条件约束包括时间约束条件和/或位置约束条件，其中，所述时间约束条件可以是指属于缺陷出现的时间规律，位置约束条件可以是指属于缺陷在所述带钢上可能的出现位置。

更具体地，时间约束条件可以包括：缺陷连续出现的时长和/或间隔出现的周期。例如，间隔出现的周期可以与轧辊滚动周期相关；又例如，缺陷连续出现的周期可以与轧制工艺相关或和异物发生摩擦引起。

在步骤S14中，根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。

具体而言，可以根据参考缺陷类别对应的缺陷先验知识，从第一缺陷分类结果包括的至少一种可能的缺陷类别中排除错误的缺陷类别。其中，所述错误的缺陷类别可以包括出现条件约束与产品图像的属性信息不匹配的缺陷类别。

此外，如果第一缺陷分类结果中任意一种可能的缺陷类别不是所述缺陷先验知识所限定的参考缺陷类别，则该种可能的缺陷类别也会被判定为错误的缺陷类别。换言之，所述错误的缺陷类别还可以包括不属于缺陷先验知识中参考缺陷类别的缺陷类别。例如，带钢的硅含量较高，带钢的第一缺陷分类结果中包括一种红色的铁皮类缺陷，由于硅含量较高的带钢不会出现红色的铁皮类缺陷，该带钢的参考缺陷类别不包括红色的铁皮类缺陷，则可以将该铁皮类缺陷剔除。

在具体实施中，从第一缺陷分类结果包括的至少一种可能的缺陷类别中排除错误的缺陷类别可以包括：剔除不是参考缺陷类别的缺陷类别；对于剩余的每种可能的缺陷类别(也即，均为参考缺陷类别)，判断该种可能的缺陷类别是否满足缺陷出现条件，如果判断结果为不满足，则可以将该类别剔除，如果判断结果满足，则可以保留该类别。

具体而言，判断可能的缺陷类别是否满足空间出现条件可以包括：判断产品图像的空间属性信息是否与该可能的缺陷类别的空间出现条件相匹配。例如，可能的缺陷类别为铁粉掉落，空间出现条件为：带钢上表面，而产品图像的空间属性信息指示拍摄产品图像的摄像头为上述的第二摄像头，第二摄像头用于对带钢的下表面进行拍摄。由于带钢的下表面不会出现“铁粉掉落”这种缺陷，因此可以确定该可能的缺陷类别为错误的缺陷类别，并将其排除。

此外，判断可能的缺陷类别是否满足时间出现条件可以包括：判断产品图像的时间属性信息是否与该可能的缺陷类别的时间出现条件相匹配。更具体地，对于每帧产品图像，可以结合该帧产品图像之前一段时间和之后一段时间内的产品图像的缺陷类别判断该帧产品图像对应的可能的缺陷类别是否匹配时间出现条件。如果不匹配，则可以确定为错误的缺陷类别，并将其排除。

进一步地，在排除错误的缺陷类别之后，对于第一缺陷分类结果中剩余的可能的缺陷类别，可以将分值最高的N个类别确定为产品图像呈现的带钢的缺陷类别，其中，N为正整数。

进一步地，本实施例的方案中，还可以在前端展示最终确定的带钢的缺陷类别。

由上，本实施例的方案中，将基于专家经验得到的缺陷先验知识和机器视觉模型相结合来实现缺陷分类，有利于提高带钢表面缺陷分类的准确度，缺陷分类准确率可以提高至95％。

在一个非限制性的例子中，可以对第一分类模型进行模型阈值自适应调整。

具体而言，接收优化指令；响应于所述优化指令，获取测试样本图像，所述测试样本图像具有预先标注的参考类别；然后采用所述测试样本图像对所述第一分类模型进行验证测试，并根据所述验证测试的结果调整所述第一分类模型的阈值。

更具体地，如果验证测试的结果指示第一分类模型的准确率低于预设的置信度阈值，则可以启动模型阈值的自动调整，以提高第一分类模型的分类准确率。

进一步地，在本申请实施例的中，还可以判定带钢上缺陷的严重程度。

具体而言，可以对产品图像呈现的缺陷进行特征提取，得到缺陷特征信息，然后将缺陷特征信息输入至第二分类模型，得到第二分类模型输出的预测值，所述预测值可以用于指示带钢上缺陷的严重程度。其中，所述缺陷特征信息可以包括产品图像中缺陷的长度、宽度、面积、边缘信息或者灰度信息等。

进一步地，如果预测值大于或等于预设值，则可以确定缺陷严重。如果预测值小于预设值，则可以缺陷不严重。进一步地，缺陷严重的情况下，可以获取缺陷对应的缺陷应对措施。

在具体实施中，所述第二分类模型可以是通过训练得到的。

具体地，可以获取样本产品图像，然后对样本产品图像呈现的缺陷进行特征提取，得到样本缺陷特征信息。进一步地，样本产品图像可以具有预先标注的标签值，所述标签值可以用于指示样本产品图像中缺陷的严重程度。

进一步地，可以将样本缺陷特征信息和样本产品图像的标签值作为训练数据进行训练，当模型收敛时得到第二分类模型。

需要说明的是，第二分类模型的训练方法可以是现有的各种适当的训练方法，本申请实施例对此并不进行限制。

由此，本申请实施例通过部署第二分类模型，可以实现缺陷严重程度的判断，从而可以及时地检测出缺陷严重的情况。

参照图6，图6是本申请实施例中的一种带钢的缺陷检测装置的结构示意图，图6示出的装置可以部署于上述的设备，图6示出的装置可以包括：

第一获取模块61，用于获取带钢的产品图像，所述产品图像由摄像头对所述带钢进行拍摄得到；

第一分类模块62，用于采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果，所述第一缺陷分类结果包含至少一种可能的缺陷类别；

第二获取模块63，用于获取所述带钢对应的缺陷先验知识，所述缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束；

确定模块64，用于根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。

在具体实施中，图6示出的带钢的缺陷检测装置可以对应于计算设备中具有数据处理功能的芯片；或者对应于计算设备中具有数据处理功能的芯片模组，或者对应于计算设备。

关于本申请实施例中带钢的缺陷检测装置的工作原理、工作方法和有益效果等更多内容，可以参照上文关于带钢的缺陷检测方法的相关描述，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，上述方法被执行。所述存储介质可以包括只读存储器(read-only memory，简称ROM)、随机存取存储器(random access memory，简称RAM)、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。

本申请实施例还提供一种计算设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。所述计算设备包括但不限于手机、计算机、平板电脑、服务器等设备。

应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

虽然本申请披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种带钢的缺陷检测方法，其特征在于，包括：

获取带钢的产品图像，所述产品图像由摄像头对所述带钢进行拍摄得到；采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果，所述第一缺陷分类结果包含至少一种可能的缺陷类别；

获取所述带钢对应的缺陷先验知识，所述缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束；

根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。

2.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别包括：

从所述至少一种可能的缺陷类别中排除错误的缺陷类别，得到所述带钢的缺陷类别，其中，所述错误的缺陷类别包括所述出现条件约束与所述产品图像的属性信息不匹配的缺陷类别。

3.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，所述属性信息包括空间属性信息，所述出现条件约束包括位置约束条件，其中，所述位置约束条件是指属于缺陷在所述带钢上可能的出现位置。

4.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，所述属性信息包括时间属性信息，所述出现条件约束包括时间约束条件，其中，所述时间约束条件是指属于缺陷出现的时间规律。

5.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，所述带钢对应的缺陷先验知识有多种，获取所述带钢对应的缺陷先验知识包括：

识别所述带钢的材料成分信息和/或工艺信息；

根据识别结果从多种缺陷先验知识中选择用于确定所述带钢的缺陷类别的缺陷先验知识。

6.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，所述第一缺陷分类结果包括：第一类别信息和第二类别信息，所述第一分类模型包括：全局检测子模型和局部检测子模型；

其中，所述第一类别信息由所述全局检测子模型对所述产品图像进行检测得到，所述第二类别信息由所述局部检测子模型对所述产品图像进行检测得到，所述第二类别信息包括所述产品图像中至少一处缺陷区域的位置和各处缺陷区域的缺陷类别。

7.根据权利要求6所述的带钢的缺陷检测方法，其特征在于，所述第一分类模型还包括：局部修正子模型，采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果包括：

如果所述产品图像中任意一处缺陷区域的缺陷类别属于易混淆类别组合，则将属于所述易混淆类别组合的缺陷区域输入至所述局部修正子模型进行检测，得到第三类别信息；

采用所述第三类别信息更新所述第二类别信息。

8.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果之前，所述方法还包括：

对所述产品图像进行预处理。

9.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，所述方法还包括：

对所述产品图像呈现的缺陷进行特征提取，得到缺陷特征信息；

将所述缺陷特征信息输入至预先训练得到的第二分类模型，得到所述第二分类模型输出的预测值，所述预测值用于指示所述带钢上缺陷的严重程度。

10.根据权利要求1所述的带钢的缺陷检测方法，其特征在于，所述方法还包括：

接收优化指令；

响应于所述优化指令，获取测试样本图像，所述测试样本图像具有预先标注的参考类别；

采用所述测试样本图像对所述第一分类模型进行验证测试，并根据所述验证测试的结果调整所述第一分类模型的阈值。

11.一种带钢的缺陷检测装置，其特征在于，包括：

第一获取模块，用于获取带钢的产品图像，所述产品图像由摄像头对所述带钢进行拍摄得到；

第一分类模块，用于采用预先构建的第一分类模型对所述产品图像进行处理，得到第一缺陷分类结果，所述第一缺陷分类结果包含至少一种可能的缺陷类别；

第二获取模块，用于获取所述带钢对应的缺陷先验知识，所述缺陷先验知识包括多种参考缺陷类别以及至少一种参考缺陷类别的出现条件约束；

确定模块，用于根据所述缺陷先验知识和所述产品图像的属性信息，从所述至少一种可能的缺陷类别中确定所述带钢的缺陷类别。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行权利要求1至10中任一项所述的带钢的缺陷检测方法的步骤。

13.一种计算设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10中任一项所述的带钢的缺陷检测方法的步骤。