CN111105411B - 一种磁瓦表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种磁瓦表面缺陷检测方法，包括如下步骤：将磁瓦图像输入到缺陷检测网络模型中，输出缺陷概率图；判断缺陷概率图上各像素点是否为缺陷点；提取各缺陷点围合的疑似缺陷区域记为rect1；提取磁瓦图像对应的label图像上的真实缺陷区域记为rect2；计算rect1与rect2的区域面积交并比；根据交并比判断模型的预测结果是否正确，并根据预测结果，将rect1区域标记为“1”或“0”；从磁瓦图像中和模型输出的各特征图中截取出经标记后的各rect1区域；将截取的各rect1区域融合得到一区域融合图；统计区域融合图中的正负样本占比，本发明降低了磁瓦缺陷的误检测率。

Description

一种磁瓦表面缺陷检测方法

技术领域

本发明涉及缺陷检测计数领域，具体涉及一种磁瓦表面缺陷检测方法。

背景技术

磁瓦是一种铁氧体瓦状永磁材料，主要成分是氧化铁和氧化锶，一般用在永磁电机上，其作用是代替励磁绕组产生的磁场。磁瓦作为永磁电机的关键部件，磁瓦质量直接影响永磁电机的质量。

磁瓦的代表性缺陷有开裂、圈裂、掉角、磁瓦表面非平面等。对于磁瓦缺陷的检测，目前各大磁瓦生产厂商普遍采用传统的人工检测方式，人工检测人力成本高、劳动强度大，人眼容易疲劳，而且判别标准因人而异，判别结果不够科学、客观。另外由于磁瓦尺寸多样，且形状并不规则，人眼很难对磁瓦进行尺寸检测，因此人眼检测方式很难将不合格的磁瓦剔除，也无法根据磁瓦尺寸对磁瓦进行等级划分，以提高生产效益。

为了解决人为检测存在的上述问题，近些年也出现了基于机器视觉识别技术的磁瓦缺陷检测方法，但现有的针对磁瓦缺陷检测的机器识别算法由于缺陷样本不均衡，导致误检测率较高，容易将良品误检测为不良品。

发明内容

本发明的目的在于提供一种磁瓦表面缺陷检测方法，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种磁瓦表面缺陷检测方法，包括如下步骤：

步骤S1，将待检测的磁瓦图像输入到一缺陷检测网络模型中，所述缺陷检测网络模型输出一关联于所述磁瓦图像的缺陷概率图；

步骤S2，判断所述缺陷概率图上各像素点为缺陷的概率得分是否大于预设的分数阈值T，

若是，则将所述像素点确定为所述磁瓦图像上的缺陷点；

若否，则将所述像素点确定为非缺陷点；

步骤S3，计算出被确定为缺陷点的各所述像素点在所述磁瓦图像上形成的缺陷区域的第一最小外接矩形，并将所述第一最小外接矩形围合的疑似缺陷区域记为rect1区域；

步骤S4，提取所述磁瓦图像对应的label图像的第二最小外接矩形，并将所述第二最小外接区域围合的真实缺陷区域记为rect2区域；

步骤S5，计算所述rect1区域与所述rect2区域的区域面积交并比iou；

步骤S6，判断所述交并比iou是否小于一预设阈值TI，

若是，则表明所述缺陷检测网络模型输出的缺陷检测结果正确，并将所述步骤S3检测出的所述rect1区域标记为“1”；

若否，则表明所述缺陷检测网络模型输出的所述缺陷检测结果错误，并将所述步骤S3检测出的所述rect1区域标记为“0”；

步骤S7，从所述磁瓦图像中截取出经所述步骤S6标记后的各所述rect1区域，并从所述缺陷检测网络模型的前八个卷积层输出的关联于所述磁瓦图像的各特征图中截取出经所述步骤S6标记后的各所述rect1区域；

步骤S8，将所述步骤S7截取的各所述rect1区域进行图像融合，得到一区域融合图；

步骤S9，根据所述步骤S6对所述rect1区域的标签信息，统计出所述区域融合图中的正样本数量和负样本数量，并形成一统计结果。

作为本发明的一种优选方案，所述步骤S8中，将所述步骤S7截取的各所述rect1区域进行图像融合，并将融合后的图像进行尺寸变换，最终得到所述区域融合图。

作为本发明的一种优选方案，通过双线性插值法对融合后的图像进行尺寸变换。

作为本发明的一种优选方案，所述区域融合图的尺寸为56×56。

作为本发明的一种优选方案，训练所述缺陷检测网络模型的神经网络为全卷积神经网络FCN。

作为本发明的一种优选方案，所述磁瓦表面缺陷检测方法还包括一模型评价方法，所述模型评价方法用于对所述缺陷检测网络模型的预测性能进行评价，所述模型评价方法通过一定义的损失函数loss实现，所述损失函数loss如下：

loss＝-c1×(y_hat×log(1/(1+e^-y)))+c2×(1-y_hat)×log(1-1/(1+e^-y))

上式中，c1用于表示所述缺陷检测网络模型输出的所述正样本的数量；

c2用于表示所述缺陷检测网络模型输出的所述负样本的数量；

y_hat用于表示所述缺陷检测网络模型预测的磁瓦缺陷类别；

y用于表示所述磁瓦的实际缺陷类别。

本发明的有益效果是：

将缺陷检测网络模型输出的特征图与原始图像进行图像融合，并定义了是否为误检测的判别准则，在模型训练时可以通过调节缺陷检测网络模型输出的缺陷概率图的分数阈值T以平衡缺陷样本。而且在模型训练时的训练样本数量是变化的，通过统计正负样本占比，并根据正负样本比计算模型的预测损失，实现了对磁瓦的端到端的缺陷检测，降低了缺陷误检率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的磁瓦表面缺陷检测方法的方法步骤图；

图2是通过本发明实施例所述的磁瓦表面缺陷检测方法检测磁瓦表面缺陷的原理框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的一种磁瓦表面缺陷检测方法，请参照图1，包括如下步骤：

步骤S1，将待检测的磁瓦图像输入到一缺陷检测网络模型中，缺陷检测网络模型输出一关联于磁瓦图像的缺陷概率图(score map)；

步骤S2，判断缺陷概率图上各像素点为缺陷的概率得分是否大于预设的分数阈值T(0≤T≤1)，

若是，则将该像素点确定为磁瓦图像上的缺陷点；

若否，则将该像素点确定为非缺陷点；

步骤S3，计算出被确定为缺陷点的各像素点在磁瓦图像上形成的缺陷区域的第一最小外接矩形(minimum bounding rectangle)，并将第一最小外接矩形围合的疑似缺陷区域标记为rect1区域；minimum bounding rectangle包含矩形左上角坐标及该矩形的长和宽；

步骤S4，提取磁瓦图像对应的label图像(标签图像)的第二最小外接矩形(minimum bounding rectangle)，并将第二最小外接区域围合的真实缺陷区域记rect2区域；

步骤S5，计算rect1区域和rect2区域的区域面积交并比iou；

步骤S6，判断交并比iou是否小于一预设阈值TI，

若是，则表明缺陷检测网络模型输出的缺陷检测结果正确，并将步骤S3检测出的rect1区域标记为“1”；“1”用于表示缺陷检测网络模型检测的正样本；

若否，则表明缺陷检测网络模型输出的缺陷检测结果错误，并将步骤S3检测出的rect1区域标记为“0”；“0”用于表示缺陷检测网络模型检测的负样本；

步骤S7，从磁瓦图像中截取出经步骤S6标记后的各rect1区域，并从缺陷检测网络模型输出的前八个卷积层输出的关联于磁瓦图像的各特征图中截取出经步骤S6标记后的各rect1区域；

步骤S8，将步骤S7截取的各rect1区域进行图像融合(concat)，得到一区域融合图；

步骤S9，根据步骤S6对rect1区域的标签信息，统计出区域融合图中的正样本数量和负样本数量，并形成一统计结果。

上述技术方案中，步骤S1中，训练缺陷检测网络模型采用的神经网络优选为全卷积神经网络FCN。

步骤S3中，计算第一最小外接矩形的方法为现有技术，所以关于第一最小外接矩形的计算方法在此不作阐述。

另外步骤S4中，提取磁瓦图像对应的label图像以及提取label图像中的第二最小外接矩形的方法均为现有技术，所以详细的提取过程在此不作阐述。

步骤S8中，优选地，将步骤S7截取的各rect1区域进行图像融合，并将融合后的图像进行尺寸变换，最终才得到区域融合图。更优选地，通过双线性插值法对融合的图像进行尺寸变换。双线性插值法为现有的图像处理方法，所以通过双线性插值法对融合后的图像进行尺寸变换的具体方法过程在此不作阐述。

区域融合图的图像尺寸优选为56×56。

为了实现对缺陷检测网络模型的预测性能的评价，本发明提供的磁瓦表面缺陷检测方法还包括一模型评价方法，该模型评价方法通过一定义的损失函数loss实现，损失函数loss如下：

loss＝-c1×(y_hat×log(1/(1+e^-y)))+c2×(1-y_hat)×log(1-1/(1+e^-y))

上式中，c1用于表示缺陷检测网络模型输出的正样本的数量；

c2用于表示缺陷检测网络模型输出的负样本的数量；

y_hat用于表示缺陷检测网络模型预测的磁瓦缺陷类别；

y用于表示磁瓦的实际缺陷类别。

上式中，loss的值越小，表示缺陷检测网络模型的预测性能越好。

综上，本发明在损失计算时根据真实缺陷样本数量与误检样本数量的比例分别计算，可解决因样本不均衡带来的误检测率高的问题。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (6)

1.一种磁瓦表面缺陷检测方法，其特征在于，包括如下步骤：

步骤S1，将待检测的磁瓦图像输入到一缺陷检测网络模型中，所述缺陷检测网络模型输出一关联于所述磁瓦图像的缺陷概率图；

步骤S2，判断所述缺陷概率图上各像素点为缺陷的概率得分是否大于预设的分数阈值T，

若是，则将所述像素点确定为所述磁瓦图像上的缺陷点；

若否，则将所述像素点确定为非缺陷点；

步骤S3，计算出被确定为缺陷点的各所述像素点在所述磁瓦图像上形成的缺陷区域的第一最小外接矩形，并将所述第一最小外接矩形围合的疑似缺陷区域记为rect1区域；

步骤S4，提取所述磁瓦图像对应的label图像的第二最小外接矩形，并将所述第二最小外接矩形围合的真实缺陷区域记为rect2区域；

步骤S5，计算所述rect1区域与所述rect2区域的区域面积交并比iou；

步骤S6，判断所述交并比iou是否大于一预设阈值TI，

若是，则表明所述缺陷检测网络模型输出的缺陷检测结果正确，并将所述步骤S3检测出的所述rect1区域标记为“1”；

若否，则表明所述缺陷检测网络模型输出的所述缺陷检测结果错误，并将所述步骤S3检测出的所述rect1区域标记为“0”；

步骤S7，从所述磁瓦图像中截取出经所述步骤S6标记后的各所述rect1区域，并从所述缺陷检测网络模型的前八个卷积层输出的关联于所述磁瓦图像的各特征图中截取出经所述步骤S6标记后的各所述rect1区域；

步骤S8，将所述步骤S7截取的各所述rect1区域进行图像融合，得到一区域融合图；

步骤S9，根据所述步骤S6对所述rect1区域的标签信息，统计出所述区域融合图中的正样本数量和负样本数量，并形成一统计结果。

2.如权利要求1所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤S8中，将所述步骤S7截取的各所述rect1区域进行图像融合，并将融合后的图像进行尺寸变换，最终得到所述区域融合图。

3.如权利要求2所述的磁瓦表面缺陷检测方法，其特征在于，通过双线性插值法对融合后的图像进行尺寸变换。

4.如权利要求3所述的磁瓦表面缺陷检测方法，其特征在于，所述区域融合图的尺寸为56×56。

5.如权利要求1所述的磁瓦表面缺陷检测方法，其特征在于，训练所述缺陷检测网络模型的神经网络为全卷积神经网络FCN。

6.如权利要求1所述的磁瓦表面缺陷检测方法，其特征在于，还包括一模型评价方法，所述模型评价方法用于对所述缺陷检测网络模型的预测性能进行评价，所述模型评价方法通过一定义的损失函数loss实现，所述损失函数loss如下：

loss＝-c1×(y_hat×log(1/(1+e^-y)))+c2×(1-y_hat)×log(1-1/(1+e^-y))

上式中，c1用于表示所述缺陷检测网络模型输出的所述正样本的数量；

c2用于表示所述缺陷检测网络模型输出的所述负样本的数量；

y_hat用于表示所述缺陷检测网络模型预测的磁瓦缺陷类别；

y用于表示所述磁瓦的实际缺陷类别。

Images