CN112488983A - 缺陷识别网络的获得方法、缺陷识别方法和等级确定方法 - Google Patents

Abstract

本发明实施例涉及产品检测领域，公开了一种缺陷识别网络的获得方法、缺陷识别方法和等级确定方法。本发明中，缺陷识别网络的获得方法，包括：利用特征参数集对缺陷图片中的缺陷进行类型识别，并根据识别到的类型进行轮廓标记，获得对应缺陷的轮廓，特征参数集来自缺陷识别网络；以包括轮廓的缺陷图片作为训练样本，对缺陷识别网络进行训练，以更新缺陷识别网络中的特征参数集；输出更新后的缺陷识别网络，使得缺陷检测的过程更为自动化。

Description

缺陷识别网络的获得方法、缺陷识别方法和等级确定方法

技术领域

本发明实施例涉及产品检测领域，特别涉及缺陷识别网络的获得方法、缺陷识别方法和等级确定方法。

背景技术

在产品检测过程的缺陷检测过程中，利用产品的图片进行缺陷检测，尤其是一些内部缺陷，会通过X光图来检测，现有技术中，通过人眼归纳X光图在工业领域成像出来图像缺陷的特征，以汽车轮毂生产为例，轮毂是由工业镁铝合金等压铸而成，在工业原料中可能存在杂质，或生产工艺流程中可能温湿度时间间隔的控制存在差异，轮毂在压铸完成之后，需要利用X光检测轮毂内部是否存在缺陷，以及检测缺陷的大小，长度，密度，由于图片量大，人工归纳的缺陷特征有诸多缺陷，如只能识别肉眼可见缺陷、缺陷特征较为规整等问题，使得缺陷识别准确率低。

发明内容

本发明实施方式的目的在于提供一种缺陷识别网络的获得方法、缺陷识别方法和等级确定方法，使得缺陷检测的过程更为自动化。

为解决上述技术问题，本发明的实施方式提供了一种缺陷识别网络的获得方法，包括：利用特征参数集对缺陷图片中的缺陷进行类型识别，并根据识别到的类型进行轮廓标记，获得对应所述缺陷的轮廓，所述特征参数集来自缺陷识别网络；以包括所述轮廓的所述缺陷图片作为训练样本，对所述缺陷识别网络进行训练，以更新所述缺陷识别网络中的所述特征参数集；输出所述更新后的所述缺陷识别网络。

本发明的实施方式还提供了一种缺陷识别网络的获得装置，包括：轮廓标记模块，用于利用特征参数集对缺陷图片中的缺陷进行类型识别，并根据识别到的类型进行轮廓标记，获得对应所述缺陷的轮廓，所述特征参数集来自缺陷识别网络；训练模块，用于以包括所述轮廓的所述缺陷图片作为训练样本，对所述缺陷识别网络进行训练，以更新所述缺陷识别网络中的所述特征参数集；输出模块，用于输出所述更新后的所述缺陷识别网络。

本发明的实施方式还提供了一种产品图片的缺陷识别方法，包括：利用第一神经网络检测产品图片，标记出缺陷的轮廓；其中，所述第一神经网络为根据上述的缺陷识别网络的获得方法获得的缺陷识别网络。

本发明的实施方式还提供了一种基于产品图片的缺陷等级确定方法，包括：利用上述的缺陷识别方法，标记出产品图片中缺陷的轮廓；根据所述轮廓的尺寸信息，确定所述产品图片对应的缺陷等级。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的缺陷识别网络的获得方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的缺陷识别网络的获得方法。

本发明实施方式相对于现有技术而言，利用缺陷识别网络中的特征参数集先对缺陷图片中的缺陷进行类型识别，再根据识别到的类型对识别出的缺陷进行标记，使缺陷图片中的缺陷的轮廓可以被识别并标记，之后，再将具有轮廓标记的缺陷图片作为样本，对缺陷识别网络进行训练更新，这样不断训练，使得特征参数集更为准确，也进一步提升缺陷标记的识别准确度。这样，通过更为准确的特征参数集识别出的缺陷轮廓，可以简单快速地标记出更多的缺陷轮廓作为训练样本，使得缺陷识别网络具有更多的训练样本，加快缺陷识别网络的训练速度。另外，还由于通过缺陷轮廓的信息进行训练，使得训练出的缺陷识别网络在用于产品检测时，对缺陷识别更为准确，不受产品款式的影响，适应性更广。

作为进一步改进，所述特征参数集包括多种类型缺陷分别对应的特征参数；所述利用特征参数集对缺陷图片中的缺陷进行类型识别，具体包括：将所述缺陷图片与所述多种类型缺陷分别对应的特征参数比对；根据相似度确定所述缺陷图片中的缺陷所属的类别。上述方案可以预设不同缺陷分别对应的特征参数，通过相似度比对，确定缺陷最可能的类型，使得缺陷类型的识别快速准确。

作为进一步改进，所述获得对应所述缺陷的轮廓之后，以及所述对缺陷识别网络进行训练之前，包括：在所述缺陷图片上对所述轮廓进行调整，获得与所述轮廓对应的缺陷的边缘的误差小于预设值的轮廓；所述以包括所述轮廓的所述缺陷图片作为训练样本，对缺陷识别网络进行训练，具体为：以包括调整后的所述轮廓的所述缺陷图片作为训练样本，对缺陷识别网络进行训练。上述方案在轮廓确定后，对轮廓进行精细调整，使得训练样本中的轮廓信息更为精准，也使得更新后得到的特征参数集更符合缺陷的实际特征。

作为进一步改进，所述轮廓由点集组成；通过调整所述轮廓上各点的位置的方式对所述轮廓进行调整。上述方案通过调整轮廓点集中点的位置来调整轮廓位置，使得调整过程简单易行，适用性广。

作为进一步改进，所述缺陷识别网络为利用缺陷样本图片对X射线缺陷网络XD-NET训练得到，所述缺陷样本图片标定有缺陷的轮廓信息，所述缺陷样本图片为X光图。上述方案以XD-NET为基础进行训练，使得更快地提取到符合真实缺陷的特征参数集。

作为进一步改进，所述X射线缺陷网络XD-NET的设计原则包括：局部感知、空间位置排列、权值共享和池化。上述方案中明确若干个X射线缺陷网络的设计原则，使得X射线缺陷网络可以更好地提取到缺陷的特征参数。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式中缺陷识别网络的获得方法的流程图；

图2是根据本发明第一实施方式中缺陷识别网络的获得方法中每个卷积核提取每个局部特征的示意图；

图3a是根据本发明第一实施方式中缺陷识别网络的获得方法中S为1时空间排列的示意图；

图3b是根据本发明第一实施方式中缺陷识别网络的获得方法中S为2时空间排列的示意图；

图4a、图4b和图4c是根据本发明第一实施方式中缺陷识别网络的获得方法中权值共享过程的示意图；

图5是根据本发明第一实施方式中缺陷识别网络的获得方法中池化后的示意图；

图6是根据本发明第二实施方式中缺陷识别网络的获得装置的示意图；

图7是根据本发明第四实施方式中基于产品图片的缺陷等级确定方法的流程图；

图8是根据本发明第五实施方式中电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施方式涉及一种缺陷识别网络的获得方法。

本实施方式可以用于产品的质量检测环节，通过产品图像识别的方式，检测产品中是否存在缺陷。现有缺陷检测时，一般采用模板库匹配的方式，在产品图中匹配到与缺陷形态相同的图像，则确定检测到缺陷。但这种缺陷检测方法的问题在于匹配时只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，则算法无效。为了提升算法的适应性，还会绑定相关法、误差法、二次匹配误差法等算法进行使用。模板匹配需要对轮毂造型有强相关，导致伪缺陷的产生非常严重，大大影响着自动化操作，缺陷类型造型预置的模板需要足够多，否则也会出现漏检或者过检，检测速度较慢，人为干预和使用限制条件多，一直困扰着产线工人。而本实施方式可以获得一种对缺陷轮廓标记的网络，使得通过缺陷的边缘特征识别出缺陷轮廓，从而定位出缺陷位置，由于缺陷轮廓特征和轮毂造型相关性较低，所以，通过本实施方式中获得的网络进行缺陷检测，能够有效检测出轮毂内部缺陷的边缘，并且对其边缘进行语义分割得出缺陷位置，实用性较广，准确率更高。其中，语义分割指通过机器自动分割并识别出图像中的内容，如标记出特定图像的轮廓。本实施方式中以轮毂为例进行说明，其流程如图1所示，具体如下：

步骤101，利用特征参数集对缺陷图片中的缺陷进行类型识别，并根据识别到的类型进行轮廓标记，获得对应缺陷的轮廓。

具体的说，特征参数集来自缺陷识别网络，其中的缺陷识别网络可以利用缺陷样本图片对XD-NET(X-ray defect net，X射线缺陷网络)训练得到，XD-NET网络是一个专门针对X光内部缺陷检测设计的专用网络，具有较高搜索速度，模型泛化能力，强化分割效果，提高小目标的检测效果等优势。更具体的说，上述用于训练缺陷识别网络的样本图片可以为X光图，X光图在训练前还可以进行各种预处理，如方差、平均值、二值化等，增加样本多样性和随机性，增强算法的鲁棒性。

进一步说，将缺陷识别网络中的特征参数导出，形成特征参数集，可以用于对缺陷图片中的缺陷进行类型识别。具体的说，特征参数集包括多种类型缺陷分别对应的特征参数。对应地，利用特征参数集对缺陷图片中的缺陷进行类型识别时，具体将缺陷图片中的缺陷的实际特征参数与多种类型缺陷分别对应的标准特征参数进行比对，得到实际特征参数与标准特征参数的相似度，再根据相似度确定缺陷图片中的缺陷所属的类别。缺陷样本图片标定有缺陷的轮廓信息，标记过程可以按照国际标准与厂家认可的范围进行标记。

在一个例子中，有A、B、C三类缺陷，在对某缺陷进行类别识别时显示，与A类缺陷的相似度为60％，与B类缺陷的相似度为30％，与C类缺陷的相似度为5％，那么确定该缺陷属于A类。

关于缺陷类型的划分，可以根据国际标准ASTM E155，该标准里定义了每个类型缺陷的形态和等级，还可以根据需求自定义，结合行业去定制类型划分，如可以增加国际标准ASTM E155里所没有的裂纹，譬如浇不足等缺陷类型。

进一步，在识别到缺陷所属类别后，进行轮廓标记。在一个例子中，可以利用标记软件进行自动标记。实际应用中，可以选择不同的标记方式，在此不再一一列举。

步骤102，在缺陷图片上对轮廓进行调整，获得与轮廓对应的缺陷的边缘的误差小于预设值的轮廓。

具体的说，在标记软件对缺陷的轮廓进行初步标记后，在缺陷图片上可以获得粗精度的缺陷轮廓，如根据缺陷的若干个顶点连线围城的多边形，但这样的轮廓中仍然包括部分非缺陷位置，本实施方式中通过人工调整初步轮廓，使得精细轮廓与缺陷的实际边缘更为匹配，更符合缺陷的实际形态。其中，本实施方式中轮廓由点集组成，对应地，在调整轮廓时，通过调整轮廓上各点的位置的方式对轮廓进行调整。这样通过软件自动标记和人工精细调整在提高轮廓精度的同时，也能减少现有直接标定的人工工作量。

在另一个例子中，步骤101中可以直接由技术人员手动对缺陷图片中的缺陷按照各类别的特征标记出轮廓，那么如果标记出的轮廓符合缺陷边缘，可以不再对轮廓进行调整。也就是说，步骤102并非必须要执行的步骤。

步骤103，以包括轮廓的缺陷图片作为训练样本，对缺陷识别网络进行训练，以更新缺陷识别网络。

具体的说，本步骤中的缺陷识别网络中设置有缺陷的特征参数，每次训练后，都可以提取到更多的缺陷的特征，从而使得缺陷识别网络中的参数值更符合缺陷的实际特征。

更具体的说，在一个例子中，如果没有调整轮廓步骤，那么就将步骤101中做好轮廓标记的缺陷图片作为训练样本。在另一个例子中，如果有调整轮廓的步骤，那么就以包括步骤102中调整后的轮廓的缺陷图片作为训练样本。

本步骤中缺陷识别网络的初始形态可以基于XD-NET网络获得，其中，XD-NET网络的设计原则可以包括以下几点：局部感知、空间位置排列、权值共享、池化pooling layer，从而使得网络训练时，可以更快获取缺陷特征。下面对上述设计原则进行详细说明：

一、局部感知

每个神经元没有必要对全局图像进行感知，只需要对局部进行感知，然后再更高层讲局部的信息综合起来得到全局信息。每个隐含单元仅是连接单元的一部分，假设每个单元只与10*10的输入区域相连接，整个参数会下降到10^10个数量级，从而提高训练速度。局部感知会生成一幅feature map。

卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量，公式如下：

其中，以狗的照片为第一缺陷为例，对应地，提取狗的左眼的特征相当于提取第一缺陷中的特征A，每个卷积核提取每个局部特征的示意图如图2所示。

二、空间排列

空间排列指的是：在卷积核内，将局部感知到的多个特征按相关性排序。在一个例子中，卷积层的空间排列(Spatial arrangement)包括4个参数卷积核的大小、深度、步幅及补零。

卷积核深度(depth)：卷积核的深度对应的是卷积核的个数。每个卷积核只能提取输入数据的部分特征。每个卷积核提取的特征都有各自的侧重点。因此，多个卷积核的叠加效果要比单个卷积核的分类效果要好得多。

步幅(stride)：即滤波矩阵在输入矩阵上滑动跨越的单元个数。设步幅大小为S，当S为1时，滤波器每次移动一个像素的位置，如图3a所示。当S为2时，每次移动滤波器会跳过2个像素，如图3b所示。S越大，卷积得到特征图就越小。

补零(zero-padding)：补零操作通常用于边界处理。在有些场景下，卷积核的大小并不一定刚好就被输入数据矩阵的维度大小乘除。因此，就会出现卷积核不能完全覆盖边界元素的情况。这时，我们就需要在输入矩阵的边缘使用零值进行填充，使得在输入矩阵的边界处的大小刚好和卷积核大小匹配。这样做的结果，相当于对输入图像矩阵的边缘进行了一次滤波。零填充的好处在于，它可以让我们控制特征图的大小。

三、权值共享

每个卷积核当作一种特征提取方式，而这种方式与图像等数据的位置无关。这就意味着，对于同一个卷积核，它在一个区域提取到的特征，也能适用于于其他区域。同一个特征图中的不同位置和输入图之间的连接均为共享权值。这样做的原因是双重的。首先，在张量形式的数据中(例如图像)，相邻位置往往是高度相关的，并且可以形成的可以被检测到的局部特征。其次，相同的模式可能出现在不同位置，亦即如果局部特征出现在某个位置，它也可能出现在其它任何位置。基于权值共享策略，将卷积层神经元与输入数据相连，同属于一个特征图谱的神经元，将共用一个权值参数矩阵，相邻神经元的活性相似，从而可以它们共享相同的连接权值，从而增强相邻区域的特征相关性。

通过卷积后得出的“小块”我们称之为特征。每一个特征就像是一个小图(就是一个比较小的有值的二维数组)。不同的特征匹配图像中不同的特征，具体如图4a所示。之后，每个特征在原图中每个位置进行匹配，即用该卷积核在图上滑动从而获取新的矩阵，如图4b所示。然后换用其他特征进行同样的操作，最后得到的如图4c所示的结果。

然后将原始图经过不同的特征的卷积操作变成一些列的特征图。然后通过一个非线性激活函数(如ReLU)进一步把特征图传递到下一层。对输入为负值的输出为0。

这样我们就可以很直观看出原始图转换成特征值。大量的输入数据训练之后拟合出各特征的权重配比。

四、池化(Pooling)

池化是将前述步骤获取到的特征的尺寸进行缩放。本实施方式中，池化步骤将输入图像进行缩小，减少像素信息，只保留重要信息，使得被处理的参数量变少。公式如下：

实际应用中可以使用均值池化和极大池化的方法，二者以损失特征图尺寸为代价保留图像的背景和纹理信息。随机池化会在其池化区域内按特定的概率分布随机选取一值，以确保部分非极大的激励信号能够进入下一个构筑。混合池化可以表示为均值池化和极大池化的线性组合：

混合池化和随机池化有利于防止卷积神经网络的过度拟合，比均值和极大池化有更好的表现。对所有特征进行池化后如图5所示。池化后网络能很快匹配中图像是否含有某种特征，而不用在意特征在哪里，从而减少计算量提高效率。

可以看出，通过结合上述局部感知、空间位置排列、权值共享、池化pooling layer的设计原则获得的XD-NET网络，可以在训练时更快提取到各类缺陷的边缘特征，所以本步骤以包括轮廓的缺陷图片作为训练样本，对上述获得的XD-NET网络进行训练，使得训练速度很快更准确。

步骤104，输出更新后的缺陷识别网络。

具体的说，本实施方式中可以通过一定量的训练样本，使得训练更新后的缺陷识别网络，在标记缺陷边缘时，获得更为精准的缺陷轮廓，经过一定的积累，更新后的缺陷识别网络可以在标记缺陷边缘时，得到符合精准度要求的缺陷轮廓。

更具体的说，可以将上述缺陷识别网络封装为一个整体，用于缺陷识别，封装为整体后，使用时更为简单易操作。

值得一提的是，在实际应用中，可以使用测试数据集对更新后的缺陷识别网络的输出层进行验证，对每次输出的结果进行验证，如果不符合使用目标的继续增加输入层数据再次进行训练直至结果符合预期。

另外，可以周期性地收集一批缺陷图片，通过初步标记、精细调整、作为样本训练网络，使得获得的缺陷识别网络可以周期性更新，进一步提升所获得的缺陷识别网络的精度。具体的说，在输出更新后的缺陷识别网络之后，还可以包括：利用接收到的缺陷样本图训练所输出的缺陷识别网络，以再次更新缺陷识别网络中的特征参数集，缺陷样本图包括：缺陷轮廓和对应的缺陷类型；输出再次更新后的缺陷识别网络。实际应用中，在第一次输出缺陷识别网络之后，可以周期性收集缺陷样本图，收集一批后对缺陷识别网络进行再训练，使得缺陷识别网络中的特征参数集更为符合实际缺陷类型对应的轮廓。

进一步说，上述缺陷样本图通过以下方式制备：利用特征参数集对收到的第一缺陷图片中的缺陷进行类型识别，并将识别到的类型进行轮廓标记，获得对应缺陷的轮廓，特征参数集来自缺陷识别网络，将包括轮廓的第一缺陷图片作为缺陷样本图。也就是说，收集到的图片可能是不包括轮廓信息的缺陷图片，需对其进行类型识别及轮廓标记，从而获得包括轮廓信息的缺陷图片，进而将包括轮廓信息的缺陷图片作为缺陷样本图。实际应用中，也可以设定周期性再训练时，使用的缺陷图片不重复。

可见，本实施方式相对于现有技术而言，利用缺陷识别网络中的特征参数集先对缺陷图片中的缺陷进行类型识别，再根据识别到的类型对识别出的缺陷进行标记，使缺陷图片中的缺陷的轮廓可以被识别并标记，之后，再将具有轮廓标记的缺陷图片作为样本，对缺陷识别网络进行训练更新，这样不断训练，使得特征参数集更为准确，也进一步提升缺陷标记的识别准确度。这样，通过更为准确的特征参数集识别出的缺陷轮廓，可以简单快速地标记出更多的缺陷轮廓作为训练样本，使得缺陷识别网络具有更多的训练样本，加快缺陷识别网络的训练速度。另外，还由于通过缺陷轮廓的信息进行训练，使得训练出的缺陷识别网络在用于产品检测时，对缺陷识别更为准确，不受产品款式的影响，适应性更广。

此外，虽然本实施方式中以XD-NET为例，说明缺陷识别网络的训练过程，但实际应用中，也可以采用其他网络为基础，训练出符合用户需求的缺陷识别网络。

上面方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第二实施方式涉及一种缺陷识别网络的获得装置，如图6所示，包括：

轮廓标记模块，用于利用特征参数集对缺陷图片中的缺陷进行类型识别，并根据识别到的类型进行轮廓标记，获得对应缺陷的轮廓，特征参数集来自缺陷识别网络。

训练模块，用于以包括轮廓的缺陷图片作为训练样本，对缺陷识别网络进行训练，以更新缺陷识别网络中的特征参数集。

输出模块，用于输出更新后的缺陷识别网络。

在一个例子中，特征参数集包括多种类型缺陷分别对应的特征参数。

对应地，轮廓标记模块，具体包括：

比对子模块，用于将缺陷图片与多种类型缺陷分别对应的特征参数比对。

类别确定子模块，用于根据相似度确定缺陷图片中的缺陷所属的类别。

在一个例子中，缺陷识别网络的获得装置还包括：

轮廓调整模块，用于在缺陷图片上对轮廓进行调整，获得与轮廓对应的缺陷的边缘更为匹配的轮廓。

对应地，训练模块具体用于以包括调整后的轮廓的缺陷图片作为训练样本，对缺陷识别网络进行训练。

在一个例子中，轮廓由点集组成。

对应地，上述轮廓调整模块具体通过调整轮廓上各点的位置的方式对轮廓进行调整。

在一个例子中，缺陷识别网络为利用缺陷样本图片对X射线缺陷网络XD-ET训练得到，缺陷样本图片包括缺陷的轮廓信息，缺陷样本图片为X光图。

在另一个例子中，缺陷样本图片为经过二值化处理的图片。

在另一个例子中，上述X射线缺陷网络XD-NET的设计原则包括：局部感知、空间位置排列、权值共享和池化。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第三实施方式涉及一种产品图片的缺陷识别方法。本实施方式是对第一实施方式中获得的缺陷识别网络的一种应用，具体在产品检测时，利用产品图片确定产品是否有缺陷。

本实施方式中产品图片的缺陷识别方法的流程包括：

利用第一神经网络检测产品图片，识别出产品图片中存在的缺陷。

具体的说，第一神经网络为根据上述第一实施方式的缺陷识别网络的获得方法获得的缺陷识别网络。

可见，本实施方式中通过第一神经网络检测产品图片，标记出缺陷的轮廓，如果标记出轮廓，即认为存在缺陷，如果未标记处轮廓，则认为不存在缺陷，通过轮廓检测确定出缺陷边缘的方式，基本不受产品造型的影响，使得产品缺陷检测更为快速准确，本实施方式的应用范围较广。

由于本实施方式为基于第一实施方式中获得的缺陷识别网络的一种应用，所以第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。

本发明第四实施方式涉及一种基于产品图片的缺陷等级确定方法。本实施方式是对第三实施方式中对产品标记出缺陷轮廓过程的一种应用，具体在产品检测的过程中，通过对产品图片的检测，就可以确定出缺陷等级。

本实施方式中的基于产品图片的缺陷等级确定方法的流程图如图7所示，具体包括：

步骤701，利用第三实施方式中的缺陷识别方法，识别出产品图片中存在的缺陷。

具体的说，具体通过轮廓识别确定存在的缺陷。

步骤702，根据缺陷的尺寸信息，确定产品图片对应的缺陷等级。

具体的说，可以根据缺陷轮廓上每个点的点坐标计算出轮廓的尺寸信息，尺寸信息可以包括：形状、长度、面积、深度，上述之一或其任意组合。

继续说明，在实际应用中，也可以将获得尺寸信息的这部分运算加入网络，在输出时执行。另外，包括确定标记出的缺陷的类型，也可以通过缺陷识别网络在输出时一并执行。具体的说，可以通过语义分割结果输出，输出层网络中输出层的上游通常是全连接层，输出层使用逻辑函数或归一化指数函数(softmax function)输出分类标签，本实施方式中的缺陷识别网络的输出物还包括中心坐标，长度，面积和分类。

此外，对于本实施方式中的缺陷等级确定方法可以被封装成自动检测软件，检测缺陷，及对缺陷进行自动识别判定。

可见，本实施方式中通过利用第三实施方式中第一神经网络检测产品图片，标记出缺陷的轮廓，再进一步获得轮廓的尺寸信息，从而确定产品图片对应的缺陷等级。

如果标记出轮廓，即认为存在缺陷，如果未标记处轮廓，则认为不存在缺陷，通过轮廓检测确定出缺陷边缘的方式，基本不受产品造型的影响，使得产品缺陷检测更为快速准确，本实施方式的应用范围较广。

由于本实施方式同样为基于第一实施方式中获得的缺陷识别网络的一种应用，所以第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。

本发明第五实施方式涉及一种电子设备，如图8所示，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一实施方式中的缺陷识别网络的获得方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (20)

1.一种缺陷识别网络的获得方法，其特征在于，包括：

利用特征参数集对缺陷图片中的缺陷进行类型识别，并根据识别到的类型进行轮廓标记，获得对应所述缺陷的轮廓，所述特征参数集来自缺陷识别网络；

以包括所述轮廓的所述缺陷图片作为训练样本，对所述缺陷识别网络进行训练，以更新所述缺陷识别网络中的所述特征参数集；

输出所述更新后的所述缺陷识别网络。

2.根据权利要求1所述的缺陷识别网络的获得方法，其特征在于，所述特征参数集包括多种类型缺陷分别对应的特征参数；

所述利用特征参数集对缺陷图片中的缺陷进行类型识别，具体包括：

将所述缺陷图片中的缺陷的实际特征参数与所述多种类型缺陷分别对应的标准特征参数进行比对，得到所述实际特征参数与所述标准特征参数的相似度；

根据所述相似度确定所述缺陷图片中的缺陷所属的类别。

3.根据权利要求1所述的缺陷识别网络的获得方法，其特征在于，所述获得对应所述缺陷的轮廓之后，以及所述对缺陷识别网络进行训练之前，包括：

在所述缺陷图片上对所述轮廓进行调整，获得与所述轮廓对应的缺陷的边缘的误差小于预设值的轮廓；

所述以包括所述轮廓的所述缺陷图片作为训练样本，对缺陷识别网络进行训练，具体为：

以包括调整后的所述轮廓的所述缺陷图片作为训练样本，对缺陷识别网络进行训练。

4.根据权利要求3所述的缺陷识别网络的获得方法，其特征在于，所述轮廓由点集组成；

通过调整所述轮廓上各点的位置的方式对所述轮廓进行调整。

5.根据权利要求1所述的缺陷识别网络的获得方法，其特征在于，所述缺陷识别网络基于X射线缺陷网络XD-NET设计得到，所述缺陷样本图片为X光图。

6.根据权利要求5所述的缺陷识别网络的获得方法，其特征在于，所述X射线缺陷网络XD-NET的设计原则包括：局部感知、空间位置排列、权值共享和池化。

7.根据权利要求1所述的缺陷识别网络的获得方法，其特征在于，所述输出所述更新后的所述缺陷识别网络之后，还包括：

利用接收到的缺陷样本图训练所输出的所述缺陷识别网络，以再次更新所述缺陷识别网络中的所述特征参数集，所述缺陷样本图包括：缺陷轮廓和对应的缺陷类型；

输出所述再次更新后的所述缺陷识别网络。

8.根据权利要求7所述的缺陷识别网络的获得方法，其特征在于，所述缺陷样本图通过以下方式制备：

利用所述特征参数集对收到的第一缺陷图片中的缺陷进行类型识别，并将识别到的类型进行轮廓标记，获得对应所述缺陷的轮廓，所述特征参数集来自缺陷识别网络，将包括所述轮廓的所述第一缺陷图片作为所述缺陷样本图。

9.一种缺陷识别网络的获得装置，其特征在于，包括：

轮廓标记模块，用于利用特征参数集对缺陷图片中的缺陷进行类型识别，并根据识别到的类型进行轮廓标记，获得对应所述缺陷的轮廓，所述特征参数集来自缺陷识别网络；

训练模块，用于以包括所述轮廓的所述缺陷图片作为训练样本，对所述缺陷识别网络进行训练，以更新所述缺陷识别网络中的所述特征参数集；

输出模块，用于输出所述更新后的所述缺陷识别网络。

10.根据权利要求9所述的缺陷识别网络的获得装置，其特征在于，所述特征参数集包括多种类型缺陷分别对应的特征参数；

所述轮廓标记模块，具体包括：

比对子模块，用于将所述缺陷图片与所述多种类型缺陷分别对应的特征参数比对；

类别确定子模块，用于根据相似度确定所述缺陷图片中的缺陷所属的类别。

11.根据权利要求9所述的缺陷识别网络的获得装置，其特征在于，还包括：

轮廓调整模块，用于在所述缺陷图片上对所述轮廓进行调整，获得与所述轮廓对应的缺陷的边缘更为匹配的轮廓；

所述训练模块具体用于以包括调整后的所述轮廓的所述缺陷图片作为训练样本，对缺陷识别网络进行训练。

12.根据权利要求11所述的缺陷识别网络的获得装置，其特征在于，所述轮廓由点集组成；

所述轮廓调整模块具体通过调整所述轮廓上各点的位置的方式对所述轮廓进行调整。

13.根据权利要求9所述的缺陷识别网络的获得装置，其特征在于，所述缺陷识别网络基于X射线缺陷网络XD-NET设计得到，所述缺陷样本图片为X光图。

14.根据权利要求13所述的缺陷识别网络的获得装置，其特征在于，所述X射线缺陷网络XD-NET的设计原则包括：局部感知、空间位置排列、权值共享和池化。

15.根据权利要求9所述的缺陷识别网络的获得装置，其特征在于，还包括：

再训练模块，用于利用接收到的缺陷样本图训练所输出的所述缺陷识别网络，以再次更新所述缺陷识别网络中的所述特征参数集，所述缺陷样本图包括：缺陷轮廓和对应的缺陷类型；

所述输出模块，还用于输出所述再次更新后的所述缺陷识别网络。

16.一种产品图片的缺陷识别方法，其特征在于，包括：

利用缺陷识别网络检测产品图片，识别出所述产品图片中存在的缺陷；

其中，所述第一神经网络为根据权利要求1至8中任意一项所述的缺陷识别网络的获得方法获得的缺陷识别网络。

17.一种基于产品图片的缺陷等级确定方法，其特征在于，包括：

利用权利要求16中所述的缺陷识别方法，识别出产品图片中存在的缺陷；

根据所述缺陷的类型和尺寸信息，确定所述产品图片对应的缺陷等级。

18.根据权利要求17所述的基于产品图片的缺陷等级确定方法，其特征在于，所述尺寸信息至少包括以下之一：形状、长度、面积、深度。

19.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的缺陷识别网络的获得方法。

20.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的缺陷识别网络的获得方法。

Images