CN109087294A - 一种产品缺陷检测方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种产品缺陷检测方法、系统及计算机存储介质，属于视觉检测领域。所述方法包括：获取定位待检测产品目标区域图像；根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷。通过本发明实施例，可以提高产品缺陷识别的连续性和实时性，为工业化操作提供基础。

Description

一种产品缺陷检测方法、系统及计算机可读存储介质

技术领域

本发明涉及视觉检测领域，特别涉及一种基于深度学习的产品缺陷检测方法、系统及计算机可读存储介质。

背景技术

目前，在工厂的流水线生产过程中，原料从发货运输到生产，外加一系列的意外损伤，生产的产品不可避免的会出现各种缺陷。这些有缺陷的产品会影响产品的合格率和用户使用，损害公司形象。虽然经过各个环节的优化，但是产品的缺陷仍然是一个不可忽视的重要问题。同时，由于设备的日益高效，产量也随之大幅增长，传统的依靠人工检测，不仅成本高，而且人眼在长时间工作会使得漏检和误检增高，因此依靠人工检测的方法已经越来越没办法满足产线要求。

近年来，相关基于机器视觉的算法也在被研究和改进中，比如基于灰度模板的差分、图像二值化、边缘检测，还有的使用了SIFT、SURF等算法对模板图片和待检测样品图片进行特征点匹配，然后通过RANSAC对错误匹配的特征点进行排除，通过仿射变换，把样品图片转换到模板图片的尺度空间，通过这种方法将两张图片对齐，然后通过差分可以得到差分图，如果和模板图片存在差异那么就会在差分图上形成鬼影，通过对这种鬼影进行处理，就可以确定缺陷的位置和范围。但是这种算法的局限性是没办法处理产品形态不固定的产品，比如软塑料的焊缝检测，因为这种产品容易发生形变，无法通过上述的算法将他们对齐，如果粗暴的差分，那将是灾难性的，而且对光照相对比较敏感。

鉴于以上的问题，有必要提到一种新的产品缺陷检测方法，以解决以上存在的问题。

发明内容

有鉴于此，本发明实施例提供一种基于深度学习的产品缺陷检测方法和系统，可以提高产品缺陷识别的连续性和实时性，为工业化操作提供基础。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种产品缺陷检测方法，包括：

获取定位待检测产品目标区域图像；

根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷。

在一个可能的设计中，所述获取定位待检测产品目标区域图像，包括：

获取待检测产品的原始图像w*h，其中w为图像宽度，h为图像高度；

对获取到所述的原始图像进行图像处理，定位目标区域图像。

在一个可能的设计中，所述对获取到所述的原始图像进行图像处理，定

位目标区域图像，包括：

对获取到的原始图像进行下采样，使w*h的原始图像变为w/2*h/2的区域图像；

对所述区域图像根据预设检测算法定位目标区域图像。

在一个可能的设计中，所述对所述区域图像根据预设检测算法定位目标区域图像，具体包括：

所述预设检测算法为直线段检测算法，采用所述直线段检测算法的过程包括：提取所述区域图像中所有直线线段，排除其中的背景噪音线段，对剩余的直线线段在基于特定条件下定位形成目标区域图像。

在一个可能的设计中，所述根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷，具体包括：

服务器接收所述目标区域图像；

所述服务器根据预设的深度学习识别模型，对所述目标区域图像进行识别处理，返回识别结果；其中，所述深度学习识别模型运行在所述服务器上。

在一个可能的设计中，所述服务器根据预设的深度学习识别模型，对所述目标区域图像进行识别处理，返回识别结果；具体包括：

从深度学习识别模型的深度学习网络中提取指定网络层数的feature map；

获得所有指定网络层数的feature map的类别可信度预测结果和位置预测结果，包括：按照预设匹配策略在feature map中选出最优框；从所述深度学习网络中选取卷积核对所述最优框进行卷积，获得类别可信度预测结果；根据标记框窗口对应的卷积特征，获得预测偏移量，获得位置预测结果；

将获得的类别可信度预测结果和位置预测结果分别合并到Loss层，经损失函数迭代后获得识别结果。

在一个可能的设计中，所述预设匹配策略为：首先，寻找与每个标记框的重合度J最大的default box，重合度J最大的default box为最优框；然后将剩余没有配对的default box与任意一个标记框尝试配对，如两者之间的重合度J大于预设阈值，则配对成功，配对成功的default box为次优框；其中，所述标记框为预设的瑕疵点最小外接矩形。

在一个可能的设计中，所述将获得的类别可信度预测结果和位置预测结果分别合并到Loss层，经损失函数迭代后获得识别结果；包括：

将获得的类别可信度预测结果和位置预测结果合并到以下损失函数中：

L(x，c，l，g)＝1/N(L_conf(x，c)+αL_lcc(x，t，p))

其中，x表示default box，c表示该默认框和标注框之间的可信度，t预测的位置参数，p为正样本；

对上述损失函数进行T次迭代，获得识别结果，其中T为整数。

根据本发明的另一个方面，提供的一种产品缺陷检测系统，包括：客户端和服务器；其中：

所述客户端，用于获取定位待检测产品目标区域图像，以及显示所述服务器返回的识别结果；

所述服务器，用于根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷，并返回识别结果给所述客户端。

根据本发明的另一个方面，提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有产品缺陷检测方法程序，所述产品缺陷检测方法程序被处理器执行时实现本发明实施例所述的产品缺陷检测方法的步骤。

与现有技术相比，本发明实施例提供的一种产品缺陷检测方法、系统及计算机存储介质，所述方法包括：获取定位待检测产品目标区域图像；根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷。可以有效的识别该产品目标区域是否存在瑕疵点，提高产品缺陷识别的连续性和实时性，为工业化操作提供基础；此外，由于深度学习模型一般比较大，在工业领域，处理的实时性要求比较高，如果每次抓取到图像都需要导入一次模型进行识别，那样时间消耗是非常大的，完全不能满足工业要求，用服务器客户端模式不但可以使得整个项目的耦合性变低，便于调试，而且有效降低不必要的时间消耗，很好的满足工业方面的使用需要。

附图说明

图1是本发明实施例提供的一种产品缺陷检测方法的流程图；

图2A是本发明实施例提供的获取待检测产品的原始图像的示意图；

图2B是本发明实施例提供的直线段检测算法检测后的二值图像的示意图；

图2C是本发明实施例提供的直线段检测算法检测后的提取目标区域图像的示意图；

图2D是经过本发明实施例提供的产品缺陷检测方法识别检测后的结别结果的示意图；

图3是本发明实施例提供的深度学习网络的框架结构示意图；

图4是本发明实施例提供的default box的示意图；

图5是本发明实施例提供的default box到最优框的生成示意图；

图6是本发明实施例提供的深度学习网络进行训练的流程示意图；

图7是本发明实施例提供的重合度J计算的示意图；

图8为本发明实施例提供的一种产品缺陷检测系统的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

请参考图1至图2。本发明实施例提供一种基于深度学习的产品缺陷检测方法，包括：

S1、获取定位待检测产品目标区域图像；

S2、根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷。

优选地，步骤S1由本地客户端执行，步骤S2由服务器执行。

进一步地，所述获取定位待检测产品目标区域图像的步骤S1中，包括：

S11、获取待检测产品的原始图像w*h(w为图像宽度，h为图像高度)，包括：利用激光对射检测产品，激活相机获取产品的原始图像；如图2A所示。

S12、对获取到的原始图像进行图像处理，定位目标区域图像；包括：

请参考图2B至图2D。对获取到的原始图像进行下采样，使原本w*h的原始图像变为w/2*h/2的区域图像；

对所述区域图像根据预设检测算法定位目标区域图像，其中，所述预设检测算法为直线段检测算法，采用所述直线段检测算法的过程包括：提取所述区域图像中所有直线线段{line(x_i，y_i，x_i′，y_i′)}，(其中x_i,y_i和x’_i,y’_i表示线段两个端点的坐标)排除其中的背景噪音线段，对剩余的直线线段在基于特定条件下定位形成目标区域图像；其中，所述特定条件是在直线的夹角接近或者等于90度、产品边沿或者水平或者垂直时，不会出现倾斜的情况。具体的提取过程如下：

计算每一条直线段的梯度grad(θ)，按照预设有效形成区域阈值确定有效形成区域，舍弃所述预设有效形成区域阈值范围之外的线段。其中，所述预设有效形成区域阈值为0°<θ<5°，或者85°<θ<90°，grad(θ)>50，θ为线段的倾斜角。

将所有直线线段{line(x_i，y_i，x_i′，y_i′)}拟合在x＝m,y＝n,x1＝k,y1＝t的四条直线上，所述拟合方法是从图像顶端到低端进行带状扫描即Rec(x-Δx，x+Δx)，在所述有效形成区域内线段最多的支撑区间的中点为所求直线。

所述四条直线形成四个交点，分别为(m,t)、(m,k)、(n,t)、(n,k)，提取所述四个交点形成的矩形区域。

对提取的矩形区域转化为指定大小的规则区域，形成定位目标区域图像；其中，所述指定大小为300*300。

S13、将所述定位目标区域图像发送至服务器。

S14、本地客户端显示所述服务器返回的识别结果。如图2D所示。

进一步地，所述根据预设的深度学习识别模型，识别检测所述待检测产品目标区域图像的缺陷的步骤S2，包括：

S21、服务器接收所述目标区域图像；

S22、所述服务器根据预设的深度学习识别模型，对所述目标区域图像进行识别处理，返回识别结果；其中，所述深度学习识别模型运行在所述服务器上。

进一步地，所述服务器根据预设的深度学习识别模型，对所述目标区域图像进行识别处理，返回识别结果的步骤S22；具体包括：

S221、初始化深度识别模型参数w_ij b_ij，其中i表示网络层数，j表示该层神经元个数；

S222、从深度学习网络中提取指定网络层数的feature map(特征映射)；

S223、按照预设匹配策略在feature map中选出最优框，包括：

将feature map分成指定的方格，例如分成5×5的方格；

每个方格生成一系列大小和纵横比的default box(默认框)，并将生成的所有default box按照预设匹配策略，选出最优框；其中，所述预设匹配策略为：首先，寻找与每个标记框GT(x，y，w，h)的重合度J最大的default box，重合度J最大的default box为最优框；然后将剩余没有配对的default box与任意一个标记框尝试配对，如两者之间的重合度J大于预设阈值，则配对成功，配对成功的default box为次优框。其中，所述标记框为预设的瑕疵点最小外接矩形。在本实施例中，每个方格生成4个大小和纵横比的default box，所述预设阈值为0.5。

一般情况下，目标区域图像上的任何一个位置可以生成样本的个数为：M(标记框个数)*N(default box个数)。当和所述标记框的重合度J大于所述预设阈值(0.5)为正样本，相反为负样本。

S224、从深度学习网络中选取卷积核对所述最优框进行卷积，获得类别可信度预测结果；具体包括：

从深度学习网络中选取卷积核为3×3，1×1填充的卷积对最优框进行类别可信度预测，具体采用以下softmax回归方法进行预测：

evidence_i＝∑W_i，jX_j+B_i

其中，W是网络权重，b是偏置量，j代表给定图片x的像素索引用于像素求和。

用以下softmax回归方法将上述证据转换成概率y，即可获得类别可信度。

其中，i表示第几类，j表示类别数，通过上述公式可以把上述的evidence转化成在类别的概率。

S225、根据标记框GT(x，y，w，h)窗口对应的卷积特征P＝(P_x，P_y，P_w，P_h)，获得预测偏移量，获得位置预测结果；具体包括：

根据输入标记框GT(x，y，w，h)窗口对应的卷积特征P＝(P_x，P_y，P_w，P_h)，经过深度学习网络计算后，输出平移变量和尺度缩放，得到预测差值如下：

Δ(Y，B)＝d_x(p)，d_y(p)，d_w(p)，d_h(p)

其中，Y是预测框的位置，B是真实框的位置；所述卷积特征，是用前面设定好的卷积核卷积图像之后最大池化得到的特征向量。上述公式表示基于P得到的(x,y,w,h)的位置偏差。其中，所述预测框为经过位置偏移矫正的最优框。

通过所述预测差值，得到预测框的位置为G＝(G_x，G_y，G_w，G_h)。预测框的四个预测值和标记框的值接近相等的。

S226、依据上述S223-S225的方法，获得所有指定网络层数的feature map的类别可信度预测结果和位置预测结果；

S227、将获得的类别可信度预测结果和位置预测结果分别合并到Loss层，经损失函数迭代后获得识别结果；具体包括：

将获得的类别可信度预测结果和位置预测结果合并到以下损失函数中：

L(x，c，l，g)＝1/N(L_conf(x，c)+αL_loc(x，t，p))

其中，x表示default box，c表示该默认框和标注框之间的可信度，t预测的位置参数{t_x，t_y，t_w，t_h}，p为正样本。

对上述损失函数进行T次迭代，直至损失达到稳定为止。其中，迭代是通过深度学习网络中的参数，计算出损失函数的值，将本次损失函数的值与下一次损失函数的值进行比较，如果发现两次的值相差不大，表示损失达到稳定，也就是说梯度基本为0，此时，迭代结束。

进一步地，所述预设的深度学习识别模型，是对本发明的深度学习网络进行训练后获得各层权值w形成的，其中：

请参考图3。该图为本发明所述深度学习网络的框架结构示意图。所述深度学习网络包括卷积核大小、网络层数、卷积步长、全连接层。在本发明实施例中，卷积核大小为3和1，一个3层卷积网络，卷积核大小是3*3(层与层之间有非线性激活函数)。网络层数采用14层，前13层为卷积层，最后一层为全连接层，卷积步长stride设为1。本发明实施例之所以采用卷积核大小为3和1。一个3层卷积网络，卷积核大小是3*3(层与层之间有非线性激活函数)。是因为在这种排列下，第一个卷积层中的每个神经元都对输入数据有一个3×3的视野；第二个卷积层上的神经元对第一个卷积层有一个3×3的视野，也就是对输入数据有5×5的视野；第三个卷积层上的神经元对第二个卷积层有3×3的视野，也就是对输入数据有7×7的视野。本实施例中，采用多个卷积层(3个3×3卷积层)与非线性的激活层交替的结构，比单一卷积层的结构更能提到出深层的更好的特征，并且组合参数更少，3个3×3的卷积层的组合仅有3*(N*(3*3*N))个参数，而单一卷积层，例如7×7卷积层将会包含N*(7*7*N)个参数。而直观说来，最好选择带有小滤波器的卷积层组合，而不是用一个带有大的滤波器的卷积层。带有小滤波器的卷积层组合可以表达出输入数据中更多的强力特征，使用的参数也更少。

所述深度学习网络在每一层卷积后都会在feature map(卷积后的抽象图像)中生成一系列default box，这些default box是为了在后续挑选出一个最合适的default box作为最优框，生成default box的方法是把feature map划分为指定的方格，例如5×5、4×4或者8×8的方格，然后以每个方格的中心点作为default box的中心点，通过设置不同的大小(scale)和纵横比(aspect ratio)生成大小和纵横比各不相同的同心框，default box是同心框中一个。如图4所示。

在训练过程中，按照损失函数的梯度最大方向进行迭代训练，并且使用已生成的default box寻找与标记框重合度最大的default box为最优框，同时，对于剩余的没有配对的default box与任意一个标记框尝试进行配对，只要两者之间的重合度J(相似度)大于之前预设阈值，那么就认为可以配对，相当于找到不止一处的瑕疵点。其中，所述标记框为预设的瑕疵点最小外接矩形。所述梯度最大方向就是损失函数变化最快的方向。在本实施例中，所述预设阈值为0.5。所述损失函数为：

L(x，c，l，g)＝1/N(L_conf(x，c)+αL_loc(x，t，p))

对上述损失函数进行T次迭代(T为整数)，直至损失达到稳定为止，从而获得各层权值w。其中，迭代是通过深度学习网络中的参数，计算出损失函数的值，将本次损失函数的值与下一次损失函数的值进行比较，如果发现两次的值相差在(-δ,+δ)，其中δ是一个很小的数，表示损失达到稳定，也就是说梯度基本为0，此时，迭代结束。

请参考图6。具体训练过程为：

S101、建立深度学习网络结构

所述深度学习网络结构为13层网络，如图3所示。对其中5种不同的卷积层(例如第5、8、10、11、12层)的输出(feature map)分别用两个不同的3×3、1×1的卷积核进行卷积，一个输出类别用的可信度(类别可信度预测结果)，每个default box生成1个类别可信度(瑕疵点)；一个输出回归用的位置坐标，每个default box生成4个坐标值(x,y,w,h)，即位置预测结果。上述5个feature map中每一层的default box的数量是给定的(本实施例中，每一层的default box的数量是4个)。最后将类别可信度预测结果和位置预测结果分别合并传给loss层，进行损失函数迭代。

请参考图5。将feature map划分为5×5。

第一个概念是feature map cell(特征映射单元)，feature map cell是指feature map(特征映射)中每一个小格子，如图2中分别有25个cell(单元)。另外有一个概念：default box，是指在feature map的每个小格(cell)上都有一系列大小和纵横比的box(框)，其中每个feature map cell有4个default box，那么对于每个default box都需要预测1个类别可信度和4个位置偏移量(offset)。一个feature map的大小是m×n，每一层的default box的数量是4个，那么有m*n个feature map cell，这个feature map共有(1+4)*4*m*n个输出，这些输出个数的含义是：采用3×3的卷积核对该层的feature map卷积时卷积核的个数，包含两部分：数量1*5*m*n是类别可信度输出，表示每个default box的类别可信度，也就是类别的概率；数量4*5*m*n是位置输出，表示每个default box回归后的坐标。

其中，default box的大小和纵横比由以下公式来确定：

其中，所述纵横比是宽度高度之比，第一层feature map对应的最小纵横比为R1，最大纵横比为R2；第二层最小纵横比为R2，最大纵横比为R3；其他层依此类推；本实施例中，设置R_H＝0.8，R_L＝0.2，表示最底层是0.2，最高层是0.8。

S102、相机获取原始图像w*h，提取目标区域图像，使得输入到深度学习网络的图像大小保持300*300，并将提取后的目标区域图像输入到深度学习网络。

S103、从深度学习网络中提取指定网络层数的feature map；在本实施例中，提取第5、8、10、11、12共五层的feature map，并在每层feature map中各自生成一系列大小和纵横比的default box。

S104、按照预设匹配策略在feature map中选出最优框

在该层feature map生成的一系列default box中，按照预设匹配策略，选出最优框；其中，所述预设匹配策略为：首先，寻找与每个标记框的重合度J最大的default box，重合度J最大的default box为最优框；然后将剩余没有配对的default box与任意一个标记框尝试配对，如两者之间的重合度J大于预设阈值，则配对成功，配对成功的default box为次优框。其中，所述标记框为预设的瑕疵点最小外接矩形。在本实施例中，所述预设阈值为0.5。

其中，重合度J采用以下方式来进行计算(请参考图7)：

其中，A和B是两个要进行重合度J比较的图形。例如：图形A的面积是10，图形B的面积是10，图形A和B重合的面积为7，那么根据以上的重合度J的公式，重合度J＝7/(10+10-7)＝0.54。

S105、从深度学习网络中选取卷积核对所述最优框内的图像进行卷积，获得类别可信度预测结果；具体包括：

从深度学习网络中选取卷积核为3×3，1×1填充的卷积对最优框进行类别可信度预测，具体采用下面的softmax回归方法进行预测：

evidence_i＝∑W_i，jX_j+B_i

其中，W是网络权重，b是偏置量，j代表给定图片x的像素索引用于像素求和。

用以下softmax回归方法将上述证据转换成概率y，即可获得类别可信度。

其中，i表示第几类，j表示类别数，通过上述公式可以把上述的evidence转化成在类别的概率。

S106、根据标记框GT(x，y，w，h)窗口对应的卷积特征P＝(P_x，P_y，P_w，P_h)，获得预测偏移量，获得位置预测结果；具体包括：

根据输入标记框GT(x，y，w，h)窗口对应的卷积特征P＝(P_x，P_y，P_w，P_h)，经过深度学习网络计算后，输出平移变量和尺度缩放，得到预测差值如下：

Δ(Y，B)＝d_x(p)，d_y(p)，d_w(p)，d_h(p)

其中，Y是预测框的位置，B是真实框的位置；所述卷积特征，是用前面设定好的卷积核卷积图像之后最大池化得到的特征向量。上述公式表示基于P得到的(x,y,w,h)的位置偏差。其中，所述预测框为经过位置偏移矫正后的最优框。

通过所述预测差值，得到预测框的位置为G＝(G_x，G_y，G_w，G_h)。预测框的四个预测值和标记框的值接近相等。

S107、依据上述B4-B6的方法，获得所有指定网络层feature map的类别可信度预测结果和位置预测结果；

S108、评估获得的类别可信度预测结果和位置预测结果；

通过以下方式来评估获得的位置预测结果：

设定：

目标函数表述为：dst(p)＝W^TΦ₅(P)

其中，Φ₅(P)是标记框GT的卷积特征向量，W是需要学习的网络参数，dst(p)是预测值。

希望预测值和真实值的差距越小越好，位置损失函数为：

优化目标是：

其中，t为t＝(t_x，t_y，t_w，t_h)，w为网络参数，为函数复杂度。

通过以下方式来评估获得的类别可信度预测结果：

分类损失函数使用以下交叉熵的方式来表示，用于评估深度学习识别模型在分类上和真实类别的差异度。

H_y(y)＝-∑_i(y_i′log y_i)

其中，y是类别可信度预测结果的概率分布，y’是实际的分布，交叉熵是用来衡量预测用于描述真相的可信度。

综上所述，采用以下公式来评估获得的类别可信度预测结果和位置预测结果的损失值：

其中，表示第i个最优框匹配到第j个p类的标注框，0表示是正常的点，1表示瑕疵点。

S109、将经评估后获得的类别可信度预测结果和位置预测结果分别合并到Loss层，经损失函数迭代后获得训练结果，即获得各层权值w_ijb_ij；具体包括：

将经评估后获得的类别可信度预测结果和位置预测结果合并到以下损失函数中：

L(x，c，l，g)＝1/N(L_conf(x，c)+αL_loc(x，t，p))

其中，x表示default box，c表示该默认框和标注框之间的可信度，t预测的位置参数{t_x，t_y，t_w，t_h}，p为正样本。

请参考图8。本发明实施例提供的一种基于深度学习的产品缺陷检测系统，包括：客户端30和服务器40，其中：

所述客户端30，用于获取定位待检测产品目标区域图像，以及显示所述服务器40返回的识别结果；

所述服务器40，用于根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷，并返回识别结果给所述客户端30。

进一步地，所述客户端30，具体用于：

A1、获取待检测产品的原始图像w*h(w为图像宽度，h为图像高度)，包括：利用激光对射检测产品，激活相机获取产品的原始图像。

A2、对获取到的原始图像进行图像处理，定位目标区域图像；包括：

A21、对获取到的原始图像进行下采样，使原本w*h的原始图像变为w/2*h/2的区域图像；

A22、对所述区域图像根据预设检测算法定位目标区域图像，其中，所述预设检测算法为直线段检测算法，采用所述直线段检测算法的过程包括：提取所述区域图像中所有直线线段，排除其中的背景噪音线段，对剩余的直线线段在基于特定条件下定位形成目标区域图像；具体的提取过程如下：

计算每一条直线段的梯度grad(θ)，按照预设有效形成区域阈值确定有效形成区域，舍弃所述预设有效形成区域阈值范围之外的线段。其中，所述预设有效形成区域阈值为0°<θ<5°，或者85°<θ<90°，grad(θ)>50，θ为线段的倾斜角。

将所有直线线段拟合在x＝m,y＝n,x1＝k,y1＝t的四条直线上，所述拟合方法是从图像顶端到低端进行带状扫描，在所述有效形成区域内线段最多的支撑区间的中点为所求直线。

所述四条直线形成四个交点，分别为(m,t)、(m,k)、(n,t)、(n,k)，提取所述四个交点形成的矩形区域。

对提取的矩形区域转化为指定大小的规则区域，形成定位目标区域图像；其中，所述指定大小为300*300。

A3、将所述定位目标区域图像发送至服务器。

A4、显示所述服务器返回的识别结果。

进一步地，所述服务器40，具体用于：

B1、服务器接收所述目标区域图像；

B2、所述服务器根据预设的深度学习识别模型，对所述目标区域图像进行识别处理，返回识别结果；其中，所述深度学习识别模型运行在所述服务器上；具体包括：

B21、初始化深度识别模型参数；

B22、从深度学习网络中提取指定网络层数的feature map(特征映射)；

B23、按照预设匹配策略在feature map中选出最优框，包括：

将feature map分成指定的方格，例如分成5×5的方格；

每个方格生成一系列大小和纵横比的default box(默认框)，并将生成的所有default box按照预设匹配策略，选出最优框；其中，所述预设匹配策略为：首先，寻找与每个标记框的重合度J最大的default box，重合度J最大的default box为最优框；然后将剩余没有配对的default box与任意一个标记框尝试配对，如两者之间的重合度J大于预设阈值，则配对成功，配对成功的default box为次优框。其中，所述标记框为预设的瑕疵点最小外接矩形。在本实施例中，每个方格生成4个大小和纵横比的default box，所述预设阈值为0.5。

B24、从深度学习网络中选取卷积核对所述最优框进行卷积，获得类别可信度预测结果；

B25、根据标记框窗口对应的卷积特征，获得预测偏移量，获得位置预测结果；

B26、依据上述S223-S225的方法，获得所有指定网络层数的feature map的类别可信度预测结果和位置预测结果；

B27、将获得的类别可信度预测结果和位置预测结果分别合并到Loss层，经损失函数迭代后获得识别结果。

需要说明的是，上述的产品缺陷检测系统实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在产品缺陷检测系统实施例中均对应适用，这里不再赘述。

另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有产品缺陷检测方法的一个或者多个程序，所述产品缺陷检测方法的一个或者多个程序被处理器执行时以实现本发明实施例提供的产品缺陷检测方法的以下步骤：

S1、获取定位待检测产品目标区域图像；

S2、根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷。

需要说明的是，上述计算机可读存储介质上的产品缺陷检测方法实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在上述计算机可读存储介质的实施例中均对应适用，这里不再赘述。

本发明实施例提供的一种产品缺陷检测方法、系统及计算机存储介质，所述方法包括：获取定位待检测产品目标区域图像；根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷。可以有效的识别该产品目标区域是否存在瑕疵点，提高产品缺陷识别的连续性和实时性，为工业化操作提供基础；此外，由于深度学习模型一般比较大，在工业领域，处理的实时性要求比较高，如果每次抓取到图像都需要导入一次模型进行识别，那样时间消耗是非常大的，完全不能满足工业要求，用服务器客户端模式不但可以使得整个项目的耦合性变低，便于调试，而且有效降低不必要的时间消耗，很好的满足工业方面的使用需要。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种产品缺陷检测方法，其特征在于，包括：

获取定位待检测产品目标区域图像；

根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷。

2.根据权利要求1所述的方法，其特征在于，所述获取定位待检测产品目标区域图像，包括：

获取待检测产品的原始图像w*h，其中w为图像宽度，h为图像高度；

对获取到所述的原始图像进行图像处理，定位目标区域图像。

3.根据权利要求2所述的方法，其特征在于，所述对获取到所述的原始图像进行图像处理，定位目标区域图像，包括：

对获取到的原始图像进行下采样，使w*h的原始图像变为w/2*h/2的区域图像；

对所述区域图像根据预设检测算法定位目标区域图像。

4.根据权利要求3所述的方法，其特征在于，所述对所述区域图像根据预设检测算法定位目标区域图像，具体包括：

所述预设检测算法为直线段检测算法，采用所述直线段检测算法的过程包括：提取所述区域图像中所有直线线段，排除其中的背景噪音线段，对剩余的直线线段在基于特定条件下定位形成目标区域图像。

5.根据权利要求4所述的方法，其特征在于，所述根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷，具体包括：

服务器接收所述目标区域图像；

所述服务器根据预设的深度学习识别模型，对所述目标区域图像进行识别处理，返回识别结果；其中，所述深度学习识别模型运行在所述服务器上。

6.根据权利要求5所述的方法，其特征在于，所述服务器根据预设的深度学习识别模型，对所述目标区域图像进行识别处理，返回识别结果；具体包括：

从深度学习识别模型的深度学习网络中提取指定网络层数的feature map；

获得所有指定网络层数的feature map的类别可信度预测结果和位置预测结果，包括：按照预设匹配策略在feature map中选出最优框；从所述深度学习网络中选取卷积核对所述最优框进行卷积，获得类别可信度预测结果；根据标记框窗口对应的卷积特征，获得预测偏移量，获得位置预测结果；

将获得的类别可信度预测结果和位置预测结果分别合并到Loss层，经损失函数迭代后获得识别结果。

7.根据权利要求6所述的方法，其特征在于，所述预设匹配策略为：首先，寻找与每个标记框的重合度J最大的default box，重合度J最大的default box为最优框；然后将剩余没有配对的default box与任意一个标记框尝试配对，如两者之间的重合度J大于预设阈值，则配对成功，配对成功的default box为次优框；其中，所述标记框为预设的瑕疵点最小外接矩形。

8.根据权利要求7所述的方法，其特征在于，所述将获得的类别可信度预测结果和位置预测结果分别合并到Loss层，经损失函数迭代后获得识别结果；包括：

将获得的类别可信度预测结果和位置预测结果合并到以下损失函数中：

L(x，c，l，g)＝1/N(L_conf(x，c)+αL_lcc(x，t，p))

其中，x表示default box，c表示该默认框和标注框之间的可信度，t预测的位置参数，p为正样本；

对上述损失函数进行T次迭代，获得识别结果，其中T为整数。

9.一种产品缺陷检测系统，应用于权利要求1至8中任一项所述的产品缺陷检测方法，其特征在于，所述系统包括：客户端和服务器；其中：

所述客户端，用于获取定位待检测产品目标区域图像，以及显示所述服务器返回的识别结果；

所述服务器，用于根据预设的深度学习识别模型，检测识别所述待检测产品目标区域图像的缺陷，并返回识别结果给所述客户端。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有产品缺陷检测方法程序，所述产品缺陷检测方法程序被处理器执行时实现如权利要求1至8中任一项所述的产品缺陷检测方法的步骤。